Ρεκόρ καταρρίπτει το B200 στους αγώνες με το Hopper της Instinct

Η NVIDIA & AMD μόλις υπέβαλε τα τελευταία σημεία αναφοράς των επιδόσεων MLPERF των τελευταίων GPU, συμπεριλαμβανομένων των Blackwell B200 & Instinct MI325X.

NVIDIA Blackwell B200, AMD Instinct MI325X & ΠΕΡΙΣΣΟΤΕΡΑ ΠΡΟΣΘΗΚΗ ΣΤΙΣ ΤΕΛΕΥΤΑΙΑΚΕΣ ΣΥΜΒΟΥΛΕΩΝ ΠΕΡΙΕΧΟΜΕΝΩΝ, Πράσινη ομάδα μίλια μπροστά από τον ανταγωνισμό σε ακατέργαστες επιδόσεις

Τα σημεία αναφοράς απόδοσης MLPERF V5.0 είναι έξω και οι GPU Giants υπέβαλαν τα τελευταία τους αποτελέσματα που τροφοδοτούνται από τα τελευταία τους μάρκες. Όπως είδαμε στο παρελθόν, δεν πρόκειται μόνο για την ακατέργαστη ιπποδύναμη GPU, αλλά και τις βελτιστοποιήσεις λογισμικού και την υποστήριξη για τα νέα οικοσυστήματα AI και το φόρτο εργασίας έχουν μεγάλη σημασία.

Η Nvidia Blackwell θέτει νέα αρχεία

Το σύστημα GB200 NVL72 – που συνδέει 72 GPU NVIDIA Blackwell για να λειτουργήσει ως ενιαία, μαζική GPU – παρέδωσε μέχρι και 30x υψηλότερη απόδοση στο LLAMA 3.1 405B Benchmark πάνω από το NVIDIA H200 NVL8 υποβάλλει αυτό το γύρο. Αυτό το κατόρθωμα επιτεύχθηκε μέσω τριπλασιασμού της απόδοσης ανά GPU και ενός μεγαλύτερου 9x Nvidia nvlink διασυνδέστε τον τομέα.

Ενώ πολλές εταιρείες εκτελούν δείκτες αναφοράς MLPERF στο υλικό τους για να μετρήσουν την απόδοση, μόνο η NVIDIA και οι συνεργάτες της υπέβαλαν και δημοσιεύθηκαν αποτελέσματα στο δείκτη αναφοράς LLAMA 3.1 405B.

Η ανάπτυξη των συμπερασμάτων παραγωγής έχει συχνά περιορισμούς λανθάνουσας κατάστασης σε δύο βασικές μετρήσεις. Ο πρώτος είναι ο χρόνος για το πρώτο διακριτικό (TTFT), ή πόσο καιρό χρειάζεται για να αρχίσει ο χρήστης να βλέπει μια απάντηση σε ένα ερώτημα που δίνεται σε ένα μεγάλο γλωσσικό μοντέλο. Το δεύτερο είναι το Time Per Token (TPOT) ή πόσο γρήγορα παραδίδονται οι μάρκες στον χρήστη.

Το New LLAMA 2 70B Interactive Benchmark έχει 5x μικρότερο TPOT και 4.4x χαμηλότερο TTFT – μοντελοποίηση μιας πιο ευαίσθητης εμπειρίας χρήστη. Σε αυτή τη δοκιμή, η υποβολή της NVIDIA χρησιμοποιώντας ένα σύστημα NVIDIA DGX B200 με οκτώ GPUs Blackwell τριπλασιάστηκε από τη χρήση οκτώ GPU NVIDIA H200, θέτοντας ένα υψηλό μπαρ για αυτή την πιο δύσκολη έκδοση του LLAMA 2 70B Benchmark.

Ο συνδυασμός της αρχιτεκτονικής Blackwell και της βελτιστοποιημένης στοίβας λογισμικού της προσφέρει νέα επίπεδα απόδοσης συμπερασμάτων, ανοίγοντας το δρόμο για τα εργοστάσια AI για την παροχή υψηλότερων πληροφοριών, την αυξημένη απόδοση και τα ταχύτερα ποσοστά συμβολών.

μέσω Nvidia

Με αυτό είπε, αρχίζουμε μιλώντας για τον πράσινο γίγαντα, ο οποίος έχει πάρει για άλλη μια φορά το προβάδισμα και σημείωσε εντυπωσιακά αρχεία με τις τελευταίες του GPU του Blackwell όπως το B200. Το GB200 NVL72 Rack με συνολικά 72 B200 μάρκες αναλαμβάνει το προβάδισμα, προσφέροντας μια διακίνηση υψηλότερης απόδοσης 30 φορές στο LLAMA 3.1 405B δείκτες αναφοράς έναντι της τελευταίας γενιάς NVIDIA H200. Η NVIDIA είδε επίσης ένα τριπλασιασμό στο σημείο αναφοράς LLAMA 70B όταν συγκρίθηκε ένα σύστημα 8 GPU B200 έναντι ενός συστήματος 8 GPU H200.

Η AMD υποβάλλει επίσης το νεότερο ένστικτό της MI325X 256 GB Accelerator, το οποίο μπορεί να φανεί παρόν σε μια διαμόρφωση X8.

Τα αποτελέσματα της AMD τα έβαλαν στο ίδιο επίπεδο με το σύστημα H200 και η μεγαλύτερη χωρητικότητα μνήμης βοηθά σίγουρα με τα μαζικά LLMs, αν και βρίσκονται πολύ πίσω από το Blackwell B200 και με την Ultra Platform που φτάνει αργότερα φέτος με τη μορφή του B300, η ​​AMD θα έπρεπε να διατηρήσει το ρυθμό και στα δύο τμήματα υλικού και λογισμικού. Έχουν τη σειρά Instinct MI350.

Υπάρχουν επίσης σημεία αναφοράς για τη σειρά H200 Hopper, η οποία έχει δει συνεχιζόμενες βελτιστοποιήσεις. Σε σύγκριση με μόλις πέρυσι, η απόδοση των συμπερασμάτων αυξήθηκε κατά 50 %, γεγονός που αποτελεί σημαντικό κέρδος για τις επιχειρήσεις που συνεχίζουν να βασίζονται στις πλατφόρμες.