Τα rack AI Blackwell GB200 NVL72 της NVIDIA έχουν δοκιμαστεί σε περιβάλλον MoE (Mixture of Experts) και με βάση μια αναφορά, καταφέρνουν να ξεπεράσουν με τεράστια διαφορά το Instinct MI355X της AMD.
Οι νόμοι “Extreme Co-Design” της NVIDIA δίνουν στην εταιρεία το πάνω χέρι στις αρχιτεκτονικές του MoE, διευρύνοντας το χάσμα με την AMD
Τα μοντέλα τεχνητής νοημοσύνης μετατοπίζονται γρήγορα προς ένα τοπίο με επίκεντρο το MoE, κυρίως επειδή επιτρέπει την πολύ πιο αποτελεσματική χρήση των υπολογιστικών πόρων. Ωστόσο, η κλιμάκωσή τους δημιουργεί ένα τεράστιο υπολογιστικό πρόβλημα σε σύγκριση με τα πυκνά μοντέλα. Δεδομένου ότι το MoE εστιάζει στη λειτουργία χωριστών υποδικτύων που χαρακτηρίζονται ως «ειδικοί», απαιτεί τεράστια επικοινωνία και μεταφορά δεδομένων μεταξύ των κόμβων, η οποία προκαλεί προβλήματα καθυστέρησης και πίεση εύρους ζώνης. Οι υπερκλιμακωτές αναζητούν την καλύτερη διαθέσιμη λύση απόδοσης ανά δολάριο και σύμφωνα με ένα ανάλυση από το Signal65Το GB200 NVL72 της NVIDIA είναι η πρώτη επιλογή για αρχιτεκτονικές MoE.
Παραθέτοντας σημεία αναφοράς από το InferenceMAX της SemiAnalysis, η αναφορά αναφέρει ότι οι διακομιστές Blackwell AI της NVIDIA έχουν φέρει 28 φορές υψηλότερη απόδοση ανά GPU (75 tokens/sec), σε σύγκριση με το MI355X της AMD σε παρόμοια διαμόρφωση συμπλέγματος, και αν είστε περίεργοι για το γιατί η απόδοση NDIA απάντησε νωρίτερα γιατί ήταν τόσο σημαντική η διαφορά. Για να αντιμετωπίσει τα σημεία συμφόρησης απόδοσης που σχετίζονται με την κλιμάκωση μοντέλων τεχνητής νοημοσύνης MoE, η NVIDIA έχει χρησιμοποιήσει την προσέγγιση «co-design», η οποία συνίσταται στη χρήση της διαμόρφωσης 72 chip με το GB200, σε συνδυασμό με 30 TB γρήγορης κοινής μνήμης. Αυτό επιτρέπει στη NVIDIA να ανεβάσει τον παραλληλισμό των ειδικών σε ένα εντελώς νέο επίπεδο.
Είναι ενδιαφέρον ότι τα οικονομικά της τεχνητής νοημοσύνης ασχολούνται με το γεγονός ότι ποια αρχιτεκτονική καταφέρνει να παρέχει καλύτερα στοιχεία TCO και σύμφωνα με το Signal65, παραθέτοντας δεδομένα από την τιμολόγηση του Oracle’s Cloud, τα rack GB200 NVL72 της NVIDIA προσφέρουν ένα τεράστιο 1/15ο σχετικό κόστος ανά κουπόνι, σε υψηλότερο ποσοστό διαδραστικότητας. από τα πιο υιοθετημένα εκεί έξω. Για μια εταιρεία όπως η NVIDIA, η οποία λειτουργεί με ετήσιο ρυθμό προϊόντων, καταφέρνει να κυριαρχεί σε κάθε νέο όριο τεχνητής νοημοσύνης που ανοίγει (συμπεράσματα, προπλήρωση, αποκωδικοποίηση και πολλά άλλα), επιτρέποντάς της να διατηρεί το προβάδισμα.
Φυσικά, αυτά τα στοιχεία δεν είναι μια ολοκληρωμένη αναπαράσταση της συζήτησης AMD εναντίον NVIDIA στον χώρο της τεχνητής νοημοσύνης, δεδομένου ότι η Team Red δεν έχει παρουσιάσει ακόμη μια νεότερη γενιά προσφορών σε κλίμακα rack. Οι προσφορές MI355X Instinct είναι γνωστό ότι είναι μια επιθετική επιλογή σε περιβάλλοντα υψηλής πυκνότητας, χάρη στην υψηλή χωρητικότητα HBM3e. Ωστόσο, όταν πρόκειται μόνο για το MoE, η NVIDIA κυριαρχεί επί του παρόντος. Και, με μελλοντικές λύσεις σε κλίμακα rack (Helios vs Vera Rubin), ο ανταγωνισμός θα αυξηθεί.
Ακολουθώ Wccftech στο Google για να λαμβάνετε περισσότερες από τις ειδήσεις μας στις ροές δεδομένων σας.
VIA: wccftech.com
