Η Nvidia αποκάλυψε ότι κατάφερε να σπάσει τα εμπόδια απόδοσης AI με την αρχιτεκτονική Blackwell, η οποία πιστώνεται σε ένα γύρο βελτιστοποιήσεων και εξουσίας υλικού.
Το Nvidia καταφέρνει να βελτιστοποιήσει περαιτέρω το Blackwell για μεγάλης κλίμακας LLMS, τροφοδοτεί τον αγώνα για ταχύτητες “γενιάς συμβόλων”
Η Team Green έχει κάνει βήματα στο τμήμα AI εδώ και αρκετό καιρό, αλλά η επιχείρηση έχει πρόσφατα ενταχθεί μέσω των λύσεων που τροφοδοτούνται με το Blackwell. Σε ένα Νέα ανάρτηση ιστολογίουΗ Nvidia αποκάλυψε ότι πέτυχαν 1.000 TPs, η οποία ισχύει επίσης με έναν μόνο κόμβο DGX B200 με οκτώ GPUs Nvidia Blackwell. Αυτό έγινε στο μοντέλο Meta 400 δισεκατομμυρίων παραμέτρων LLAMA 4 Maverick, το οποίο είναι μία από τις μεγαλύτερες προσφορές της επιχείρησης, και αυτό δείχνει ότι το οικοσύστημα AI της NVIDIA έχει κάνει τεράστιο αντίκτυπο στον τομέα.
Με αυτή τη διαμόρφωση, η NVIDIA μπορεί τώρα να επιτύχει έως και 72.000 TPs σε ένα διακομιστή Blackwell και, όπως δήλωσε ο Jensen στο Computex Keynote, οι εταιρείες θα καμαρωθούν τώρα την πρόοδο του AI, δείχνοντας πόσο μακριά έχουν έρθει με την απόδοση του Token μέσω του υλικού τους και φαίνεται ότι η NVIDIA εστιάζει εξ ολοκλήρου σε αυτή την πτυχή. Όσον αφορά τον τρόπο με τον οποίο η επιχείρηση κατάφερε να σπάσει τα εμπόδια TP/S, αποκαλύπτεται ότι χρησιμοποίησαν εκτεταμένες βελτιστοποιήσεις λογισμικού χρησιμοποιώντας το Tensorrt-LLM και ένα κερδοσκοπικό μοντέλο αποκωδικοποίησης, τσάντα σε μια επιτάχυνση 4x στην απόδοση.
Στη θέση τους, η Team Green έχει βυθιστεί σε διάφορες πτυχές του τρόπου με τον οποίο κατάφεραν να Optimze Blackwell για μεγάλης κλίμακας LLMS, αλλά ένας από τους πιο σημαντικούς ρόλους διαδραμάτισε από την κερδοσκοπική αποκωδικοποίηση, η οποία είναι μια τεχνική όπου ένα μικρότερο, ταχύτερο μοντέλο “Draft” προβλέπει διάφορα μάρκες μπροστά και το κύριο (μεγαλύτερο) μοντέλο τους επαληθεύει παράλληλα. Δείτε πώς το περιγράφει η Nvidia:
Η κερδοσκοπική αποκωδικοποίηση είναι μια δημοφιλής τεχνική που χρησιμοποιείται για την επιτάχυνση της ταχύτητας συμπερασμάτων του LLMS χωρίς να διακυβεύεται η ποιότητα του παραγόμενου κειμένου. Επιτυγχάνει αυτόν τον στόχο έχοντας ένα μικρότερο, ταχύτερο μοντέλο “σχεδίου” προβλέπει μια ακολουθία κερδοσκοπικών μαρκών, τα οποία στη συνέχεια επαληθεύονται παράλληλα από το μεγαλύτερο “στόχο” LLM.
Η επιτάχυνση προέρχεται από τη δημιουργία δυνητικά πολλαπλών μαρκών σε μία επανάληψη του μοντέλου στόχου με το κόστος του επιπλέον σχεδίου μοντέλου.
– Nvidia
Η επιχείρηση χρησιμοποίησε μια αρχιτεκτονική με βάση το Eagle3, η οποία είναι μια αρχιτεκτονική σε επίπεδο λογισμικού που αποσκοπεί στην επιτάχυνση του μεγάλου γλωσσικού μοντέλου συμπερασμάτων και όχι στην αρχιτεκτονική υλικού GPU. Η Nvidia λέει ότι με αυτό το επίτευγμα, έχουν δείξει ηγεσία στο τμήμα AI και ο Blackwell είναι τώρα βελτιστοποιημένος για LLMS τόσο μεγάλη όσο το Llama 4 Maverick. Αυτό είναι αναμφισβήτητα ένα τεράστιο επίτευγμα και ένα από τα πρώτα βήματα προς την κατεύθυνση των αλληλεπιδράσεων AI πιο απρόσκοπτη και ταχύτερη.
VIA: wccftech.com
