Η Meta ανακοίνωσε επισήμως την πιο προηγμένη σουίτα μοντέλων τεχνητής νοημοσύνης μέχρι σήμερα: Η οικογένεια Llama 4. Αυτή η νέα γενιά περιλαμβάνει το Llama 4 Scout και το Llama 4 Maverick, το πρώτο από τα μοντέλα ανοιχτού βάρους της Meta για να προσφέρει φυσική πολυτροπικότητα και πρωτοφανή υποστήριξη μήκους περιβάλλοντος. Αυτά τα μοντέλα σηματοδοτούν επίσης την αρχική εισβολή της Meta στη χρήση ενός μείγματος-εξουσιοδότησης (MOE) αρχιτεκτονική. Η Meta παρείχε επίσης μια προεπισκόπηση του LLAMA 4 Behemoth, ένα εξαιρετικά έξυπνο LLM που σήμερα στην εκπαίδευση, που έχει σχεδιαστεί για να χρησιμεύσει ως δάσκαλος για μελλοντικά μοντέλα.
Αυτή η σημαντική ενημέρωση για το οικοσύστημα LLAMA φτάνει περίπου ένα χρόνο μετά την απελευθέρωση του LLAMA 3 το 2024, υπογραμμίζοντας τη δέσμευση της Meta να ανοίξει την καινοτομία στο χώρο του AI. Σύμφωνα με το Meta, η διατήρηση κορυφαίων μοντέλων είναι ζωτικής σημασίας για την προώθηση της ανάπτυξης εξατομικευμένων εμπειριών.
Scout and Maverick: πολυτροπικά μοντέλα με καινοτόμο αρχιτεκτονική
Llama 4 Scout και Llama 4 Maverick είναι τα αρχικά αποδοτικά μοντέλα αυτής της σειράς. Το LLAMA 4 Scout διαθέτει 17 δισεκατομμύρια ενεργές παραμέτρους σε 16 εμπειρογνώμονες, ενώ το LLAMA 4 Maverick διαθέτει επίσης 17 δισεκατομμύρια ενεργές παραμέτρους, αλλά αξιοποιεί μια μεγαλύτερη ομάδα 128 εμπειρογνωμόνων στην αρχιτεκτονική MOE. Ο Meta υπογραμμίζει την αποτελεσματικότητα αυτού του σχεδίου, σημειώνοντας ότι το LLAMA 4 Scout μπορεί να χωρέσει σε μία μόνο GPU H100 (με INT4 Quantization) και LLAMA 4 Maverick σε έναν ενιαίο κεντρικό υπολογιστή H100, διευκολύνοντας την ευκολότερη ανάπτυξη.
Η υιοθέτηση μιας αρχιτεκτονικής μείγματος των ειδών (MOE) αποτελεί βασική εξέλιξη. Στα μοντέλα MOE, ενεργοποιούνται μόνο ένα κλάσμα των συνολικών παραμέτρων για κάθε διακριτικό, οδηγώντας σε πιο αποδοτική εκπαίδευση και συμπεράσματα, παρέχοντας τελικά υψηλότερη ποιότητα για έναν συγκεκριμένο προϋπολογισμό υπολογισμού. Για παράδειγμα, το LLAMA 4 Maverick έχει 400 δισεκατομμύρια συνολικές παραμέτρους, αλλά μόνο 17 δισεκατομμύρια είναι ενεργά κατά τη χρήση.
Τόσο το Llama 4 Scout όσο και το Llama 4 Maverick είναι Natively Multimodal, ενσωματώνοντας την πρώιμη σύντηξη για να επεξεργαστεί άψογα τα μάρκες κειμένου και όρασης μέσα σε μια ενοποιημένη ραχοκοκαλιά μοντέλου. Αυτό επιτρέπει την προ-κατάρτιση κοινής κατάρτισης σε τεράστια ποσά μη επισημασμένων δεδομένων κειμένου, εικόνας και βίντεο. Το Meta έχει επίσης βελτιώσει τον κωδικοποιητή όρασης στο LLAMA 4, βασιζόμενη στο Metaclip, αλλά την εκπαίδευση ξεχωριστά παράλληλα με ένα παγωμένο μοντέλο Llama για καλύτερη προσαρμογή.
Llama 4 Behemoth: Ένα μοντέλο εκπαιδευτικού με υποσχόμενα σημεία αναφοράς
Το Meta παρείχε μια ματιά στο Llama 4 Behemoth, ένα μοντέλο που επικεντρώνεται στους δασκάλους με μια εκπληκτική 288 δισεκατομμύρια ενεργές παραμέτρους και σχεδόν δύο τρισεκατομμύρια συνολικές παραμέτρους σε 16 εμπειρογνώμονες. Ο Meta ισχυρίζεται ότι το Behemoth ξεπερνά τα κορυφαία μοντέλα όπως το GPT-4.5, το Claude Sonnet 3.7 και το Gemini 2.0 Pro σε δείκτες αναφοράς που επικεντρώνονται σε STEM, όπως το Math-500 και το GPQA Diamond. Ενώ το Llama 4 Behemoth εξακολουθεί να είναι σε εκπαίδευση και δεν είναι ακόμη διαθέσιμη, διαδραμάτισε κρίσιμο ρόλο στην “κωδικοποίηση” του μοντέλου Llama 4 Maverick, οδηγώντας σε σημαντικές βελτιώσεις στην ποιότητα.
Μήκος περιβάλλοντος και πολύγλωσσες δυνατότητες
Ένα ξεχωριστό χαρακτηριστικό των μοντέλων LLAMA 4 είναι το σημαντικά αυξημένο μήκος του περιβάλλοντος. Το Llama 4 Scout οδηγεί τη βιομηχανία με ένα παράθυρο πλαισίου εισόδου 10 εκατομμυρίων συμβολαίων, μια δραματική αύξηση από το 128k της Llama 3. Αυτό το εκτεταμένο πλαίσιο επιτρέπει προηγμένες δυνατότητες όπως η συνοπτική συνοπτική και συλλογιστική πολλαπλών εγγράφων σε μεγάλες κώδικες. Και τα δύο μοντέλα ήταν προ-εκπαιδευμένα σε ένα τεράστιο σύνολο δεδομένων που υπερβαίνει τα 30 τρισεκατομμύρια μάρκες, περισσότερο από το διπλάσιο του LLAMA 3, και περιλαμβάνει πάνω από 200 γλώσσες, με πάνω από 100 γλώσσες να έχουν περισσότερα από 1 δισεκατομμύριο μάρκες το καθένα.
Ενσωμάτωση σε μετα -εφαρμογές και διαθεσιμότητα προγραμματιστών
Αντικατοπτρίζοντας τη δέσμευση της Meta να ανοίξει την καινοτομία, το Llama 4 Scout και το Llama 4 Maverick είναι διαθέσιμες για λήψη σήμερα στο llama.com και αγκάλιασμα πρόσωπο. Η Meta ανακοίνωσε επίσης ότι αυτά τα μοντέλα τροφοδοτούν το Meta AI μέσα σε δημοφιλείς εφαρμογές όπως το WhatsApp, το Messenger, το Instagram Direct και στην ιστοσελίδα meta.ai. Αυτή η ενσωμάτωση επιτρέπει στους χρήστες να βιώνουν άμεσα τις δυνατότητες των μοντέλων New Llama 4.
Η Meta τόνισε τη δέσμευσή της να αναπτύξει χρήσιμα και ασφαλή μοντέλα AI. Το LLAMA 4 ενσωματώνει τις βέλτιστες πρακτικές που περιγράφονται στον οδηγό χρήσης των προγραμματιστών AI Protections, συμπεριλαμβανομένων των μετριασμών σε διάφορα στάδια ανάπτυξης. Επίσης, τόνισαν τις διασφαλίσεις ανοικτής προέλευσης, όπως η Llama Guard και η Prompt Guard για να βοηθήσουν τους προγραμματιστές να εντοπίσουν και να αποτρέψουν τις επιβλαβείς εισροές και τις εξόδους.
Αντιμετωπίζοντας το γνωστό ζήτημα της μεροληψίας στο LLMS, ο Meta δήλωσε ότι έχουν γίνει σημαντικές βελτιώσεις στο LLAMA 4. Το μοντέλο αρνείται λιγότερες προτροπές σε συζητημένα πολιτικά και κοινωνικά θέματα και αποδεικνύει μια πιο ισορροπημένη ανταπόκριση σε διαφορετικές απόψεις, δείχνοντας συγκρίσιμη απόδοση με τον Grok σε αυτόν τον τομέα.
VIA: DataConomy.com
