Πώς αξιολογούμε τα συστήματα που εξελίσσονται ταχύτερα από τα εργαλεία μας για τη μέτρησή τους; Οι παραδοσιακές αξιολογήσεις μηχανικής μάθησης, που έχουν ρίζες σε διαχωρισμούς δοκιμής τρένων, στατικά σύνολα δεδομένων και αναπαραγωγικά σημεία αναφοράς, δεν είναι πλέον επαρκή για τις δυνατότητες ανοικτού τύπου, υψηλού σταδίου των σύγχρονων μοντέλων Genai. Η βασική πρόταση αυτού χαρτί θέσης είναι τολμηρή, αλλά γειωμένη: Οι διαγωνισμοί AI, που χρησιμοποιούνται πολύ για την καινοτομία, θα πρέπει να αυξάνονται στην προεπιλεγμένη μέθοδο για εμπειρική αξιολόγηση στο Genai. Αυτοί οι διαγωνισμοί δεν είναι μόνο πρακτικοί. Είναι δομικά ανώτερα για να εξασφαλίσουν την ευρωστία, την καινοτομία και την αξιοπιστία στα αποτελέσματα.
Γιατί η παραδοσιακή αξιολόγηση ML δεν λειτουργεί πλέον
Οι περισσότερες συμβατικές ρυθμίσεις αξιολόγησης LLM βασίζονται στην υπόθεση ότι τα δεδομένα κατάρτισης και δοκιμών αντλούνται ανεξάρτητα από την ίδια κατανομή. Αυτή η θεμελιώδης ιδέα επέτρεψε στο πεδίο να αναπτύξει αναπαραγώγιμα σημεία αναφοράς όπως το MNIST ή το ImageNet, το οποίο με τη σειρά του τροφοδότησε δεκαετίες προόδου. Αλλά τα μοντέλα Genai δεν λειτουργούν σε αυτά τα στενά, καλά συνδεδεμένα περιβάλλοντα. Παράγουν γλώσσα, εικόνες και κωδικό σε ανοιχτές περιοχές χωρίς σαφή αλήθεια εδάφους. Οι εισόδους μπορεί να είναι διφορούμενες και οι εξόδους ποικίλλουν σε μορφή και ποιότητα. Αυτά τα μοντέλα συχνά χρησιμοποιούν προηγούμενες εξόδους ως πλαίσιο για τις μελλοντικές, δημιουργώντας βρόχους ανατροφοδότησης που υπονομεύουν τις βασικές στατιστικές υποθέσεις.
Ως αποτέλεσμα, οι βαθμολογίες αναφοράς μπορεί να λένε λιγότερα σχετικά με την ποιότητα του μοντέλου και περισσότερα σχετικά με το αν τα δεδομένα δοκιμών διαρρέουν στην εκπαίδευση. Και μόλις δημοσιοποιηθεί ένα σημείο αναφοράς, η υπόθεση πρέπει να είναι ότι έχει ήδη παραβιαστεί. Σε ένα τέτοιο τοπίο, η αναπαραγωγιμότητα και η ευρωστία δεν μπορούν να δοθούν εξίσου προτεραιότητα. Οι αξιολογήσεις πρέπει τώρα να θεωρούνται ως διαδικασίες και όχι ως στατικά αντικείμενα.
Το σημερινό περιβάλλον απαιτεί επαναπροσδιορισμό της γενίκευσης. Αντί να ρωτήσουμε αν ένα μοντέλο εκτελεί καλά σε νέα δεδομένα από μια γνωστή διανομή, πρέπει να ρωτήσουμε αν επιτυγχάνεται στην επίλυση εντελώς άγνωστων καθηκόντων. Αυτή η προσέγγιση καινοτομίας είναι πιο ευθυγραμμισμένη με τον τρόπο με τον οποίο οι άνθρωποι αξιολογούν τη νοημοσύνη. Τοποθετεί ένα ασφάλιστρο για την προσαρμοστικότητα και όχι την απομνημόνευση.
Αυτή η μετατόπιση έρχεται με συμβιβασμούς. Τα σημεία αναφοράς δεν μπορούν να επαναχρησιμοποιηθούν χωρίς να διακινδυνεύσουν τη μόλυνση. Τα καθήκοντα αξιολόγησης πρέπει να δημιουργούνται δυναμικά ή να έχουν σχεδιαστεί για να είναι μη αναπαραγωγικά από τη φύση. Αυτές οι απαιτήσεις κάνουν τους διαγωνισμούς, οι οποίοι υπερέχουν στη διαχείριση της καινοτομίας και της κλίμακας, το ιδανικό πλαίσιο.
Διαρροή και μόλυνση
Η διαρροή δεν αποτελεί ανησυχία. Πρόκειται για ένα διαδεδομένο, συχνά ανιχνευμένο πρόβλημα που μπορεί να ακυρώσει ολόκληρες αξιολογήσεις. Όταν τα δεδομένα αξιολόγησης επικαλύπτονται με δεδομένα εκπαίδευσης, ακόμη και ακούσια, οι βαθμολογίες είναι διογκωμένες. Τα μοντέλα Genai είναι ιδιαίτερα επιρρεπή σε αυτό, επειδή τα δεδομένα εκπαίδευσης τους είναι συχνά τεράστια και κακώς τεκμηριωμένα.
Οι διαγωνισμοί έχουν δείξει πώς προκύπτει η διαρροή μέσω μεταδεδομένων, τεχνουργημάτων που βασίζονται στο χρόνο ή λεπτές στατιστικές ενδείξεις. Έχουν επίσης πρωτοπορήσει σε λύσεις: κρυμμένα σύνολα δοκιμών, τυχαιοποιημένη δειγματοληψία και αξιολόγηση μετά την Deadline. Αυτές οι πρακτικές, οι οποίες αναπτύσσονται για να αποτρέψουν την εξαπάτηση, τώρα διπλασιάζονται ως επιστημονικές διασφαλίσεις.
Οι διαγωνισμοί AI επιτρέπουν την παραλληλισμένη αξιολόγηση μεγάλης κλίμακας. Χιλιάδες ομάδες εργάζονται ανεξάρτητα για να λύσουν το ίδιο έργο, επιτυγχάνοντας διαφορετικές στρατηγικές και προσεγγίσεις. Αυτή η κλίμακα επιτρέπει την εμπειρική διορατικότητα ότι τα στατικά σημεία αναφοράς δεν μπορούν να ταιριάξουν. Το πιο σημαντικό είναι ότι διανέμει το βάρος της επικύρωσης και αποκαλύπτει τις αδυναμίες που μπορεί να χάσουν οι απομονωμένες δοκιμές.
Διατηρώντας τα δεδομένα αξιολόγησης ιδιωτικά και εκτέλεση εκτός σύνδεσης, οι πλατφόρμες ανταγωνισμού εμποδίζουν τη διαρροή σε δομικό επίπεδο. Δημιουργούν ένα αξιόπιστο περιβάλλον όπου τα αποτελέσματα είναι συγκρίσιμα και αξιόπιστα. Η διαφάνεια παίζει επίσης ρόλο. Οι συμμετέχοντες συχνά μοιράζονται κώδικες, αρχεία καταγραφής και λειτουργίες αποτυχίας, δημιουργώντας μια κουλτούρα ανοίγματος που στερείται παραδοσιακής έρευνας.
Σχεδιασμός για αντίσταση διαρροής
Οι διαγωνισμοί προσφέρουν επίσης αρχιτεκτονικά σχέδια για αξιολόγηση. Οι στρατηγικές περιλαμβάνουν:
- Μελλοντική αλήθεια εδάφους: Οι ετικέτες συλλέγονται μετά από υποβολές μοντέλων. Για παράδειγμα, τα καθήκοντα σχολιασμού πρωτεϊνών έχουν χρησιμοποιήσει μελλοντικά αποτελέσματα εργαστηριακών αποτελεσμάτων ως στόχους αξιολόγησης.
- Νέα γενιά εργασιών: Προκλήσεις όπως η AI Μαθηματική Ολυμπιάδα χρησιμοποιούν φρέσκα, σχεδιασμένα από τον άνθρωπο προβλήματα για να εξασφαλίσουν ότι τα μοντέλα δεν έχουν δει παρόμοια δεδομένα.
- Δοκιμές μετά το Deadline: Οι υποβολές καταψύχονται και δοκιμάζονται αργότερα σε δεδομένα αόρατων, αποφεύγοντας κάθε πιθανότητα προηγούμενης έκθεσης.
Αυτές οι μέθοδοι είναι περισσότερο από έξυπνες – είναι απαραίτητες. Καθώς τα μοντέλα βελτιώνονται, τα πρότυπα αξιολόγησης πρέπει επίσης να γίνουν πιο ισχυρά και ανθεκτικά στην εκμετάλλευση.
Άλλες νέες προσεγγίσεις κερδίζουν έλξη. Το LiveBench ενημερώνει συνεχώς τα δεδομένα δοκιμών του από πρόσφατες δημοσιεύσεις. Κοινοτικές πλατφόρμες όπως το LM Arena Crowdsource συγκρίσεις επικεφαλής προς κεφαλή χρησιμοποιώντας προτροπές σε πραγματικό χρόνο. Αυτές οι μορφές είναι καινοτόμες και χρήσιμες, αλλά έρχονται με τους δικούς τους κινδύνους. Οι δημόσιες εισροές μπορούν ακόμα να οδηγήσουν σε μόλυνση και η κρίση πλήθους μπορεί να υποβαθμίσει τα αποτελέσματα με λεπτούς τρόπους. Οι διαγωνισμοί, αντίθετα, επιτρέπουν τον επιμελημένο έλεγχο χωρίς να θυσιάζουν την κλίμακα.
Το χαρτί τελειώνει με μια πρόσκληση για δράση. Για να διατηρηθεί η αξιοπιστία στην έρευνα Genai, ο τομέας πρέπει:
- Απορρίψτε τα στατικά σημεία αναφοράς υπέρ των επαναλαμβανόμενων, ανανεώσιμων αγωγών αξιολόγησης.
- Αντιμετωπίστε τους διαγωνισμούς AI ως βασική υποδομή Για τη μέτρηση της προόδου του μοντέλου, όχι ως πλευρικές δραστηριότητες.
- Εφαρμόστε πρωτόκολλα κατά της εξαπάτησης που αναπτύχθηκε σε διαγωνισμούς ως συνηθισμένη πρακτική στο σχεδιασμό αξιολόγησης.
- Αγκαλιάζουν μετα-αναλύσεις των αποτελεσμάτων του ανταγωνισμού για να αποκαλύψουν ευρείες ιδέες μεταξύ των καθηκόντων και των μοντέλων.
Αυτές οι αλλαγές θα ευθυγραμμίσουν τα κίνητρα σε κοινότητες ακαδημαϊκών, βιομηχανίας και ανοιχτού κώδικα. Το πιο σημαντικό είναι ότι θα αποκαταστήσουν την εμπιστοσύνη σε εμπειρικές αξιώσεις σχετικά με την απόδοση του μοντέλου.
VIA: DataConomy.com
