Στη μηχανική μάθηση, λίγες ιδέες κατάφεραν να ενοποιήσουν την πολυπλοκότητα με τον τρόπο που ο περιοδικός πίνακας κάποτε έκανε για τη χημεία. Τώρα, Ερευνητές από το MIT, τη Microsoft και το Google Προσπαθούν να κάνουν ακριβώς αυτό με I-Con, ή πληροφορίες αντίθετη μάθηση. Η ιδέα είναι παραπλανητικά απλή: αντιπροσωπεύουν τους περισσότερους αλγόριθμους μηχανικής μάθησης – ταξινόμηση, παλινδρόμηση, ομαδοποίηση και ακόμη και μεγάλα γλωσσικά μοντέλα – ως ειδικές περιπτώσεις μιας γενικής αρχής: μάθηση των σχέσεων μεταξύ των σημείων δεδομένων.
Ακριβώς όπως τα χημικά στοιχεία εμπίπτουν σε προβλέψιμες ομάδες, οι ερευνητές ισχυρίζονται ότι οι αλγόριθμοι μηχανικής μάθησης σχηματίζουν επίσης ένα πρότυπο. Με τη χαρτογράφηση αυτών των μοτίβων, το i-con δεν διευκρινίζει μόνο τις παλιές μεθόδους. Προβλέπει νέα. Μια τέτοια πρόβλεψη; Ένας τελευταίος αλγόριθμος ταξινόμησης εικόνων που απαιτεί μηδενικές ανθρώπινες ετικέτες.
Φανταστείτε ένα δείπνο χορού. Κάθε επισκέπτης (σημείο δεδομένων) βρίσκει ένα κάθισμα (cluster) ιδανικά κοντά στους φίλους (παρόμοια δεδομένα). Μερικοί φίλοι κάθονται μαζί, άλλοι εξαπλώνονται σε τραπέζια. Αυτή η μεταφορά, που ονομάζεται Gala clustering, καταγράφει τον τρόπο με τον οποίο η I-Con αντιμετωπίζει τη συσσώρευση: βελτιστοποιώντας πόσο στενά η ομάδα σημείων δεδομένων βασίζεται σε εγγενείς σχέσεις. Δεν είναι μόνο ποιος είναι δίπλα σε ποιον, αλλά τι είδους ομόλογοι έχουν σημασία? Είτε πρόκειται για οπτική ομοιότητα, κοινόχρηστες ετικέτες κατηγορίας ή συνδέσεις γραφημάτων.
Αυτή η αναλογία χορού εκτείνεται σε όλη τη μηχανική μάθηση. Το πλαίσιο I-Con δείχνει ότι οι αλγόριθμοι διαφέρουν κυρίως στον τρόπο με τον οποίο καθορίζουν αυτές τις σχέσεις. Αλλάξτε τη λίστα των επισκεπτών ή τη λογική καθισμάτων και λαμβάνετε μείωση των διαστάσεων, την αυτοεπιστημονική μάθηση ή τη φασματική ομαδοποίηση. Όλα βράζουν για να διατηρήσουν ορισμένες σχέσεις, ενώ απλοποιούν τους άλλους.
Η αρχιτεκτονική πίσω από το i-con
Στον πυρήνα του, το I-Con είναι χτισμένο σε ένα θεώρημα-θεωρητικό ίδρυμα πληροφοριών. Ο στόχος: ελαχιστοποιήστε τη διαφορά (απόκλιση KL) μεταξύ μιας κατανομής στόχου, ποιος ο αλγόριθμος πιστεύει ότι οι σχέσεις πρέπει να είναι και μια μαθητευόμενη κατανομή, η πραγματική παραγωγή μοντέλου. Τυπικά, αυτό είναι γραμμένο ως:
L (θ, φ) = Σ ΔKl(Pθ (· | i) || Qφ (· | i))
Διαφορετικές τεχνικές μάθησης προκύπτουν από το πώς κατασκευάζονται οι δύο κατανομές, Pθ και Qφ,. Όταν το Pθ ομαδοποιεί εικόνες με οπτική εγγύτητα και Qφ ομαδοποιεί με ομοιότητα της ετικέτας, το αποτέλεσμα είναι εποπτευόμενη ταξινόμηση. Όταν το Pθ βασίζεται στη δομή του γραφήματος και το Qφ προσεγγίζει το μέσω των συστάδων, λαμβάνουμε φασματική ομαδοποίηση. Ακόμη και η μοντελοποίηση της γλώσσας ταιριάζει, αντιμετωπίζοντας τη συν-εμφάνιση του συμβολικού ως σχέση που πρέπει να διατηρηθεί.
Ο πίνακας που οργανώνει τα πάντα
Εμπνευσμένο από τον περιοδικό πίνακα της χημείας, η ομάδα I-Con δημιούργησε έναν αλγόριθμο κατηγοριοποίησης δικτύου με βάση τους τύπους σύνδεσης τους. Κάθε τετράγωνο στον πίνακα αντιπροσωπεύει ένα μοναδικό τρόπο που τα σημεία δεδομένων σχετίζονται με τον χώρο εισόδου έναντι εξόδου. Μόλις τοποθετηθούν όλες οι γνωστές τεχνικές, παρέμειναν εκπληκτικά κενά. Αυτά τα κενά δεν έδειξαν ότι λείπουν δεδομένα – υπαινίσσονται μεθόδους που θα μπορούσαν να υπάρχουν, αλλά δεν είχαν ανακαλυφθεί ακόμα.
Για να το δοκιμάσουν αυτό, οι ερευνητές συμπλήρωσαν ένα τέτοιο κενό συνδυάζοντας την ομαδοποίηση με την απογοητευμένη αντιπαραβαλλόμενη μάθηση. Το αποτέλεσμα: μια νέα μέθοδος που ξεπέρασε τους υπάρχοντες ταξινομητές εικόνων χωρίς επίβλεψη στο ImageNet κατά 8%. Εργάστηκε με την έγχυση ενός μικρού ποσού θορύβου – “καθολικής φιλίας” μεταξύ των σημείων δεδομένων – που καθιστούσε τη διαδικασία ομαδοποίησης πιο σταθερή και λιγότερο προκατειλημμένη προς υπερβολικές αναθέσεις.
Η καταστροφή διαδραματίζει κεντρικό ρόλο σε αυτή την ανακάλυψη. Η παραδοσιακή αντίθετη μάθηση τιμωρεί τα διαφορετικά δείγματα πολύ σκληρά, ακόμη και όταν αυτά τα δείγματα μπορεί να μην είναι πραγματικά άσχετα. Το I-Con εισάγει μια καλύτερη προσέγγιση: ανάμειξη σε μια ομοιόμορφη κατανομή που μαλακώνει υπερβολικά άκαμπτες υποθέσεις σχετικά με τους διαχωρισμούς δεδομένων. Είναι ένα εννοιολογικά καθαρό τσίμπημα με μετρήσιμα κέρδη στην απόδοση.
Μια άλλη μέθοδος περιλαμβάνει την επέκταση του ορισμού της ίδιας της γειτονιάς. Αντί να κοιτάζουμε μόνο σε απευθείας πλησιέστερους γείτονες, το i-con διαδίδεται μέσω του γραφήματος γειτονιάς-κάνοντας “βόλτες” για να συλλάβει περισσότερη παγκόσμια δομή. Αυτοί οι περίπατοι προσομοιώνουν τον τρόπο με τον οποίο οι πληροφορίες εξαπλώνονται σε κόμβους, βελτιώνοντας τη διαδικασία ομαδοποίησης. Οι δοκιμές για τους μετασχηματιστές Dino Vision επιβεβαιώνουν ότι η διάδοση μικρής κλίμακας (μήκος 1 ή 2) αποδίδει το μεγαλύτερο κέρδος χωρίς να συντρίψει το μοντέλο.
Έρευνα: Το AI της Google τρώει τα κλικ σας
Απόδοση και αποπληρωμή
Το πλαίσιο i-con δεν είναι μόνο θεωρία. Στο ImageNet-1K, νίκησε προηγούμενα μοντέλα state-of-the-art ομαδοποίησης όπως το TEMI και τη σάρωση χρησιμοποιώντας απλούστερες λειτουργίες απώλειας. Σε αντίθεση με τους προκατόχους του, η I-Con δεν χρειάζεται χειροκίνητα συντονισμένες κυρώσεις ή περιορισμούς μεγέθους. Λειτουργεί ακριβώς-Across Dino VIT-S, VIT-B, και VIT-L σκελετές.
Defiased Infonce Clustering (I-Con) Βελτιωμένη ουγγρική ακρίβεια από:
- +4,5% στο VIT-B/14
- +7,8% σε vit-l/14
Επίσης, ξεπέρασε τα K-Means, την αντίθετη ομαδοποίηση και τη σάρωση με συνέπεια. Το κλειδί έγκειται στην καθαρή ενοποίηση των μεθόδων και τις πιθανότητες προσαρμοστικότητας -συστάδων, γειτονικά γραφήματα, ετικέτες τάξεων, όλα πέφτουν κάτω από μια ομπρέλα.
Το I-Con δεν είναι απλώς ενοποιητής. Είναι ένα σχέδιο για εφεύρεση. Δείχνοντας ότι πολλοί αλγόριθμοι είναι απλώς διαφορετικοί τρόποι επιλογής διανομών γειτονιάς, δίνει τη δυνατότητα στους ερευνητές να εφεύρουν νέους συνδυασμούς. Ανταλλάξτε έναν τύπο σύνδεσης για έναν άλλο. Ανακατέψτε τη διαμάχη. Συντονίστε το βάθος της γειτονιάς. Κάθε τσίμπημα αντιστοιχεί σε μια νέα καταχώρηση στον πίνακα – ένας νέος αλγόριθμος έτοιμος να δοκιμαστεί.
Όπως το έθεσε ο Shaden Alshammari του MIT, η μηχανική μάθηση αρχίζει να αισθάνεται λιγότερο σαν μια τέχνη εικασιών και περισσότερο σαν ένα δομημένο χώρο σχεδιασμού. Το I-Con μετατρέπει τη μάθηση σε εξερεύνηση-απλή αλχημεία, περισσότερη μηχανική.
Αυτό που πραγματικά προσφέρει το i-con είναι μια βαθύτερη φιλοσοφία της μηχανικής μάθησης. Αποκαλύπτει ότι κάτω από τη συντριπτική ποικιλία των μοντέλων και των μεθόδων, μπορεί να υπάρχει μια κοινή δομή – ένα που δεν έχει κατασκευαστεί σε άκαμπτες φόρμουλες, αλλά στη σχεσιακή λογική. Με αυτή την έννοια, ο I-Con δεν λύνει τη νοημοσύνη. Το χαρτογραφεί. Και όπως ο πρώτος περιοδικός πίνακας, μας δίνει μια ματιά στο τι περιμένει ακόμα να ανακαλυφθεί.
VIA: DataConomy.com
