Η τεχνητή νοημοσύνη έχει κυριαρχήσει πολλά πράγματα-τα ποιήματα γραφής, τα αυτοκίνητα που οδηγούν, προβλέποντας ακόμη και το επόμενο binge-watch σας. Αλλά υπάρχει ένα πράγμα που εξακολουθεί να αγωνίζεται με: Γνωρίζοντας πότε να μεγαλώσει, πότε να ξεχάσει και πώς να συνεχίσει να εξελίσσεται με την πάροδο του χρόνου. Με άλλα λόγια, το AI δεν κάνει νευροπλαστικότητα. Ακόμη.
Αυτό είναι το επιχείρημα που κάνει μια ομάδα ερευνητών σε ένα νέο χαρτί Αυτό παίρνει έμπνευση απευθείας από την ανθρώπινη βιολογία. Προτείνουν μια ριζοσπαστική επανεξέταση του τρόπου με τον οποίο μαθαίνουν τα νευρωνικά δίκτυα-όχι μόνο με την τελειοποίηση των βαρών τους ή τις επεκτάσεις παραμέτρων, αλλά και με το δανεισμό κόλπα από τον τρόπο με τον οποίο ο εγκέφαλος επανασυνδέεται: μέσω της νευρογένεσης (αναπτυσσόμενοι νέοι νευρώνες), η νευροαποπίτωση (στρατηγικά σκοτώνει τους άλλους) και την πλαστικότητα (και τα δύο, προσαρμοστικά). Και αν οι ιδέες τους πιάσουν, η επόμενη γενιά του AI μπορεί να συμπεριφέρεται λιγότερο σαν μια αριθμομηχανή και περισσότερο σαν, καλά, εσείς.
Γιατί αυτό έχει σημασία τώρα;
Τα σύγχρονα νευρωνικά δίκτυα, ειδικά τα μεγάλα γλωσσικά μοντέλα, είναι πιο ισχυρά από ποτέ – αλλά και άκαμπτα. Μόλις εκπαιδεύονται, οι αρχιτεκτονικές τους παραμένουν σταθερές. Μπορούν να προστεθούν νέα δεδομένα, αλλά ο σκελετός του μοντέλου παραμένει αμετάβλητος. Αντίθετα, ο ανθρώπινος εγκέφαλος ενημερώνεται συνεχώς. Αναπτύσσουμε νέους νευρώνες, κλαδεύουμε τα άχρηστα και ενισχύουμε τις συνδέσεις με βάση την εμπειρία. Έτσι μαθαίνουμε νέες δεξιότητες χωρίς να ξεχνάμε τα παλιά – και να ανακάμψει από τις αποτυχίες.
Οι ερευνητές υποστηρίζουν ότι αυτή η βιολογική ευελιξία θα μπορούσε να είναι ακριβώς αυτό που χρειάζεται η ΑΙ, ειδικά για τα μακροπρόθεσμα καθήκοντα του πραγματικού κόσμου. Φανταστείτε ένα chatbot εξυπηρέτησης πελατών που μπορεί να εξελιχθεί με νέες σειρές προϊόντων ή ένα ιατρικό AI που μεγαλώνει πιο έξυπνο με κάθε ασθενή που βλέπει. Αυτά τα συστήματα δεν πρέπει απλώς να επαναπροσδιορίσουν-θα πρέπει να επαναλάβουν.
The Dropin Revolution: Αφήνοντας το AI να αναπτύξει νέους νευρώνες
Εάν έχετε ακούσει για την εγκατάλειψη – τη δημοφιλή μέθοδο ρύθμισης όπου οι τυχαίοι νευρώνες απενεργοποιούνται κατά τη διάρκεια της εκπαίδευσης για να αποφευχθεί η υπερφόρτωση – τότε θα εκτιμήσετε τη γοητεία του αντίστροφου: “Dropin”.
Το Dropin είναι ένας όρος που οι ερευνητές δημιούργησαν να περιγράψουν το τεχνητό ισοδύναμο της νευρογένεσης. Η ιδέα είναι απλή: όταν ένα νευρωνικό δίκτυο χτυπά έναν τοίχο στη μάθηση, γιατί να μην του δώσει περισσότερη χωρητικότητα; Ακριβώς όπως ο εγκέφαλος αναπτύσσει νέους νευρώνες σε απάντηση σε ερεθίσματα, ένα μοντέλο μπορεί να δημιουργήσει νέους νευρώνες και συνδέσεις όταν αγωνίζεται με ένα έργο. Σκεφτείτε το ως AI με ανάπτυξη ανάπτυξης.
Το χαρτί προτείνει ακόμη έναν αλγόριθμο: Εάν η συνάρτηση απώλειας του μοντέλου στασιμάει (που σημαίνει ότι μαθαίνει λίγο), η Dropin ενεργοποιείται, προσθέτοντας επιλεκτικά νέους νευρώνες. Αυτοί οι νευρώνες δεν παίρνουν μόνο τυφλά. Είναι τοποθετημένα όπου το μοντέλο παρουσιάζει σημάδια υψηλής πίεσης ή χαμηλής απόδοσης. Στην ουσία, το δίκτυο δίνεται χώρος για να αναπνεύσει και να προσαρμοστεί.
Και μερικές φορές, ο AI πρέπει να ξεχάσει
Εξίσου κρίσιμη με την ανάπτυξη είναι το κλάδεμα. Η νευροapoptosis-το κουμπί αυτοκαταστροφής του εγκεφάλου για τους νευρώνες που υποφέρουν από την απόδοση-έχουν και τα ψηφιακά ανάλογα του. Η εγκατάλειψη είναι μία. Το δομικό κλάδεμα, όπου ολόκληροι νευρώνες ή συνδέσεις διαγράφονται μόνιμα, είναι ένας άλλος.
Οι ερευνητές περιγράφουν λεπτομερώς τον τρόπο με τον οποίο διάφορες στρατηγικές εγκατάλειψης αντικατοπτρίζουν αυτό το επιλεκτικό ξεχνώντας. Από την προσαρμοστική εγκατάλειψη (η οποία αλλάζει τον ρυθμό εγκατάλειψης με βάση τη χρησιμότητα ενός νευρώνα) σε προχωρημένες μορφές όπως σκυρόδεμα ή παραλλαγή εγκατάλειψης (οι οποίες μαθαίνουν ποιοι νευρώνες θα σκοτώσουν κατά τη διάρκεια της εκπαίδευσης), ο κόσμος του AI είναι ήδη στα μισά του δρόμου προς τη μίμηση της απόπτωσης.
Και δομικό κλάδεμα; Είναι ακόμα πιο σκληρό. Μόλις ένας νευρώνας θεωρείται άχρηστος, έχει φύγει. Αυτό δεν είναι μόνο καλό για την αποτελεσματικότητα – μπορεί επίσης να μειώσει την υπερφόρτωση, να επιταχύνει το συμπέρασμα και να εξοικονομήσει ενέργεια. Αλλά το κλάδεμα πρέπει να γίνει με χειρουργική ακρίβεια. Το παρακάνετε, και διακινδυνεύετε την “κατάρρευση στρώματος” – ένα μοντέλο που ξεχνά πάρα πολύ για να λειτουργήσει.
Αυτό το AI μαθαίνει να κάνει κλικ καλύτερα από εσάς
Εδώ είναι όπου τα πράγματα γίνονται συναρπαστικά. Οι πραγματικοί εγκέφαλοι δεν μεγαλώνουν ή κλαδεύουν – κάνουν και τα δύο, όλη την ώρα, σε απάντηση στη μάθηση. Αυτή είναι η νευροπλαστικότητα. Και το AI θα μπορούσε να χρησιμοποιήσει μια δόση του.
Οι ερευνητές προτείνουν να συνδυάσουν την πτώση και την εγκατάλειψη σε συνεχή βρόχο. Καθώς τα μοντέλα λαμβάνουν νέα δεδομένα ή αντιμετωπίζουν νέες εργασίες, επεκτείνονται δυναμικά ή συμβάλλουν – όπως και ο εγκέφαλός σας που προσαρμόζονται σε μια νέα γλώσσα ή ανακάμπτουν από τραυματισμό. Παρουσιάζουν ακόμη και έναν αλγόριθμο που χρησιμοποιεί αλλαγές μαθησιακού ρυθμού και ανατροφοδότηση μοντέλου για να αποφασίσει πότε να αναπτυχθεί, πότε να συρρικνωθεί και πότε να μείνει.
Αυτό δεν είναι επιστημονική φαντασία. Παρόμοιες ιδέες είναι ήδη σέρνεται σε ai: προσαρμογέας με βάση την τελειοποίηση όπως η Lora, η δυναμική επέκταση στρώματος σε LLMS και τα συνεχόμενα πλαίσια μάθησης που δείχνουν προς αυτή την κατεύθυνση. Αλλά αυτό που λείπει είναι ένα ενοποιητικό πλαίσιο που συνδέει αυτές τις μεθόδους πίσω στη βιολογία – και συστηματοποιεί πότε και πώς να προσαρμοστεί.
Τα δυναμικά δίκτυα δεν είναι εύκολο να διαχειριστούν. Η προσθήκη και διαγραφή των νευρώνων κατά τη διάρκεια της εκπαίδευσης περιπλέκει την εντοπισμό σφαλμάτων, καθιστά τον εντοπισμό σφαλμάτων σκληρότερα και κινδυνεύει να ασκήσει αστάθεια. Και σε αντίθεση με τους βιολογικούς εγκεφάλους, οι οποίοι έχουν εκατομμύρια χρόνια εξέλιξης από την πλευρά τους, τα νευρωνικά δίκτυα έχουν μόνο μερικές γραμμές κώδικα και μερικά ευρετικά.
Υπάρχει επίσης το πρόβλημα της μέτρησης της επιτυχίας. Πότε είναι χρήσιμος ένας νέος νευρώνας; Πότε είναι απλώς θόρυβος; Και πώς εξισορροπείτε τη βραχυπρόθεσμη μάθηση με μακροχρόνια μνήμη-μια πρόκληση ακόμη και οι άνθρωποι δεν έχουν λυθεί πλήρως;
Ένα νέο σχέδιο για το AI και για εμάς
Παρά τα εμπόδια, το όραμα είναι επιτακτικό. AI που δεν μαθαίνει μόνο – εξελίσσεται. AI που ξέρει πότε να ξεχάσει. Που επεκτείνεται όταν αμφισβητείται. Αυτό προσαρμόζεται σαν ένα ζωντανό σύστημα, όχι ένα κατεψυγμένο κώδικα.
Επιπλέον, ο βρόχος ανάδρασης μεταξύ της νευροεπιστήμης και του AI θα μπορούσε να πάει και με τους δύο τρόπους. Όσο περισσότερο χτίζουμε μοντέλα εμπνευσμένα από τον εγκέφαλο, τόσο περισσότερο μπορούμε να μάθουμε για το πώς λειτουργούν τα μυαλά μας. Και κάποια μέρα, το AI μπορεί να μας βοηθήσει να ξεκλειδώσουμε βαθύτερα μυστικά της γνώσης, της μνήμης και της προσαρμογής.
Έτσι, την επόμενη φορά που θα ξεχάσετε πού αφήσατε τα κλειδιά σας – ή μάθετε μια νέα δεξιότητα – θυμηθείτε: ο εγκέφαλός σας κάνει αυτό που κάνει το σημερινό Smart AI μόλις αρχίζει να κατανοεί. Και αν οι ερευνητές έχουν το δρόμο τους, ο ξεχασμένος, προσαρμόσιμος, πλαστικός εγκέφαλός σας μπορεί να είναι μόνο το χρυσό πρότυπο για τα μηχανήματα του αύριο.
VIA: DataConomy.com
