Αναρωτηθήκατε ποτέ πώς η ακρόαση μόνο οι πρώτες σημειώσεις ενός γνωστού τραγουδιού μπορούν να φέρουν αμέσως ολόκληρη τη μελωδία; Αυτό το θαύμα της γνώσης είναι γνωστό ως συσχετιστική μνήμη, ένας θεμελιώδης νευρωνικός μηχανισμός που μας επιτρέπει να συνδέουμε κομμάτια πληροφοριών, να ανακτάμε πλήρη πρότυπα από μερικές ενδείξεις και να περιηγηθείτε στις πολυπλοκότητες του κόσμου μας.
Τώρα, οι ερευνητές είναι προτείνων Ένα νέο μοντέλο που προσφέρει βαθύτερες γνώσεις για το πώς το μυαλό μας επιτυγχάνει αυτό, ιδιαίτερα πώς τα εξωτερικά ερεθίσματα καθοδηγούν ενεργά τη διαδικασία ανάκτησης μνήμης – μια πτυχή που πιστεύουν ότι έχει παραβλεφθεί σε μεγάλο βαθμό στα παραδοσιακά μοντέλα μνήμης AI.
Η δύναμη και το παζλ της συσχετιστικής μνήμης
Η συσχετιστική μνήμη δεν αφορά μόνο την ανάκληση τραγουδιών. Είναι ένας ακρογωνιαίος λίθος της μάθησης, της επίλυσης προβλημάτων και της γενικής μας ικανότητας να κατανοήσουμε την πραγματικότητα. Όταν ένα κομμάτι πληροφοριών ενεργοποιεί τη μνήμη ενός μεγαλύτερου, σχετικού μοτίβου – όπως ένα άρωμα που προκαλεί μια παιδική μνήμη ή μια λέξη που φέρνει μια πολύπλοκη έννοια – η συσχετιστική μνήμη λειτουργεί. Αυτό δεν είναι ένα απλό σύστημα αποθήκευσης ενός προς ένα.
“Είναι ένα φαινόμενο δικτύου”, εξήγησε ο καθηγητής μηχανικής UC Santa Barbara Francesco Bullo. “Η αποθήκευση μνήμης και η ανάκτηση μνήμης είναι δυναμικές διαδικασίες που εμφανίζονται σε ολόκληρα δίκτυα νευρώνων”. Αυτά τα περίπλοκα νευρωνικά δίκτυα επιτρέπουν την ισχυρή και ευέλικτη ανάκληση που χαρακτηρίζει την ανθρώπινη μνήμη.
Το 1982, ο φυσικός John Hopfield, ο οποίος απονεμήθηκε το βραβείο Νόμπελ για το έργο του το 2024, μεταφράστηκε περίφημα αυτή την έννοια της νευροεπιστήμης στη σφαίρα της τεχνητής νοημοσύνης με το δίκτυο Hopfield. Αυτό ήταν ένα επιτεύγμα ορόσημο, παρέχοντας ένα μαθηματικό πλαίσιο για την κατανόηση της αποθήκευσης και της ανάκτησης μνήμης. Το δίκτυο Hopfield, ένα από τα πρώτα επαναλαμβανόμενα τεχνητά νευρωνικά δίκτυα, έγινε γνωστός για την ικανότητά του να ανακτά πλήρη πρότυπα ακόμη και όταν παρουσιάζεται με θορυβώδεις ή ελλιπείς εισροές, όπως και οι δικοί μας εγκεφάλους.
Ο ελλείποχος ρόλος των εξωτερικών εισροών
Παρά τη δύναμη του παραδοσιακού δικτύου Hopfield, ο καθηγητής Bullo και οι συνεργάτες του -Simone Betteti, Giacomo Baggio και Sandro Zampieri στο Πανεπιστήμιο της Πάντυ στην Ιταλία -Απευθύνεται ότι δεν καταγράφει πλήρως τις αποχρώσεις του πόσο νέες, εισερχόμενες πληροφορίες οδηγούν στη διαδικασία ανάκτησης της μνήμης. Στο έγγραφό τους που δημοσιεύθηκε στο περιοδικό Επιστημονική πρόοδοςδηλώνουν ότι “ο ρόλος των εξωτερικών εισροών έχει σε μεγάλο βαθμό ανεξερεύνητο, από τις επιπτώσεις τους στη νευρωνική δυναμική για το πώς διευκολύνουν την αποτελεσματική ανάκτηση μνήμης”.
Οι ερευνητές υποδεικνύουν ότι τα τρέχοντα μοντέλα AI, συμπεριλαμβανομένων των πολύ εξελιγμένων μεγάλων γλωσσικών μοντέλων (LLMS), δεν αναπαράγουν πραγματικά τον τρόπο με τον οποίο οι εγκεφάλους των ζώων, συμπεριλαμβανομένων των ανθρώπων, οι μνήμες χειριστών. “Η σύγχρονη εκδοχή των συστημάτων μηχανικής μάθησης, αυτά τα μεγάλα γλωσσικά μοντέλα – δεν διαμορφώνουν πραγματικά τις αναμνήσεις”, εξήγησε ο Bullo. “Βάζετε μια προτροπή και παίρνετε μια έξοδο, αλλά δεν είναι ο ίδιος τρόπος με τον οποίο καταλαβαίνουμε και χειριζόμαστε τις αναμνήσεις στον κόσμο των ζώων”. Ενώ τα LLMs μπορούν να δημιουργήσουν εντυπωσιακά συνεκτικές και ευφυείς απαντήσεις που βασίζονται στα τεράστια πρότυπα στα δεδομένα εκπαίδευσης τους, δεν διαθέτουν τη συνεχή λογική βασισμένη στην εμπειρία που βασίζονται στον φυσικό κόσμο που διαθέτουν τα ζώα.
Ο Simone Betteti, επικεφαλής συγγραφέας του εγγράφου, επεξεργάστηκε σε αυτό το σημείο: “Ο τρόπος με τον οποίο βιώνουμε τον κόσμο είναι κάτι που είναι πιο συνεχές και λιγότερο εκκίνηση και επαναφορά”. Σημείωσε ότι πολλές προηγούμενες θεραπείες του μοντέλου Hopfield υιοθέτησαν μια μηχανιστική, υπολογιστική προοπτική του εγκεφάλου. “Αντ ‘αυτού, αφού εργαζόμαστε σε ένα μοντέλο μνήμης, θέλουμε να ξεκινήσουμε με μια ανθρώπινη προοπτική.” Το κεντρικό ερώτημα που οδήγησε στην έρευνά τους ήταν: Καθώς συνεχώς αντιλαμβανόμαστε τον κόσμο γύρω μας, πώς αυτά τα εισερχόμενα σήματα μας επιτρέπουν να ανακτήσουμε τις σχετικές αναμνήσεις;
Το AI μπορεί σύντομα να ανιχνεύσει νωρίς τη δυσλεξία από το χειρόγραφο των παιδιών
Το αρχικό μοντέλο του Hopfield εννοεί την ανάκτηση μνήμης χρησιμοποιώντας μια μεταφορά “ενεργειακού τοπίου”. Σε αυτό το τοπίο, οι μνήμες αντιπροσωπεύονται από κοιλάδες ή ενεργειακά ελάχιστα. Η διαδικασία ανάκτησης μνήμης είναι παρόμοια με μια μπάλα που κυλεί σε αυτό το τοπίο μέχρι να εγκατασταθεί σε μία από αυτές τις κοιλάδες, υποδηλώνοντας αναγνώριση ή ανάκληση. Το σημείο εκκίνησης σε αυτό το τοπίο είναι η αρχική σας κατάσταση, που επηρεάζεται από το σύνθημα που λαμβάνετε.
“Φανταστείτε ότι βλέπετε την ουρά μιας γάτας”, εικονογραφείται ο Bullo. “Όχι ολόκληρη η γάτα, αλλά μόνο η ουρά. Ένα σύστημα συσχετιστικής μνήμης θα πρέπει να είναι σε θέση να ανακτήσει τη μνήμη ολόκληρης της γάτας”. Σύμφωνα με το παραδοσιακό μοντέλο Hopfield, το ερέθισμα της ουράς της γάτας ενεργεί ως αρχική κατάσταση, τοποθετώντας την “μπάλα” σας πλησιέστερα στην κοιλάδα “Cat”. Ωστόσο, παρέμεινε μια κρίσιμη ερώτηση.
“Το κλασικό μοντέλο Hopfield δεν εξηγεί προσεκτικά πώς βλέπει την ουρά της γάτας να σας βάζει στο σωστό μέρος για να πέσετε κάτω από το λόφο και να φτάσετε στο ελάχιστο ενεργειακό”, επεσήμανε ο Bullo. “Πώς μετακινείτε στο χώρο της νευρικής δραστηριότητας όπου αποθηκεύετε αυτές τις αναμνήσεις; Είναι λίγο ασαφές.”
Εισαγωγή του μοντέλου πλαστικότητας (IDP) με γνώμονα την είσοδο (IDP)
Για να αντιμετωπίσει αυτή την έλλειψη σαφήνειας, οι ερευνητές προτείνουν τους Μοντέλο πλαστικότητας (IDP). Αυτό το νέο πλαίσιο εισάγει έναν μηχανισμό όπου οι παρελθόντες και οι νέες πληροφορίες είναι σταδιακά ενσωματωμένες, καθοδηγώντας ενεργά τη διαδικασία ανάκτησης μνήμης προς τη σωστή μνήμη. Σε αντίθεση με το κάπως στατικό ενεργειακό τοπίο του αρχικού δικτύου Hopfield όπου η ανάκτηση είναι μια αλγοριθμική διαδικασία δύο σταδίων, το μοντέλο IDP περιγράφει έναν δυναμικό μηχανισμό που βασίζεται στην είσοδο.
“Υποστηρίζουμε την ιδέα ότι καθώς λαμβάνεται το ερέθισμα από τον εξωτερικό κόσμο (π.χ. την εικόνα της ουράς της γάτας), αλλάζει ταυτόχρονα το ενεργειακό τοπίο”, δήλωσε ο Bullo. Στην ουσία, η εξωτερική είσοδος – η ουρά της γάτας – δεν σας δίνει μόνο ένα σημείο εκκίνησης. Αναμορφώνει ενεργά το έδαφος. “Το ερέθισμα απλοποιεί το ενεργειακό τοπίο, έτσι ώστε ανεξάρτητα από την αρχική σας θέση, θα κυλήσετε στη σωστή μνήμη της γάτας”.
Ένα σημαντικό πλεονέκτημα του μοντέλου IDP είναι η ευρωστία του στον θόρυβο. Όταν μια είσοδος είναι ασαφής, διφορούμενη ή μερικώς κρυμμένη, το μοντέλο δεν παραπαίει. Αντ ‘αυτού, μπορεί να χρησιμοποιήσει αποτελεσματικά αυτό το “θόρυβο” προς όφελός του, φιλτράροντας λιγότερο σταθερές αναμνήσεις (τις ρηχότερες κοιλάδες στο ενεργειακό τοπίο) και ευνοώντας τις πιο σταθερές, βαθιά εδραιωμένες.
Το Betteti παρείχε μια αναλογία: “Ξεκινάμε με το γεγονός ότι όταν κοιτάζετε σε μια σκηνή το βλέμμα σας μετατοπίζεται ανάμεσα στα διάφορα συστατικά της σκηνής. Μόλις “κλειδώσετε” μια είσοδο για να εστιάσετε, εξήγησε, το δίκτυο προσαρμόζεται δυναμικά για να δώσει προτεραιότητα σε αυτήν την είσοδο, αποτελεσματικά γλυπτική το τοπίο μνήμης σε πραγματικό χρόνο.
Οι μετασχηματιστές είναι οι κινητήρες πίσω από το σημερινό κορυφαίο LLMS όπως το ChatGPT.
Ενώ το μοντέλο IDP που προτάθηκε από τον Bullo και τους συναδέλφους του “ξεκινά από ένα πολύ διαφορετικό αρχικό σημείο με διαφορετικό στόχο”, υπάρχει συναρπαστική δυνατότητα για αυτή τη νέα κατανόηση της συσχετιστικής μνήμης για να ενημερώσει το σχεδιασμό των μελλοντικών συστημάτων μηχανικής μάθησης. Ο τρόπος με τον οποίο το μοντέλο IDP χειρίζεται τη συνεχή είσοδο και ρυθμίζει δυναμικά την εσωτερική του κατάσταση θα μπορούσε να προσφέρει νέες οδούς για τη δημιουργία AI που μαθαίνει και τους λόγους με έναν πιο ανθρώπινο τρόπο, με γνώμονα το περιβάλλον.
“Βλέπουμε μια σύνδεση μεταξύ των δύο, και το χαρτί το περιγράφει”, δήλωσε ο Bullo. “Δεν είναι το επίκεντρο του εγγράφου, αλλά υπάρχει αυτή η θαυμάσια ελπίδα ότι αυτά τα συστήματα συσχετιστικής μνήμης και τα μεγάλα γλωσσικά μοντέλα μπορούν να συμφιλιωθούν”.
VIA: DataConomy.com
