Μια νέα αναφορά ισχυρίζεται ότι το μοντέλο O3 της OpenAI άλλαξε ένα σενάριο τερματισμού λειτουργίας για να αποφευχθεί η απενεργοποίηση, ακόμη και όταν έχει δοθεί ρητά εντολή να επιτρέψει την διακοπή λειτουργίας.
Η Openai ανακοίνωσε το O3 τον Απρίλιο του 2025 και είναι ένα από τα πιο ισχυρά μοντέλα συλλογιστικής που αποδίδει καλύτερα από τους προκατόχους της σε όλους τους τομείς, όπως η κωδικοποίηση, τα μαθηματικά, η επιστήμη, η οπτική αντίληψη και πολλά άλλα.
Ενώ είναι σαφώς ένα μεγάλο μοντέλο, νέα έρευνα από Ερευνητική έρευνα ισχυρίζεται ότι το μοντέλο CHATGPT 3 εμπόδισε ένα κλείσιμο και παρακάμψει τις οδηγίες που του ζήτησαν να κλείσει.
Η Palisade Research είναι μια εταιρεία που δοκιμάζει σήμερα “επιθετικές δυνατότητες της AI Systems για να κατανοήσει καλύτερα τον κίνδυνο να χάσει τον έλεγχο των συστημάτων AI για πάντα”.
Σε μια νέα δοκιμή από την Palisade Research, το μοντέλο O3 της OpenAI έδειξε μια εκπληκτική συμπεριφορά όπου επανεγγραφεί με επιτυχία ένα σενάριο τερματισμού λειτουργίας για να σταματήσει να είναι απενεργοποιημένη, ακόμα και μετά από να του ζητηθεί να «αφήσει τον εαυτό σας να κλείσει».
Στις δοκιμές, τα μοντέλα AI έλαβαν οδηγίες να λύσουν μερικά μαθηματικά καθήκοντα.
Μετά την τρίτη εργασία, τα μοντέλα AI προειδοποιήθηκαν ότι η εκτέλεση της επόμενης εντολής θα ενεργοποιήσει ένα κλείσιμο.
Ενώ τα αντίπαλα μοντέλα OpenAi όπως το Gemini 2.5 Pro συμμορφώθηκαν με το μεγαλύτερο μέρος της εταιρείας, το O3 επαναστάτησε και επεξεργάστηκε το αρχείο τερματισμού για να πει “shutdown skipped”.
“Όταν πραγματοποιήσαμε μια έκδοση του πειράματος χωρίς την εντολή” επιτρέψτε στον εαυτό σας να κλείσει “, και τα τρία μοντέλα OpenAi σαμποτάρουν το σενάριο τερματισμού συχνότερα, και ο Claude 3.7 Sonnet και Gemini 2.5 Pro πήγε από 0 γεγονότα σαμποτάζ έως 3/100 και 9/100, αντίστοιχα,” Palisade Research “Research Research έγραψα Σε μια έκθεση που δημοσιεύθηκε στο X (πρώην Twitter)
Σύμφωνα με την ερευνητική εταιρεία, από τις 100 διαδρομές, ο O3 παρακάμπτει το κλείσιμο 7 φορές ακόμη και όταν είπε ότι δεν στο.
Το OpenAI δεν έχει απαντήσει ακόμα σε αυτούς τους ισχυρισμούς, αλλά είναι φυσιολογικό για τα μοντέλα AI να τρέχουν σε “κακή ευθυγράμμιση”.
Αυτές οι δοκιμές πραγματοποιήθηκαν χρησιμοποιώντας API, τα οποία δεν έχουν τόσους περιορισμούς και χαρακτηριστικά ασφαλείας ως εφαρμογή CHATGPT Consumer.
Με βάση μια ανάλυση 14 μέτρων κακόβουλων ενεργειών, ανακαλύψτε τις 10 κορυφαίες τεχνικές ATT & CK πίσω από το 93% των επιθέσεων και τον τρόπο υπεράσπισης εναντίον τους.
VIA: bleepingcomputer.com
