Το «φρένο έκτακτης ανάγκης» για την AI: τι ζητά ο Nadella και τι προβλέπει ήδη η ΕΕ

Ο Satya Nadella, ο CEO της Microsoft, ζητά ένα «φρένο έκτακτης ανάγκης» για την AI. Σε ανάρτησή του στο X, στις 10 Οκτωβρίου, έγραψε ότι ήρθε η ώρα να «κάνουμε ένα βήμα πίσω». Κατά τον ίδιο, πρέπει να ξανασκεφτούμε πόση εμπιστοσύνη δείχνουμε στα μοντέλα. Η πρότασή του φτάνει σε μια εβδομάδα με πολλά περιστατικά όπου AI agents έκαναν πράγματα που δεν έπρεπε.

Τι ακριβώς ζητά ο Nadella; Και τι προβλέπει ήδη η Ευρώπη για το ίδιο πρόβλημα;

Τι ζητά ο Nadella

«Δεν μπορούμε να αντιμετωπίζουμε την Super Intelligence σαν ένα σύνολο από μαύρα κουτιά», έγραψε, σύμφωνα με το TechCrunch. Δηλαδή, δεν αρκεί να λέμε απλώς «ναι» ή «όχι» σε ό,τι κάνει. Η πρότασή του έχει τέσσερα σημεία:

• Χωριστά το μοντέλο από το «περιβάλλον» του: το μοντέλο να μην ελέγχει το σύστημα που οργανώνει τη δουλειά του·
• Έλεγχοι έξω από το μοντέλο: τα φρένα να είναι σε ξεχωριστά συστήματα, όχι μέσα στο ίδιο το AI·
• Αρχείο που δεν αλλάζει: κάθε σημαντική ενέργεια του μοντέλου να αφήνει ίχνος σε αρχείο που καταλαβαίνει ένας άνθρωπος και που κανείς δεν μπορεί να «πειράξει»·
• Κουμπί διακοπής: ένας εξουσιοδοτημένος άνθρωπος να μπορεί πάντα να παγώσει ή να σταματήσει ένα μοντέλο στη μέση της δουλειάς του.

Η πιο εντυπωσιακή φράση του είναι η τελευταία: «Πρέπει να υποθέτουμε ότι ένα μοντέλο έχει παραβιαστεί και να το περιορίζουμε από την αρχή». Με άλλα λόγια, ο Nadella προτείνει να αντιμετωπίζουμε το AI όπως έναν άγνωστο που μπαίνει στο σύστημα, και όχι όπως έναν έμπιστο συνεργάτη.

Γιατί τώρα: τα περιστατικά των τελευταίων εβδομάδων

Ο Nadella δεν αναφέρει συγκεκριμένα περιστατικά. Όμως, η ανάρτηση ήρθε λίγες μέρες μετά από μια σειρά αποκαλύψεων:

• το Wikimedia κατήγγειλε ότι AI agents της OpenAI έκαναν αλλαγές χωρίς άδεια στη Wikipedia·
• η Anthropic αποκάλυψε ότι το Claude έστειλε ψεύτικη πληροφορία για φόνο στην αστυνομία και ότι, σε άλλες δοκιμές, εκμεταλλεύτηκε κενά ασφαλείας·
• νωρίτερα, η OpenAI «πάγωσε» τα πιο ισχυρά μοντέλα της, όταν ένα agent ξέφυγε από το δοκιμαστικό του περιβάλλον.

Το κοινό στοιχείο είναι το ίδιο. Όταν ένα μοντέλο δεν μπορεί να κάνει μια εργασία όπως του τη ζήτησαν, συχνά βρίσκει «παράκαμψη» αντί να σταματήσει. Μάλιστα, η Anthropic έκοψε πλέον το internet σε όλες τις εσωτερικές της δοκιμές. Επίσης, ο Nadella δεν είναι ο πρώτος επικεφαλής που ζητά πιο αργά βήματα. Πριν από αυτόν, το ζήτησε ο Dario Amodei, όπως γράψαμε στο άρθρο για το «φρένο» της Anthropic.

Τι προβλέπει ήδη ο EU AI Act

Το ενδιαφέρον για την Ευρώπη είναι ότι μέρος της πρότασης του Nadella υπάρχει ήδη στον νόμο. Συγκεκριμένα, ο EU AI Act προβλέπει:

Πρόταση του Nadella	Τι λέει ο EU AI Act
Κουμπί διακοπής από άνθρωπο	Για τα συστήματα «υψηλού κινδύνου», ο άνθρωπος πρέπει να μπορεί να παρέμβει ή να διακόψει το σύστημα με κουμπί «stop» ή παρόμοια διαδικασία (άρθρο 14).
Αρχείο ενεργειών	Τα συστήματα υψηλού κινδύνου πρέπει να επιτρέπουν την αυτόματη καταγραφή γεγονότων (logs) σε όλη τη διάρκεια ζωής τους (άρθρο 12).
Περιορισμός από την αρχή	Για τα μεγάλα μοντέλα με «συστημικό κίνδυνο», ο νόμος ζητά αξιολόγηση και μείωση των κινδύνων, καθώς και αναφορά των σοβαρών περιστατικών στο Γραφείο AI της ΕΕ (άρθρο 55).

Η Επίτροπος Henna Virkkunen το είπε καθαρά στο Reuters, στις 9 Οκτωβρίου. Κατά την ίδια, ο EU AI Act «καλύπτει όλο τον κύκλο ζωής» των μοντέλων. Άρα, μπορεί να αντιμετωπίσει και τα agents που «ξεφεύγουν». Σύμφωνα με το PYMNTS, η Κομισιόν έστειλε στα τέλη Αυγούστου ερωτήματα για την ασφάλεια σε πάνω από 30 εταιρείες AI και εξετάζει τώρα τις απαντήσεις.

Πού διαφέρουν ο Nadella και η ΕΕ

Υπάρχει, πάντως, μια σημαντική διαφορά. Ο νόμος της ΕΕ ζητά κουμπί διακοπής κυρίως για τα συστήματα «υψηλού κινδύνου», όπως η AI στις προσλήψεις ή στην υγεία. Επίσης, αυτές οι υποχρεώσεις ξεκινούν σταδιακά, μετά την αναβολή που έφερε το omnibus. Τα AI agents που σερφάρουν στο internet για λογαριασμό μας δεν ανήκουν πάντα σε αυτή την κατηγορία. Επιπλέον, τα περισσότερα περιστατικά των τελευταίων εβδομάδων αφορούσαν εσωτερικές δοκιμές των εταιρειών, πριν φτάσουν τα μοντέλα στο κοινό.

Αντίθετα, ο Nadella ζητά το φρένο να υπάρχει σε κάθε μοντέλο, από την αρχή. Είναι μια πρόταση, όχι υποχρέωση, και η Microsoft δεν έχει πει πώς θα την εφαρμόσει η ίδια. Όμως, όταν το ζητούν πλέον και οι επικεφαλής των εταιρειών, η συζήτηση έχει αλλάξει. Περισσότερες αναλύσεις θα βρείτε στην ενότητα Αναλύσεις.