Ένα σήμα στο robots.txt για να μην εκπαιδεύουν την AI με το site σας: τι υποσχέθηκε η OpenAI

Η OpenAI θα σέβεται ένα κοινό σήμα στο robots.txt για την εκπαίδευση μοντέλων AI. Πώς μοιάζει, γιατί δεν ισχύει ακόμη, τι μένει ίδιο και ποιους κανόνες μπορείτε να βάλετε σήμερα.

Αράχνη στον ιστό της με σταγόνες, για τους crawlers και το robots.txt
Ιστός αράχνης με σταγόνες ομίχλης. Φωτογραφία: Brocken Inaglory / Wikimedia Commons, CC BY-SA 3.0 (περικομμένη)

Με μια ματιά

  • Στις 30 Οκτωβρίου, η OpenAI είπε ότι θα σέβεται ένα κοινό σήμα στο robots.txt για την εκπαίδευση μοντέλων AI, «τους επόμενους μήνες».
  • Η μορφή του, User-Agent: __usage_ai-training, βγαίνει από προσχέδιο στην IETF και μπορεί να αλλάξει.
  • Μέχρι τότε ισχύουν οι γνωστοί κανόνες: GPTBot για την εκπαίδευση, OAI-SearchBot για την αναζήτηση, Google-Extended για το Gemini.

Η OpenAI ανακοίνωσε στις 30 Οκτωβρίου ότι θα σέβεται ένα κοινό σήμα στο robots.txt, με το οποίο μια ιστοσελίδα λέει αν επιτρέπει να εκπαιδεύουν μοντέλα AI με το περιεχόμενό της. Σήμερα, κάθε ιδιοκτήτης site γράφει χωριστό κανόνα για κάθε crawler. Αντίθετα, το νέο σήμα θα ισχύει μία φορά για όλους τους παρόχους που θα το υποστηρίξουν.

Το σήμα, όμως, δεν λειτουργεί ακόμη. Σύμφωνα με την ανακοίνωση της OpenAI, η εταιρεία θα το εφαρμόσει «τους επόμενους μήνες».

Πώς θα μοιάζει το σήμα στο robots.txt

Η μορφή του βγαίνει από ένα προσχέδιο στην IETF, τον οργανισμό που φτιάχνει τα πρότυπα του internet. Το υπογράφει ο Kevin Kelley της Anthropic, όπως γράφει ο Pasquale Pillitteri. Είναι μια ομάδα κανόνων με ένα ειδικό «όνομα» crawler:

User-Agent: __usage_ai-training
Disallow: /

Το Disallow σημαίνει «όχι εκπαίδευση», ενώ με Allow και Disallow ορίζετε φακέλους. Ωστόσο, ο γενικός κανόνας User-Agent: * δεν μετρά για αυτό το σήμα. Επίσης, το προσχέδιο δεν είναι ακόμη πρότυπο, άρα η μορφή μπορεί να αλλάξει.

Τι δεν αλλάζει, τουλάχιστον ακόμη

  • Οι σημερινοί κανόνες μένουν: το GPTBot αφορά την εκπαίδευση των μοντέλων της OpenAI και το OAI-SearchBot την αναζήτηση του ChatGPT·
  • Δεν είναι κλειδαριά: το σήμα δεν απαγορεύει την ανάγνωση των σελίδων, αφορά μόνο την εκπαίδευση·
  • Δεν σβήνει το παρελθόν: δεν αφορά δεδομένα που οι εταιρείες μάζεψαν ήδη ούτε μοντέλα που υπάρχουν·
  • Θέλει καλή πίστη: το robots.txt δουλεύει μόνο με crawlers που το τηρούν.

Πάντως, η OpenAI καλεί και τους άλλους παρόχους να υιοθετήσουν το σήμα. Κατά δημοσιεύματα, Google, Microsoft και Anthropic το στηρίζουν, αλλά δεν έχουν δώσει όλες συγκεκριμένη ημερομηνία, όπως σημειώνει και το Let’s Data Science.

Τι να κάνετε σήμερα στο robots.txt σας

Αν δεν θέλετε να εκπαιδεύουν μοντέλα με το site σας, αλλά θέλετε να εμφανίζεστε στην αναζήτηση του ChatGPT, οι κανόνες που ισχύουν ήδη είναι:

User-agent: GPTBot
Disallow: /

User-agent: OAI-SearchBot
Allow: /

User-agent: Google-Extended
Disallow: /

Το Google-Extended αφορά την εκπαίδευση του Gemini και δεν επηρεάζει την αναζήτηση της Google. Επιπλέον, μπορείτε να προσθέσετε από τώρα και την ομάδα __usage_ai-training· δεν κοστίζει τίποτα και θα μετρήσει όταν ξεκινήσει. Στο WordPress, το Yoast SEO έχει επεξεργαστή για το robots.txt στα Εργαλεία → Επεξεργαστής αρχείων.

Για τους crawlers της Meta, δείτε το άρθρο για τους νέους όρους της Meta. Αν θέλετε να πείτε τη γνώμη σας στην ΕΕ, δείτε πώς απαντάτε στη διαβούλευση για τα πνευματικά δικαιώματα ως τις 10 Νοεμβρίου. Περισσότερους οδηγούς θα βρείτε στην ενότητα Οδηγοί.