Robots.txt e AI training: cosa fare prima del 2027
Robots.txt e AI training: Google, OpenAI e Microsoft puntano a un segnale comune. Cosa deve fare davvero una PMI.

Indice
- Cosa è cambiato il 30 ottobre
- Training, scansione e ricerca non sono la stessa cosa
- Come funziona il segnale nel robots.txt
- Cosa fare adesso, e cosa aspettare
- Errori da evitare
- Domande frequenti
Il 30 ottobre 2026 Google, OpenAI e Microsoft hanno annunciato il supporto a una proposta comune: usare il robots.txt per l'AI training come canale unico per dire se i contenuti di un sito possano addestrare i modelli di intelligenza artificiale. Se gestisci il sito di una PMI, ti chiedo subito una cosa: non toccare niente oggi. Ti spiego perché, e cosa invece conviene preparare nelle prossime settimane.

Cosa è cambiato il 30 ottobre
Finora chi voleva limitare l'uso dei propri contenuti da parte dell'AI doveva inseguire un elenco di crawler: uno per Google, uno per OpenAI, uno per Microsoft, e così via, con nomi che cambiano e regole diverse per ciascuno. La proposta nuova prova a semplificare: un nome convenzionale da inserire nel file robots.txt, __usage_ai-training, con cui dichiarare una preferenza valida per tutto il dominio o solo per certi percorsi.
Le tempistiche però non sono uguali per tutti. Google punta a riconoscere il segnale all'inizio del 2027. OpenAI parla dei prossimi mesi. Microsoft ha indicato il 1° febbraio 2027 come data da cui applicherà le nuove preferenze. Chi ti dice che "ormai basta una riga e sei a posto" sta semplificando troppo.
C'è poi un dettaglio che nei titoli dei giornali si perde: il documento tecnico è una prima Internet-Draft individuale depositata presso IETF. Non è uno standard, non rappresenta ancora un consenso e, nella versione attuale, scade il 3 maggio 2027 se nessuno la aggiorna. È una proposta seria con sostenitori pesanti, ma può ancora cambiare.
Training, scansione e ricerca non sono la stessa cosa
Il punto che ti consiglio di fissare è questo: sono quattro cose diverse, e il nuovo segnale riguarda solo una.
- Accesso del crawler: chi può visitare le pagine e quali percorsi può leggere.
- Indicizzazione: quali contenuti compaiono nei risultati di ricerca.
- AI training: se il contenuto può contribuire all'addestramento di un modello.
- Grounding: se il contenuto può essere recuperato per costruire una risposta aggiornata, con rimando alla fonte.
Il nuovo token esprime una preferenza sul training. Non concede né revoca il permesso tecnico di visitare un URL, e non decide se il sito resta o no nei risultati di ricerca. Google, per esempio, chiarisce che Google-Extended riguarda l'addestramento dei modelli Gemini e non l'inclusione o il posizionamento in Google Search.
Questo ha una conseguenza pratica. Se blocchi tutto senza aver chiarito l'obiettivo, rischi di perdere anche le opportunità di citazione che magari volevi tenere. Su questo tema ho scritto una guida su come farsi citare da ChatGPT: prima di chiudere una porta, decidi se dietro quella porta c'è visibilità che ti serve.
Come funziona il segnale nel robots.txt
La bozza riutilizza la sintassi del Robots Exclusion Protocol, senza inventare un nuovo file. Un gruppo User-Agent chiamato __usage_ai-training può dichiarare Disallow: / per l'intero sito e aggiungere eccezioni con Allow, per esempio per una cartella dedicata alla stampa. Come nel robots.txt di sempre, il percorso più specifico prevale.
Attenzione a una trappola: una regola generica User-Agent: * non esprime automaticamente la preferenza sul training. Serve il gruppo dedicato. E quel gruppo non identifica un crawler reale, dichiara solo una policy d'uso: le regole che controllano la scansione continuano a riferirsi agli user-agent dei singoli fornitori.
Google prevede di leggere il segnale insieme a Google-Extended. Se dichiari il rifiuto comune e non hai una regola esplicita per Google-Extended, lo tratterà come un divieto anche per quest'ultimo; se la regola specifica esiste, la tua scelta distinta resta valida. Microsoft, dal canto suo, indica il 1° marzo 2027 come termine per chi oggi usa NoArchive o NoCache con intento legato all'AI.
Un errore di percorso o un gruppo duplicato possono produrre l'effetto opposto a quello voluto. Per questo una modifica al robots.txt va trattata come una configurazione, non come testo copiato da un post. Se il tuo sito è gestito da un plugin o da una CDN che riscrive il file, il problema si moltiplica: è uno dei motivi per cui un sito web costruito con criterio ti dà più controllo di uno stratificato nel tempo.
Cosa fare adesso, e cosa aspettare
Il mio consiglio, da freelance che vede ogni settimana robots.txt scritti a caso, è un piano in quattro passi. Nessuno richiede di pubblicare qualcosa subito.
- Fotografa lo stato attuale. Scarica il robots.txt realmente servito in produzione, controlla meta tag e header che influenzano indicizzazione e archiviazione, annota i crawler già nominati. Per ogni regola scrivi perché esiste e chi l'ha voluta.
- Costruisci una matrice per aree. Per schede prodotto, blog, casi studio, area clienti e documentazione decidi separatamente: visibilità in ricerca, accesso dei crawler, training, grounding. Non tutte le aree hanno gli stessi obiettivi.
- Verifica i diritti. Non dichiarare disponibilità su testi, foto o cataloghi che non puoi concedere. Se hai materiale di fornitori o fotografi esterni, controlla le licenze.
- Prepara una modifica reversibile. Test della sintassi, confronto prima e dopo, un responsabile dell'approvazione e una data di attivazione legata alla documentazione dei fornitori.
Tieni d'occhio anche gli effetti sul traffico: quando decidi cosa mostrare e cosa no, ti serve leggere i dati con attenzione, ad esempio con il report AI di Search Console. E se vuoi un controllo completo di robots.txt, indicizzazione e visibilità, è esattamente il tipo di verifica che inseriamo in una consulenza SEO.
Errori da evitare
- Considerarlo uno standard definitivo. Oggi è una bozza individuale, con date di adozione diverse.
- Confonderlo con una protezione. Il robots.txt non è un sistema di autorizzazione: chi sceglie di ignorarlo non viene fermato. Dati riservati vanno protetti con autenticazione e controlli lato server.
- Applicare una scelta unica a tutto il sito. Aree diverse hanno diritti e obiettivi diversi.
- Cancellare le regole specifiche dei fornitori. Finché il supporto comune non è attivo e documentato, quelle regole sono l'unico controllo che funziona.
- Delegare la policy al tecnico. Chi implementa la regola non dovrebbe decidere cosa l'azienda vuole condividere: è una scelta di direzione, comunicazione e, se serve, legale.
Se l'obiettivo non è chiaro, la configurazione corretta è aspettare e conservare i controlli esistenti. Anche l'effetto sul traffico va letto con calma, come nel caso degli AI Overviews che fanno calare le visite: prima si misura, poi si decide.
Domande frequenti
Il robots.txt per l'AI training è già uno standard attivo?
No. È una prima Internet-Draft individuale presentata a IETF, non uno standard. Google, OpenAI e Microsoft hanno annunciato che la supporteranno, ma con tempi diversi: dai prossimi mesi fino all'inizio del 2027. Nel frattempo restano validi i controlli specifici di ciascun fornitore.
User-Agent asterisco blocca automaticamente l'addestramento dell'AI?
No. La proposta richiede un gruppo dedicato chiamato __usage_ai-training. Le regole generiche sui crawler e la preferenza sul training hanno funzioni diverse, quindi una riga con User-Agent: * non basta a dichiarare la tua scelta sull'uso dei contenuti.
Negare l'AI training mi toglie da Google Search?
Non automaticamente. Google distingue l'uso dei contenuti per Gemini, controllato da Google-Extended, dall'inclusione e dal posizionamento in Search. Vanno però verificate separatamente tutte le direttive di scansione e indicizzazione già presenti sul sito, per evitare conflitti.
Il robots.txt impedisce davvero a chiunque di usare i miei contenuti?
No. Il robots.txt esprime regole per gli operatori che scelgono di rispettarle, non è un sistema di autorizzazione. Per contenuti riservati servono autenticazione e controlli di accesso reali sul server, non un file pubblico leggibile da chiunque.
Una PMI deve modificare subito il proprio robots.txt?
Di norma no. Conviene fare l'inventario dei controlli attuali, decidere area per area cosa condividere e seguire la documentazione dei fornitori. La modifica andrà applicata e testata quando il supporto sarà effettivo, preparando prima un piano di rollback.
Se vuoi che qualcuno controlli il tuo robots.txt prima del 2027, scrivimi dalla pagina contatti: in mezza giornata si mette in ordine l'inventario e si evitano errori che poi costano mesi di visibilità.


