Nicola Burei

Riferimento

Crawler AI: gli user agent ufficiali e cosa succede se li blocchi

I bot con cui Google, OpenAI, Perplexity, Anthropic e Microsoft visitano i siti per i loro servizi di AI: a cosa serve ciascuno, se rispetta il robots.txt e quale effetto ha bloccarlo. Ogni voce viene dalla documentazione ufficiale.

Verificato il · Registro delle modifiche · 5 motori, 15 user agent

Indice dei contenuti

In breve

I bot legati all'AI si dividono in tre famiglie, con conseguenze opposte se li blocchi. Quelli di addestramento raccolgono contenuti per i modelli futuri. Quelli di ricerca indicizzano le pagine che le risposte possono citare. Quelli su richiesta aprono una pagina quando un utente la chiede in chat.

Motore AddestramentoRicercaSu richiesta dell'utente
Google Google-Extended Googlebot Google-AgentGoogle-GeminiNotebook
OpenAI GPTBot OAI-SearchBot ChatGPT-User
Perplexity Nessuno documentato PerplexityBot Perplexity-User
Anthropic ClaudeBot Claude-SearchBot Claude-User
Bing Nessuno documentato Bingbot Nessuno documentato

Bloccare i bot di addestramento può essere una scelta di tutela legittima: pensiamo per esempio ai siti editoriali, come quotidiani e magazine online, che vivono dei contenuti che producono. Bloccare quelli di ricerca e su richiesta toglie il sito dalle risposte che potrebbero citarlo. Come si controlla se un sito sta bloccando alcuni di questi bot lo spiego nella checklist tecnica sulla leggibilità per le AI.

Google

Per AI Overviews e AI Mode il crawler di riferimento è Googlebot, perché le funzioni AI fanno parte della Ricerca e non hanno un bot dedicato. Bloccarlo però toglie il sito da tutta la Ricerca, e le direttive nosnippet, data-nosnippet e max-snippet limitano le anteprime anche nei risultati classici (noindex toglie la pagina dalla Ricerca). Per uscire solo dalle funzioni AI c'è il "Controllo dell'AI generativa nella Ricerca" di Search Console, disponibile per tutti i siti dal 31 agosto 2026. Le schede qui sotto vengono dall'elenco ufficiale di Google, che dichiara di non essere completo: riporta i crawler che compaiono più spesso nei log dei server e quelli su cui Google ha ricevuto domande.

Crawler comuni

Nella scansione automatica rispettano sempre il robots.txt.

  • GooglebotRicercarobots.txt: Sì

    Scansiona le pagine per la Ricerca Google, comprese AI Overviews, AI Mode e Discover.

    Se lo blocchiGoogle smette di scansionare le pagine: i contenuti escono dalla Ricerca, quindi anche da AI Overviews e AI Mode.

  • Google-ExtendedAddestramentorobots.txt: Sì

    Decide se i contenuti già raccolti da Google possono servire ad addestrare i modelli Gemini e al grounding in Gemini Apps e Vertex AI. Il grounding è il passaggio in cui il modello, mentre risponde, estrae contenuti dall'indice della Ricerca per dare risposte più accurate e pertinenti. Non è un crawler, perché nessuna visita arriva con quel nome: le pagine le scaricano gli altri crawler di Google. Nel robots.txt però si scrive come se lo fosse, in una riga User-agent.

    Se lo blocchiI contenuti non vengono usati per Gemini. Nessun effetto sulla Ricerca, AI Overviews e AI Mode comprese.

  • Google-CloudVertexBotAltrorobots.txt: Sì

    Scansioni chieste dai proprietari del sito per costruire agenti con Vertex AI.

    Se lo blocchiLe pagine non entrano negli agenti Vertex AI basati sul sito. Nessun effetto sulla Ricerca.

Fetcher su richiesta dell'utente

La visita parte da un utente: in genere ignorano il robots.txt.

  • Google-AgentSu richiesta dell'utenterobots.txt: Non sempre

    Agenti ospitati da Google che navigano il web e compiono azioni su richiesta dell'utente.

    Se lo blocchiIn genere la regola non ha effetto, perché la visita parte da un utente.

  • Google-GeminiNotebookSu richiesta dell'utenterobots.txt: Non sempre

    Gemini Notebook (prima NotebookLM): apre le pagine che gli utenti aggiungono come fonti.

    Se lo blocchiIn genere la regola non ha effetto, perché la visita parte da un utente.

Google documenta anche altri crawler e fetcher, per Immagini, Video, News, Shopping, annunci e strumenti come Search Console: non hanno legame con l'AI e non compaiono qui.

Fonte: documentazione ufficiale di Google, verificata il 3 ottobre 2026.

OpenAI

OpenAI tratta le regole dei suoi bot in modo indipendente: un sito può ammettere OAI-SearchBot, per comparire nei risultati di ricerca di ChatGPT, e bloccare GPTBot, per non finire nell'addestramento dei modelli. Se invece li ammette entrambi, OpenAI può scansionare le pagine una volta sola e usarle per tutti e due gli scopi, così da non visitare il sito due volte. Dopo una modifica al robots.txt servono circa 24 ore perché i risultati di ricerca di ChatGPT si adeguino.

  • OAI-SearchBotRicercarobots.txt: Sì

    Scansiona i siti per ChatGPT search, la funzione con cui ChatGPT cerca sul web mentre risponde e cita le fonti con i link. Da questo bot dipende se un sito può comparire tra quelle fonti.

    Se lo blocchiIl sito non viene mostrato nelle risposte di ChatGPT search. Può ancora comparire, ma solo come link di navigazione: OpenAI non spiega il termine, che di solito indica il semplice collegamento a un sito cercato per nome.

  • GPTBotAddestramentorobots.txt: Sì

    Raccoglie contenuti che possono servire ad addestrare i modelli di base di OpenAI.

    Se lo blocchiI contenuti non vengono usati per addestrare i modelli di base. Il blocco non riguarda OAI-SearchBot.

  • ChatGPT-UserSu richiesta dell'utenterobots.txt: Non sempre

    Visita una pagina quando un utente fa una domanda in ChatGPT e la risposta lo richiede. Non fa scansioni automatiche.

    Se lo blocchiLe regole possono non applicarsi, perché la visita parte da un utente. La comparsa in ChatGPT search dipende da OAI-SearchBot.

  • OAI-AdsBotAltrorobots.txt: Non dichiarato

    Controlla le pagine di destinazione degli annunci in ChatGPT. Visita solo le pagine inviate come annunci.

    Se lo blocchiLa documentazione non dice se rispetta il robots.txt.

Fonte: documentazione ufficiale di OpenAI, verificata il 3 ottobre 2026.

Perplexity

Una modifica al robots.txt può richiedere fino a 24 ore. Se il sito è protetto da un firewall applicativo (WAF), come quello di Cloudflare, i bot di Perplexity possono essere bloccati anche quando il robots.txt li ammette. Per lasciarli passare la documentazione consiglia una regola che richieda due condizioni insieme: lo user agent PerplexityBot o Perplexity-User e un indirizzo IP compreso negli intervalli pubblicati. Lo user agent da solo si può falsificare, e gli intervalli cambiano nel tempo: Perplexity suggerisce di aggiornare la regola in automatico.

  • PerplexityBotRicercarobots.txt: Sì

    Fa comparire e linka i siti nei risultati di Perplexity. Non raccoglie contenuti per addestrare i modelli.

    Se lo blocchiIl sito non compare e non viene linkato nei risultati di Perplexity.

  • Perplexity-UserSu richiesta dell'utenterobots.txt: Non sempre

    Apre una pagina quando un utente fa una domanda a Perplexity, per rispondere e linkarla.

    Se lo blocchiIn genere la regola non ha effetto, perché la visita parte da un utente.

Fonte: documentazione ufficiale di Perplexity, verificata il 3 ottobre 2026.

Anthropic

I tre bot rispettano il robots.txt, compresa l'estensione non standard Crawl-delay, e il blocco va ripetuto su ogni sottodominio. Anthropic sconsiglia di bloccare per indirizzo IP, perché impedisce ai bot di leggere il robots.txt. I vecchi nomi Claude-Web e anthropic-ai non compaiono più nella documentazione. Nel 2024 Anthropic ha dichiarato a 404 Media che non sono più in uso e che ClaudeBot rispetta i blocchi già scritti per loro. La dichiarazione non riguarda Claude-SearchBot e Claude-User, quindi per regolare tutti e tre i bot il robots.txt deve usare i nomi attuali.

  • ClaudeBotAddestramentorobots.txt: Sì

    Raccoglie contenuti che possono servire ad addestrare i modelli di Anthropic.

    Se lo blocchiI contenuti pubblicati da quel momento vengono esclusi dai dati di addestramento.

  • Claude-SearchBotRicercarobots.txt: Sì

    Indicizza le pagine per migliorare i risultati della ricerca web di Claude.

    Se lo blocchiLe pagine non vengono indicizzate per la ricerca di Claude: il sito può perdere visibilità nei risultati.

  • Claude-UserSu richiesta dell'utenterobots.txt: Sì

    Apre le pagine quando un utente fa una domanda a Claude.

    Se lo blocchiClaude non apre le pagine su richiesta degli utenti: il sito può perdere visibilità nelle ricerche guidate dall'utente.

Fonte: documentazione ufficiale di Anthropic, verificata il 3 ottobre 2026.

Bing

Microsoft non ha un crawler dedicato a Copilot: le risposte si basano sull'indice di Bing. Per questo il noindex, nel meta robots o nell'header X-Robots-Tag, toglie la pagina da Copilot ma anche dai risultati classici di Bing. Per limitare solo l'uso nelle funzioni AI, Bing supporta due valori del meta robots: con noarchive la pagina non viene linkata in Copilot né usata per addestrare i modelli, con nocache Copilot ne mostra solo URL, titolo e snippet. Secondo Bing, le pagine con questi valori restano nei risultati di ricerca. Se il robots.txt ha un gruppo dedicato a Bingbot, Bingbot ignora il gruppo generico: le regole comuni vanno ripetute lì.

  • BingbotRicercarobots.txt: Sì

    Crawler principale di Bing: copre la maggior parte delle scansioni quotidiane.

    Se lo blocchiBing smette di scansionare il sito, e con Bing le risposte di Copilot che si basano sul suo indice.

Bing documenta anche crawler per gli annunci e per le anteprime delle pagine e dei video: non hanno legame con l'AI e non compaiono qui.

Fonte: documentazione ufficiale di Microsoft, verificata il 3 ottobre 2026 (la pagina si legge solo con JavaScript: il confronto è manuale).

Un esempio di robots.txt

L'esempio nega l'uso dei contenuti per l'addestramento dei modelli e lascia passare i bot di ricerca e quelli su richiesta, così il sito può continuare a comparire tra le fonti delle risposte. Ogni bot bloccato ha un gruppo con due righe, User-agent e Disallow. I bot che il file non nomina non hanno regole e possono visitare tutto il sito. 

# Niente addestramento dei modelli sui contenuti di questo sito

User-agent: Google-Extended
Disallow: /

User-agent: GPTBot
Disallow: /

User-agent: ClaudeBot
Disallow: /

# Bot di ricerca e fetcher su richiesta: nessuna regola,
# quindi accesso libero
# Googlebot, OAI-SearchBot, ChatGPT-User, PerplexityBot,
# Perplexity-User, Claude-SearchBot, Claude-User,
# Bingbot

Come riconoscere un bot autentico

Lo user agent si può falsificare: chiunque può presentarsi come GPTBot. Per distinguere il bot vero si può verificare l'indirizzo IP della richiesta.

Registro delle modifiche

Le modifiche reali agli elenchi, dalla più recente: user agent nuovi, rinominati o ritirati, scopi e regole cambiati. Le verifiche senza novità non compaiono.

  1. Ultima modifica

    Prima pubblicazione del registro: cinque motori, user agent verificati sulla documentazione ufficiale.

Domande frequenti sui crawler AI

Bloccare GPTBot toglie il sito da ChatGPT?

No. GPTBot raccoglie contenuti per addestrare i modelli. La comparsa nelle risposte di ChatGPT search dipende da OAI-SearchBot, le visite fatte su richiesta degli utenti da ChatGPT-User. OpenAI tratta le impostazioni dei tre bot in modo indipendente.

Bloccare Google-Extended toglie il sito dalle AI Overviews?

No. Google-Extended decide solo se i contenuti possono servire a Gemini, per l'addestramento e il grounding. AI Overviews e AI Mode fanno parte della Ricerca e dipendono da Googlebot: per uscirne restando nei risultati classici c'è il "Controllo dell'AI generativa nella Ricerca" di Search Console.

I bot che aprono le pagine su richiesta degli utenti rispettano il robots.txt?

Dipende dall'azienda. Google e Perplexity scrivono che in genere lo ignorano, perché la visita parte da una persona. OpenAI scrive che per ChatGPT-User le regole possono non applicarsi. Anthropic invece dichiara che Claude-User rispetta il robots.txt.

Quanto tempo serve perché una modifica al robots.txt abbia effetto?

OpenAI e Perplexity indicano fino a circa 24 ore. Bing scrive che i motori tengono una copia del robots.txt in cache almeno per qualche ora. Le pagine di Google e Anthropic lette per questo registro non indicano tempi.

Lo user agent basta per riconoscere un bot?

No: chiunque può scrivere GPTBot o Googlebot nell'intestazione di una richiesta. Per esserne sicuri si confronta l'indirizzo IP con gli intervalli pubblicati da ogni azienda o, per Google e Bing, si fa il reverse DNS. I riferimenti sono nella sezione sulla verifica.

Ogni quanto viene aggiornato questo registro?

Periodicamente, partendo dalla documentazione ufficiale di ogni azienda. Le modifiche reali agli elenchi sono annotate con la data nel registro in fondo alla pagina.

Vuoi sapere quali bot visitano il tuo sito?

Nei log del server si vede quali bot passano, quanto spesso e cosa trovano. È il punto di partenza dell'audit di leggibilità.

Scopri la consulenza GEO/AEO →