Il tuo sito è leggibile per le AI? La checklist tecnica per scoprirlo

Prima di chiederti perché ChatGPT o Perplexity non citano il tuo sito, c’è una domanda più basilare: riescono a leggerlo? Una parte dei siti che analizzo ha problemi di leggibilità tecnica che escludono i contenuti dai motori generativi prima di qualsiasi valutazione di qualità. E non capita solo ai siti trascurati: tra i 100 principali siti di news americani e britannici, il 71% blocca almeno uno dei bot che portano le pagine dentro le risposte AI, spesso nella convinzione di bloccare solo l’addestramento dei modelli¹. In questo articolo trovi la checklist che seguo nell’audit di leggibilità AI dei miei clienti: cosa verifico, con quali criteri, e quali allarmi sono falsi.

Perché la leggibilità tecnica è diversa da quella per Google

Googlebot esegue JavaScript: se il tuo sito costruisce i contenuti nel browser, prima o poi Google li vede comunque. La maggior parte dei crawler AI no. La misurazione più solida disponibile, condotta da MERJ e Vercel sul traffico della rete Vercel, dice che nessun crawler di OpenAI, Anthropic, Meta, ByteDance o Perplexity esegue JavaScript; lo fanno solo Gemini, che usa l’infrastruttura di Googlebot, e Applebot². Il dettaglio rivelatore: GPTBot scarica i file JavaScript (l’11,5% delle sue richieste), ma non li esegue mai. Se un contenuto compare solo dopo il rendering, per GPTBot, ClaudeBot o PerplexityBot quella pagina è in gran parte vuota.

Lo stesso studio mostra crawler ancora immaturi: circa il 35% delle richieste di ChatGPT e Claude finiva su pagine 404, contro l’8% di Googlebot². Con visitatori così poco efficienti non puoi contare sulla loro perseveranza: URL puliti, sitemap corrette e link interni coerenti valgono più che mai.

Tre famiglie di bot, tre conseguenze diverse

Il primo errore da evitare è trattare “i bot AI” come una categoria unica. Le piattaforme dichiarano tre famiglie con scopi diversi³, e bloccare l’una o l’altra ha conseguenze opposte:

Tre precisazioni facili da perdere quando si mette mano al robots.txt:

• Google-Extended non è un crawler: è solo un’etichetta nel robots.txt che governa l’uso dei contenuti per l’addestramento e il grounding di Gemini. Bloccarla non ti toglie (né ti tiene fuori) dalle AI Overviews, che dipendono da Googlebot come tutta la ricerca Google⁴.
• I fetcher su richiesta non sempre rispettano il robots.txt: la documentazione di Perplexity dichiara che Perplexity-User “generalmente lo ignora”, OpenAI scrive che per ChatGPT-User le regole “potrebbero non applicarsi”, Anthropic invece dichiara che Claude-User lo rispetta³.
• I volumi sono sbilanciati sul training: nel 2025 circa l’80% del traffico dei crawler AI dichiarava scopo di addestramento, ma la parte che cresce più in fretta è quella dei fetcher su richiesta, più che ventuplicata nel corso dell’anno secondo Cloudflare⁵.

La conseguenza pratica: bloccare il training è una decisione di policy che si può difendere; bloccare search e fetcher mentre si vorrebbe comparire nelle risposte AI è un autogol. Nel mio audit i due casi hanno esiti diversi: il blocco dei bot di search e dei fetcher è una criticità, quello dei bot di training una segnalazione.

La checklist

1. robots.txt: chi stai bloccando, e lo sai?

Molti blocchi non sono decisioni: sono righe copiate da un template, o scelte fatte anni fa per proteggersi dallo scraping e mai riviste. Cerca nel robots.txt gli user agent delle tre famiglie e chiediti, per ognuno, se il blocco è voluto e se colpisce la famiglia giusta. I numeri dicono che la confusione è la norma: il monitoraggio continuo di Palewire conta, a luglio 2026, GPTBot bloccato da metà delle 1.156 testate giornalistiche osservate¹, e lo studio citato in apertura mostra che i blocchi colpiscono in maggioranza anche i bot di search, cioè proprio quelli che porterebbero citazioni.

2. La CDN può bloccare anche quello che il robots.txt permette

Il robots.txt è una dichiarazione; quello che conta è la risposta reale del server. Il comportamento in vigore oggi: dal luglio 2025 Cloudflare, che gestisce circa un quinto del traffico web, blocca tutti i crawler AI di default su ogni nuovo dominio, bot di search e fetcher compresi. Un correttivo è già annunciato ma non ancora attivo: dal 15 settembre 2026 il default per i nuovi domini distinguerà per scopo, con i bot di search permessi, mentre bot di training e agent saranno bloccati sulle pagine con pubblicità⁵. WAF e bot management di altri fornitori hanno protezioni simili, spesso attivate in blocco. Il risultato sono siti convinti di essere aperti che rispondono 403 o servono una challenge JavaScript ai bot AI, senza che nessuno l’abbia mai deciso. Attenzione però: default non significa irrevocabile. È un’impostazione che si verifica e si cambia dal pannello della CDN in pochi minuti; il problema non è la serratura, è non sapere di averla chiusa.

3. I contenuti devono stare nell’HTML servito

Il test più semplice resta il migliore: apri una pagina importante, disattiva JavaScript nel browser e ricaricala. Quello che vedi è ciò che vede la maggior parte dei crawler AI. In alternativa apri il sorgente della pagina (“Visualizza sorgente” nel browser: è l’HTML così come il server lo consegna) e cerca con Ctrl+F due o tre frasi chiave del contenuto: se non ci sono, c’è un problema di rendering. Chi ha dimestichezza col terminale ottiene lo stesso con curl. Nei miei audit affianco a questo test una soglia di guardia automatica: una pagina con meno di 150 parole di testo nell’HTML grezzo la marco come sospetta, perché, tolto il testo di menu e footer, lì dentro non resta spazio per nessun contenuto vero. La soglia vale in una direzione sola: sotto, il problema è quasi certo; sopra, la pagina non è affatto assolta, perché il conteggio lo gonfiano anche navigazione e cookie banner. Il test che decide resta il confronto delle frasi chiave tra sorgente e browser.

4. Tempi di risposta: conta l’affidabilità, non il record

Su questo punto conviene essere onesti: nessuna piattaforma dichiara un timeout ufficiale per i propri bot, e le soglie “1-5 secondi” che circolano nei blog GEO non hanno una fonte primaria. I punti fermi sono altri due. Google documenta che la velocità del server muove direttamente quanto Googlebot scarica: risposte rapide alzano il limite di crawl, rallentamenti ed errori lo abbassano⁶. E sui motori AI esiste un dato indiretto ma pesante: su circa 700.000 pagine analizzate, quelle in cui i fetch falliscono più di 3 volte su 4 raccolgono circa 18 volte meno citazioni dai sistemi di OpenAI rispetto alle pagine che rispondono in modo affidabile⁷. Un TTFB sotto 0,8 secondi resta un buon riferimento (è la soglia “buona” di Google, pensata per gli utenti, non per i bot)⁶; CDN e caching sono i primi alleati, purché configurati per non respingere proprio i bot che vuoi accogliere (punto 2).

5. Dati strutturati: chiarezza dell’entità, non scorciatoia per le citazioni

Qui l’evidenza è genuinamente contrastante, e vale la pena riportarla com’è. Google scrive che per comparire nelle sue funzioni AI non serve nessun markup speciale; Bing sostiene che lo schema aiuta i suoi modelli a capire i contenuti⁸. I due studi più rigorosi raffreddano gli entusiasmi: Ahrefs ha seguito 1.885 pagine che hanno aggiunto JSON-LD, confrontandole con un gruppo di controllo, e le citazioni AI sono rimaste ferme (sulle AI Overviews un piccolo calo)⁸; uno studio indipendente su oltre mille pagine arriva allo stesso risultato per lo schema generico, con due aggiunte utili: il predittore dominante delle citazioni resta la posizione organica su Google, e l’unica eccezione a favore del markup sono i tipi con dati concreti dentro, come Product e Review con prezzi e valutazioni, soprattutto sui siti con poca authority⁸. La sintesi di John Mueller (Google) è la più onesta: sì, no e dipende; i dati che una macchina non può leggere in modo affidabile dal testo, come prezzi e disponibilità, beneficiano del markup; sul resto, “c’è molto wishful thinking”⁸.

La mia linea negli audit segue questa evidenza: i dati strutturati si curano per la chiarezza dell’entità, senza aspettarsi citazioni in cambio del markup. Nell’ordine: un blocco Organization completo (name, address, sameAs, e foundingDate se l’anzianità è un pregio), che è la scheda aziendale machine-readable con cui smentisci alla fonte gli errori dei motori su identità e sede; Article con date reali sui contenuti; FAQPage dove esistono domande e risposte vere; i tipi del tuo settore (Course per la formazione, Product per l’e-commerce, Service per i servizi), che abilitano i rich results di categoria. E la regola sempre valida: il JSON-LD deve dire le stesse cose del testo visibile.

6. llms.txt: adozione in crescita, lettura quasi nulla

È la voce più controintuitiva della checklist, perché adozione e utilità viaggiano in direzioni opposte. Da un lato l’adozione cresce: i siti con un llms.txt sono aumentati di quasi nove volte in un anno, complice Shopify, che ha iniziato a generarlo in automatico⁹. Dall’altro, chi dovrebbe leggerlo non lo legge: un’analisi di Ahrefs sui log di 137.000 domini ha trovato che il 97% dei file llms.txt non ha ricevuto nemmeno una richiesta in un mese, e le richieste che arrivano vengono più spesso da tool di audit SEO che dai motori⁹. John Mueller è stato netto: “nessun sistema AI oggi usa llms.txt”, paragonandolo al meta tag keywords, una dichiarazione del sito su se stesso che nessuno riscontra⁹. L’unico ecosistema in cui il file viene letto sono gli agenti di sviluppo: nei log di Ahrefs il secondo bot AI per richieste è Claude Code. Da qui la mia posizione: costo quasi zero, va bene farlo, ma in fondo alla lista, e non deve spostare nessuna decisione.

7. Sitemap sincera e date visibili

La sitemap ha un campo, lastmod, con cui dichiara ai motori quando ogni pagina è stata aggiornata l’ultima volta. Il problema è che quella data spesso mente senza volerlo: una migrazione, un cambio di template o un deploy che riscrive tutti i file aggiorna il lastmod dell’intero sito in un giorno solo, anche se nessun contenuto è cambiato. Per questo nel mio audit confronto la data dichiarata con le date che si leggono nelle pagine: se la sitemap dice “aggiornato ieri” ma il contenuto più recente mostra una data di tre anni fa, la freshness è solo dichiarata. E i motori generativi alla freshness sono sensibili: Ahrefs ha misurato su quasi 17 milioni di citazioni che gli assistenti AI citano contenuti in media più recenti del 25,7% rispetto ai risultati organici di Google, con ChatGPT il più orientato al nuovo¹⁰; un’analisi su oltre 5.000 URL citati trova che circa due terzi puntano a contenuti pubblicati o aggiornati nell’ultimo anno¹⁰. La conseguenza pratica: date visibili sulle pagine (pubblicazione e aggiornamento), aggiornamenti veri sui contenuti importanti, e un lastmod che dice la verità.

8. Semantica di base: un H1, gerarchia pulita, niente residui

I controlli meno appariscenti, e tra quelli che i siti sbagliano più spesso: un solo H1 per pagina, allineato all’intento; gerarchia degli heading senza salti (da H2 a H4 senza passare per H3: per un modello che usa la struttura per capire il documento è disordine); title e attributo lang presenti; canonical coerente, perché versioni multiple della stessa pagina (con e senza www, con parametri, in http e https) diluiscono i segnali; e nessun noindex dimenticato su pagine importanti: il classico residuo di un ambiente di staging, raro, ma quando c’è azzera tutto il resto.

9. La citabilità: la parte che nessun tool misura da solo

Un sito può passare tutti i controlli precedenti ed essere comunque poco citabile: leggibile sì, ma senza niente che una risposta possa estrarre e riusare. Questa parte non si automatizza. Nei miei audit la giudico pagina per pagina, su una rubrica scritta, con cinque principi:

Ogni principio riceve un esito con l’evidenza testuale che lo motiva (“la pagina servizi apre con un claim di marketing, nessuna frase estraibile”). Guardo anche un segnale strutturale che anticipa molto: la quota di heading in forma di domanda, che sono gli agganci naturali delle risposte AI. Perché questi principi aumentino la probabilità di essere citati l’ho raccontato, studio alla mano, nell’articolo su cos’è la GEO/AEO.

Cosa produce l’audit di leggibilità

La checklist qui sopra si può eseguire a mano, e per una prima diagnosi basta. Nel mio audit gli stessi controlli diventano decine di verifiche più il giudizio di citabilità dato sulla rubrica, e si condensano in un punteggio tecnico su 100 che rende confrontabili siti diversi e rilevazioni successive dello stesso sito. Tre caratteristiche del report contano più dell’elenco dei check:

• Ogni esito ha un’evidenza. Un 403 non è un errore del test: è un finding, con l’URL e la risposta che lo provano. E i criteri di giudizio sono scritti, così la rilevazione successiva valuta con lo stesso metro.
• Il campione è dichiarato. Il report elenca le pagine esaminate e il criterio con cui sono state scelte: il lettore non deve chiedersi “perché proprio queste?”.
• Il punteggio tecnico è separato da quello di visibilità. La leggibilità misura le cause on-site; se poi i motori citano il brand lo dice la misurazione di presenza e citazioni, fatta nella stessa rilevazione. E l’audit tecnico si ripete a ogni rilevazione periodica: ogni raccomandazione viene ricontrollata alla successiva, che dice se è stata applicata e che effetto ha avuto.

I falsi allarmi

Metà del lavoro, in questo tipo di audit, è non farsi ingannare dai test sbagliati:

Il test fai da te, in tre passaggi

Per un primo esame non servono strumenti: il robots.txt letto con la tabella delle tre famiglie sotto mano, una navigazione delle pagine importanti a JavaScript disattivato, e il sorgente servito delle pagine chiave confrontato con ciò che vedi nel browser. Se i tre test passano, la base tecnica c’è.

Quello che è difficile testare da soli è il resto: cosa fa davvero la CDN con i bot veri, quanto i contenuti sono citabili, giudicati con un metro scritto, e la controprova finale, cioè se i motori citano il dominio. Se vuoi una verifica fatta con metodo, scrivimi: l’audit di leggibilità AI, con il suo punteggio su 100, è una delle prime attività della mia consulenza GEO/AEO.

Fonti

1. BuzzStream, studio sui robots.txt dei 100 principali siti di news di Stati Uniti e Regno Unito (aprile 2026): il 79% blocca almeno un bot di training, il 71% almeno un bot di search o fetcher: buzzstream.com. Il monitoraggio continuo di Palewire su 1.156 testate: palewi.re ↩ ↩²

2. MERJ e Vercel, “The Rise of the AI Crawler” (dicembre 2024), misurazioni sul traffico della rete Vercel: vercel.com ↩ ↩²

3. Documentazione ufficiale dei crawler: OpenAI (GPTBot, OAI-SearchBot, ChatGPT-User): developers.openai.com; Anthropic (ClaudeBot, Claude-User, Claude-SearchBot): support.claude.com; Perplexity (PerplexityBot, Perplexity-User): docs.perplexity.ai ↩ ↩²

4. Google Search Central: “Google-Extended does not impact a site’s inclusion in Google Search nor is it used as a ranking signal”, developers.google.com/search/docs/crawling-indexing/google-common-crawlers; sul controllo delle funzioni AI tramite Googlebot: developers.google.com/search/docs/appearance/ai-features ↩

5. Cloudflare: annuncio del blocco di default dei crawler AI per i nuovi domini (1 luglio 2025): cloudflare.com; nuovi default per scopo dal 15 settembre 2026: blog.cloudflare.com; ripartizione del traffico crawler AI per scopo: blog.cloudflare.com; crescita del crawling su richiesta utente nel 2025: blog.cloudflare.com ↩ ↩²

6. Google Search Central, documentazione sul crawl budget (aggiornata a dicembre 2025): developers.google.com; soglie TTFB come metrica di esperienza utente: web.dev/articles/ttfb ↩ ↩²

7. Dati Profound su circa 700.000 pagine (aprile 2026), riportati da Mike King, “How Page Speed Impacts ChatGPT and Perplexity Visibility”, iPullRank (maggio 2026): ipullrank.com ↩

8. Ahrefs, “We Tracked 1,885 Pages Adding Schema. AI Citations Barely Moved” (maggio 2026): ahrefs.com; Kurt Fischman, “Does Schema Markup Predict AI Citation?”, SSRN (2026): papers.ssrn.com; la posizione di Bing (Fabrice Canel) riportata da Search Engine Land: searchengineland.com; il commento di John Mueller riportato da Search Engine Roundtable (gennaio 2026): seroundtable.com ↩ ↩² ↩³ ↩⁴

9. La proposta originale è di Jeremy Howard (Answer.AI, settembre 2024): answer.ai. Adozione: tracking Originality.ai su oltre 3 milioni di siti: originality.ai; sulla generazione automatica di Shopify: Casey Burridge, analisi su dati HTTP Archive (giugno 2026): caseyrb.com. Lettura: Ahrefs, studio sui log di 137.210 domini (giugno 2026): ahrefs.com. La dichiarazione di John Mueller (giugno 2025): bsky.app; il paragone col meta tag keywords, riportato da Search Engine Journal: searchenginejournal.com. Chi richiede davvero il file: nello stesso studio Ahrefs la prima categoria di richiedenti sono i tool di audit SEO (21,7%, più di tutti i bot AI sommati), e i fetch di Googlebot osservati (~900 in un mese) sono scansione di routine degli URL scoperti, non uso del file; Lighthouse verifica llms.txt nella categoria sperimentale “Agentic browsing”: developer.chrome.com ↩ ↩² ↩³

10. Ahrefs, “Do AI Assistants Prefer to Cite Fresh Content?” (luglio 2025, circa 17 milioni di citazioni analizzate): ahrefs.com; Seer Interactive, studio su recency e visibilità AI (giugno 2025): seerinteractive.com ↩ ↩²