Tappa 2 · Articolo 2.120 minutiDifficoltà intermedia

I crawler AI uno per uno: chi sono, cosa fanno e come riconoscerli

Scheda rapida
intermedia
Cosa ottieni
capire chi bussa alla porta del tuo sito e cosa succede se lo lasci entrare o no
Per chi
entrambi i percorsi
Tempo
20 minuti
Aggiornato il
2 ottobre 2026. Verificare ogni tre mesi sulla documentazione dei fornitori

In breve

I bot che visitano il tuo sito per conto delle intelligenze artificiali si dividono in tre gruppi: quelli che raccolgono testi per addestrare i modelli, quelli che indicizzano o recuperano pagine per rispondere alle domande degli utenti e quelli che aprono una pagina su richiesta diretta di un utente. Trattarli allo stesso modo è l’errore più comune: bloccare tutto per proteggere i contenuti significa sparire anche dalle risposte che portano visite e clienti.

Le tre funzioni

FunzioneCosa faCosa succede se lo blocchi
AddestramentoRaccoglie pagine che potranno essere usate per addestrare i modelli futuriI tuoi testi non entrano nei modelli futuri di quel fornitore: nel tempo l’AI ha meno motivi per conoscerti
Ricerca e indicizzazioneCostruisce o interroga un indice usato per rispondere con informazioni aggiornateEsci dalle risposte con ricerca e dalle fonti citate: è la perdita più immediata
Richiesta dell’utenteApre una pagina specifica perché un utente ha incollato un link o chiesto di consultarlaL’assistente non riesce ad aprire la tua pagina quando un cliente glielo chiede

Chi sono, fornitore per fornitore

FornitoreAddestramentoRicercaRichiesta utente
OpenAI (ChatGPT)GPTBotOAI-SearchBotChatGPT-User
Anthropic (Claude)ClaudeBotClaude-SearchBotClaude-User
Perplexity—PerplexityBotPerplexity-User
Google (Gemini, risposte AI)Token Google-ExtendedGooglebotGoogle-Extended non è un crawler
Microsoft (Copilot)—Bingbot—
AppleToken Applebot-ExtendedApplebot—
Common CrawlCCBot——
MetaMeta-ExternalAgent——

L’elenco non è completo: esistono altri bot, soprattutto di aggregatori e servizi minori. Le fonti autorevoli sono le pagine di documentazione dei fornitori, che pubblicano nomi degli user-agent e intervalli di indirizzi IP.

Crawler e “token”: una differenza che confonde tutti

Google-Extended e Applebot-Extended non sono bot che visitano il sito. Sono etichette che puoi usare nel robots.txt per dire a Google e ad Apple se le tue pagine, già scaricate dai loro crawler normali, possono essere usate per i loro modelli. La conseguenza pratica è importante: secondo la documentazione di Google, usare Google-Extended non influisce sulla presenza del sito nella Ricerca. Bloccare Googlebot, invece, ti toglie da Google e, di riflesso, dalle risposte che si appoggiano al suo indice.

Come verificare che un bot sia autentico

Chiunque può dichiarare nel proprio user-agent di essere GPTBot: gli scraper lo fanno spesso per superare i filtri. Prima di prendere decisioni sulla base dei log, verifica l’identità in uno di questi due modi.

  1. Controllo dell’indirizzo IP: i fornitori pubblicano gli intervalli IP dei loro bot in file consultabili. Se l’IP che compare nei log non è in quegli intervalli, non è il bot ufficiale.
  2. DNS inverso: risolvi l’IP con il comando host (o nslookup) e verifica che il nome ottenuto appartenga al dominio del fornitore; poi risolvi di nuovo quel nome per controllare che riporti allo stesso IP.
# Esempio di verifica con DNS inverso
host 66.249.66.1
# -> deve restituire un nome del dominio del fornitore
host crawl-66-249-66-1.esempio-fornitore.com
# -> deve restituire lo stesso indirizzo IP di partenza

Come decidere chi far entrare

  • Ricerca e richieste degli utenti: sempre aperti. Sono i bot che generano citazioni, link e visite. Bloccarli equivale a togliere il sito da Google.
  • Addestramento: una scelta aziendale. Per chi vuole farsi conoscere, tenerlo aperto è quasi sempre conveniente. Per chi vive della vendita dei propri contenuti, come editori o banche dati, la scelta può essere diversa.
  • Aree riservate: chiuse a tutti, e protette con autenticazione, non solo con il robots.txt.

Le configurazioni pronte da copiare sono nell’articolo dedicato (robots.txt per l’era AI).

Domande frequenti

Se blocco GPTBot sparisco da ChatGPT?

Non dalle risposte con ricerca, che secondo la documentazione di OpenAI usano un crawler diverso. Riduci però la probabilità che i modelli futuri conoscano la tua azienda.

I bot che agiscono su richiesta dell’utente rispettano il robots.txt?

Alcuni fornitori indicano che le richieste avviate direttamente da un utente possono seguire regole diverse, perché sono assimilate alla navigazione di una persona. È uno dei punti che cambiano più spesso: verifica la documentazione aggiornata.

Quanto traffico generano questi bot?

Dipende dalla dimensione del sito. Su un sito aziendale di poche decine di pagine l’impatto è trascurabile; su cataloghi molto grandi può diventare rilevante e vale la pena misurarlo nei log (Analisi dei log dei crawler AI).

Vuoi sapere quali bot AI entrano davvero nel tuo sito e quali vengono respinti? È una delle verifiche dell’

AG
Autore: , consulente SEO e GEO. Aggiornato il: 2 ottobre 2026. Articolo successivo: robots.txt per l’era AI (robots.txt per l’era AI). · Registro modifiche