Tappa 2 · Accesso
In questa pagina
- Cosa ottieni
- la certezza che le tue decisioni sul robots.txt non vengano annullate da un altro sistema
- Per chi
- entrambi i percorsi
- Tempo
- 1 ora
- Aggiornato il
- 2 ottobre 2026
In breve
Il robots.txt è un’indicazione che i bot scelgono di rispettare. CDN, firewall applicativi e plugin di sicurezza lavorano prima: possono rifiutare una richiesta, restituire un errore o mostrare una pagina di verifica automatica. Il risultato è che un sito perfettamente configurato nel robots.txt può risultare inaccessibile ai sistemi AI. È il problema più insidioso di questa tappa, perché non lascia tracce visibili nel sito: si scopre solo provando e guardando i log.
Chi può bloccare, senza che tu lo sappia
| Sistema | Comportamento tipico | Dove si controlla |
|---|---|---|
| CDN e servizi di protezione | Regole automatiche contro i bot, in alcuni casi attive per impostazione predefinita sui domini nuovi; possibilità di consentire o negare i crawler AI con un interruttore | Pannello del servizio, sezione dedicata ai bot |
| Plugin di sicurezza per WordPress | Blocco per user-agent, limiti di frequenza, pagine di verifica | Impostazioni firewall del plugin |
| Protezioni dell’hosting | Pagine di verifica automatica quando il traffico sembra sospetto | Pannello dell’hosting, sezione sicurezza |
| Regole del server | Blocchi per user-agent scritti nel file .htaccess o nella configurazione | File di configurazione del server |
| Cookie banner mal configurati | Contenuto servito solo dopo il consenso | Impostazioni della piattaforma di consenso |
Come verificare in cinque minuti
Da un terminale, chiedi la stessa pagina fingendoti un browser e poi un bot AI, e confronta i codici di risposta:
for ua in "Mozilla/5.0 (Windows NT 10.0; Win64; x64) Chrome/124 Safari/537.36" \
"Mozilla/5.0 (compatible; GPTBot/1.1; +https://openai.com/gptbot)" \
"Mozilla/5.0 (compatible; ClaudeBot/1.0)" \
"Mozilla/5.0 (compatible; PerplexityBot/1.0)"; do
echo -n "$ua -> "; curl -s -o /dev/null -w "%{http_code}\n" -A "$ua" https://www.esempio.it/;
doneUn codice 200 per il browser e 403 o 429 per i bot indica un blocco. Attenzione anche al codice 202 o a una risposta molto breve: alcune protezioni restituiscono una pagina di verifica al posto del contenuto, e per un crawler è come trovare la porta chiusa. Controlla il contenuto scaricato, non solo il codice:
curl -s -A "Mozilla/5.0 (compatible; ClaudeBot/1.0)" https://www.esempio.it/ | head -20Il test da un computer o da un server esterno non è una prova definitiva, perché molte protezioni valutano anche la reputazione dell’indirizzo IP e i bot ufficiali arrivano da IP noti. La conferma definitiva arriva dai log (Analisi dei log dei crawler AI): se nei log compaiono richieste dei bot con codice 200, stanno entrando davvero.
Come creare eccezioni corrette
- Consenti esplicitamente i bot di ricerca AI nel pannello della CDN o del firewall: OAI-SearchBot, Claude-SearchBot, PerplexityBot, oltre a Googlebot e Bingbot.
- Verifica gli IP invece degli user-agent dove è possibile: è il modo corretto per lasciare entrare i bot autentici e fermare chi ne usa il nome.
- Alza, invece di bloccare, i limiti di frequenza per i bot legittimi, se il problema è il carico sul server.
- Lascia liberi robots.txt e sitemap: devono essere raggiungibili sempre e da chiunque, senza verifiche.
- Documenta le eccezioni in una nota interna, con la data: al prossimo cambio di fornitore o di plugin saprai cosa ripristinare.
Domande frequenti
Se blocco i bot AI riduco lo scraping dei contenuti?
Riduci quello dei bot che si dichiarano. Chi copia contenuti in modo sistematico si maschera da browser normale e non viene fermato da queste regole: il costo lo paghi in visibilità, non in protezione.
Meglio gestire tutto nel robots.txt o nel firewall?
Usa il robots.txt per dichiarare le tue intenzioni ai bot che le rispettano e il firewall solo per fermare abusi reali, come frequenze anomale o identità false. Due sistemi che dicono cose diverse creano confusione.
Come faccio a sapere se il mio hosting mostra una pagina di verifica?
Con il comando curl visualizzi il contenuto: se al posto della pagina trovi poche righe con un reindirizzamento a una verifica di sicurezza, è quello che vede anche il crawler.
Un blocco nascosto può costarti mesi di visibilità. Nell’Audit GEO lo verifico su ogni sito.