Tappa 2 · Accesso
In questa pagina
- Cosa ottieni
- l’unico dato oggettivo su chi legge davvero il tuo sito, e con quale risultato
- Per chi
- entrambi i percorsi
- Tempo
- 1–2 ore
- Aggiornato il
- 2 ottobre 2026
In breve
I log del server registrano ogni richiesta ricevuta: indirizzo IP, data, pagina richiesta, codice di risposta e user-agent. Filtrandoli per i nomi dei bot AI scopri quanti passano, quali pagine leggono, quali errori ricevono e quali sezioni non hanno mai visitato. È l’unico modo per sapere se le tue decisioni su robots.txt e firewall funzionano davvero: tutto il resto è supposizione.
Dove trovare i log
| Tipo di hosting | Dove sono | Note |
|---|---|---|
| Hosting condiviso con pannello | Sezione “Statistiche” o “Log accessi” del pannello | Spesso scaricabili compressi, conservati per pochi giorni |
| VPS o server dedicato | /var/log/nginx/access.log o /var/log/apache2/access.log | Configurabili e conservabili più a lungo |
| Hosting gestito WordPress | Pannello del fornitore, a volte su richiesta | Verifica il formato: alcuni non registrano lo user-agent |
| Dietro una CDN | Log della CDN, oltre a quelli del server | I log della CDN mostrano anche le richieste bloccate prima di arrivare al sito (CDN, firewall e protezioni anti-bot) |
Se i log non conservano lo user-agent, chiedi al fornitore di attivare il formato combinato: senza quel campo l’analisi non è possibile.
I comandi da usare
Questo comando conta le richieste dei principali bot AI per pagina e codice di stato:
grep -Ei "GPTBot|OAI-SearchBot|ChatGPT-User|ClaudeBot|Claude-SearchBot|Claude-User|PerplexityBot|Perplexity-User|CCBot|Meta-ExternalAgent|bingbot" access.log \
| awk '{print $7, $9}' | sort | uniq -c | sort -rn | head -50Questo mostra quante richieste ha fatto ogni singolo bot:
for b in GPTBot OAI-SearchBot ChatGPT-User ClaudeBot Claude-SearchBot PerplexityBot bingbot Googlebot; do
echo -n "$b: "; grep -ci "$b" access.log;
doneE questo elenca gli errori restituiti ai bot AI, cioè le occasioni perse:
grep -Ei "GPTBot|OAI-SearchBot|ClaudeBot|PerplexityBot" access.log \
| awk '$9 ~ /^[45]/ {print $9, $7}' | sort | uniq -c | sort -rn | head -30Nei log in formato combinato il settimo campo è la pagina richiesta e il nono è il codice di risposta. Se il tuo formato è diverso, adatta i numeri.
Come leggere i risultati
| Cosa vedi | Cosa significa | Cosa fare |
|---|---|---|
| Nessuna richiesta da bot AI | Non ti stanno leggendo: regola nel robots.txt, blocco del firewall o sito poco noto | Verifica robots.txt e protezioni (robots.txt per l’era AI, CDN, firewall e protezioni anti-bot) |
| Richieste solo alla home | Il sito viene visto ma non esplorato | Controlla collegamenti interni e sitemap |
| Molti codici 403 o 429 | Il server o il firewall rifiuta o limita i bot | Rivedi le regole di sicurezza e i limiti di frequenza |
| Molti 404 | I bot cercano pagine non più esistenti | Reindirizza gli URL cambiati |
| Visite frequenti alle pagine chiave | Il contenuto viene letto: buon segno | Continua ad aggiornarlo, così viene ripreso più spesso |
| Traffico molto alto da un solo bot | Possibile scraper che ne usa il nome | Verifica l’IP (I crawler AI uno per uno) e, se falso, bloccalo |
Ogni quanto guardarli
Per un sito aziendale basta un controllo al mese e uno subito dopo ogni intervento tecnico: nuovo robots.txt, cambio di hosting, attivazione di una CDN o di un plugin di sicurezza. Salva ogni volta il riepilogo in un foglio, così vedi l’andamento nel tempo e puoi metterlo nel report mensile (Il report mensile GEO).
Domande frequenti
Posso vedere i bot AI in Google Analytics?
No. Analytics registra le visite delle persone tramite JavaScript, mentre i bot non lo eseguono. Per i crawler servono i log del server o della CDN.
I bot AI consumano risorse del server?
Su siti piccoli l’impatto è trascurabile. Su cataloghi molto grandi può crescere: in quel caso si può limitare la frequenza di scansione invece di bloccare del tutto l’accesso.
Ogni quanto passano?
Dipende dalla notorietà del sito e dalla frequenza degli aggiornamenti. Non esiste un valore normale: il riferimento utile è il tuo andamento nel tempo.
Nell’Audit GEO analizzo i log del tuo server e ti dico quante volte i bot AI leggono le tue pagine e con quali errori.