File Robots.txt: cos’è, a cosa serve e come strutturarlo per la SEO

Nel panorama dell’ottimizzazione SEO tecnica, il file robots.txt riveste un ruolo cruciale per evitare sprechi di crawl budget (cioè il tempo che i motori di ricerca dedicano alla scansione) e mettere in risalto le sezioni più strategiche del sito. In questa guida scopriremo cos’è il robots.txt, come funziona la sua sintassi, come crearne uno correttamente e, soprattutto, come verificare che le istruzioni inserite siano eseguite in modo corretto dai vari crawler.

Cos’è il file Robots.txt e perché è così importante

Il file Robots.txt è un documento testuale che segue lo “standard di esclusione dei robot” (noto anche come protocollo di esclusione robot), introdotto nel lontano 1994. Attraverso questo file, i webmaster possono comunicare ai motori di ricerca quali sezioni di un sito web possono essere scansionate e quali, invece, devono essere escluse dalla scansione.

È bene precisare che le indicazioni contenute nel file Robots.txt non costituiscono un obbligo “legale” per tutti i bot, ma si basano su un accordo di buona condotta. I crawler più affidabili (come Googlebot o Bingbot) rispettano di norma queste direttive; bot malevoli, invece, spesso le ignorano.

Dal punto di vista SEO, la configurazione corretta del file Robots.txt aiuta a:

• Ottimizzare il crawl budget, ovvero il tempo (e le risorse) che i motori di ricerca impiegano per scansionare un sito.
• Evitare la scansione di contenuti duplicati, non rilevanti o strategicamente poco utili.
• Guidare i crawler verso le sezioni più importanti, migliorando l’efficienza dell’indicizzazione.

Facciamo un esempio quando vogliamo ottimizzare il crawl budget del nostro sito, escludendo dalla scansione le sezioni superflue come quella dei comunicati stampa.  Supponiamo che proprio questi comunicati “inutili” si trovino tutti pubblicati sotto il percorso: esempio.it/comunicati/. Avremo quindi:

• esempio.it/comunicati/comunicato-numero-uno.html
• esempio.it/comunicati/comunicato-numero-due.html
• esempio.it/comunicati/comunicato-numero-tre.html
• e cosi via…

La seguente direttiva all’interno del robots.txt blocca i bot a monte (tutti quanti), negando loro l’accesso all’intero percorso che contiene i comunicati:

User-agent: *
Disallow: /comunicati/

Sintassi e direttive principali: come configurare il tuo Robots.txt

Capire la sintassi e le direttive è il primo passo per sfruttare al meglio questo file:

1. User-agent: identifica il bot a cui sono rivolte le regole. Per esempio, Googlebot per Google, Bingbot per Bing. Se utilizzi l’asterisco (*) dopo “User-agent:”, la direttiva è valida per tutti i bot.
2. Disallow: impedisce la scansione di un determinato percorso, file o directory.
3. Allow: consente la scansione di uno specifico percorso, anche se precedentemente bloccato. (Supportata da Google e Bing.)
4. Sitemap: direttiva facoltativa ma consigliata. Indica l’URL assoluto della sitemap (o delle sitemap) del sito, ad esempio Sitemap: https://www.esempio.it/sitemap.xml.

Alcuni aspetti da ricordare:

• Il nome del file deve essere esattamente robots.txt.
• Deve essere posizionato nella root del dominio (es. https://www.esempio.it/robots.txt).
• Le istruzioni vanno inserite una per riga e lette dall’alto verso il basso dai crawler.
• È ammessa una sola istanza di file Robots.txt per ogni dominio, ma si possono avere diversi file per ogni sottodominio (es. blog.esempio.it/robots.txt).
• La dimensione massima “tollerata” da Google è 500 KB.
• È possibile inserire commenti nel file, preceduti dal simbolo “#”.

Come creare e dove collocare il file Robots.txt

Per creare il file Robots.txt è sufficiente utilizzare un semplice editor di testo (come Blocco Note su Windows o un qualsiasi editor privo di formattazioni).

• Nome del file: deve essere obbligatoriamente robots.txt.
• Codifica: è consigliata la codifica UTF-8.
• Posizionamento: una volta creato, carica il file nella root del tuo dominio. Ad esempio, su www.esempio.it/robots.txt.

Se usi CMS come WordPress, diversi plugin SEO (ad esempio Yoast o All in One SEO) permettono di modificare velocemente il file Robots.txt direttamente dal backend. In alternativa, puoi caricarlo via FTP o file manager del tuo hosting.

Esempi di Robots.txt per casi specifici

Fatta chiarezza su direttive e regole base del robots.txt, vediamo ora alcune applicazioni concrete del file con relativi esempi.

Bloccare l’accesso a tutto il sito

Con la seguente regola si blocca l’accesso a tutto il sito (ed è rivolta a tutti i bot).

User-agent: *
Disallow: /

Bloccare una directory

L’esempio che abbiamo già visto relativo ai comunicati stampa.

User-agent: *
Disallow: /comunicati/

Bloccare una directory tranne una pagina

 
Supponiamo invece che vogliamo bloccare l’accesso a tutto il percorso, tranne a una determinata pagina. Ecco la direttiva:

User-agent: *
Disallow: /comunicati/
Allow: /comunicati/comunicato-numero-quattro.html

Consentire l’accesso a un solo crawler (es. Googlebot)

 
Con la seguente impostazione può accedere solo Googlebot (mentre il sito web è “off-limits” per tutti gli altri).

User-agent: Googlebot
Allow: /

User-agent: *
Disallow: /

Bloccare la scansione di un tipo di file (es. PDF)

Con la regola seguente viene bloccata la scansione di tutti i file PDF.

User-agent: *
Disallow: /*.pdf$

Bloccare URL parametrizzati

User-agent: *
Disallow: /*?

Bloccare le immagini a Googlebot-Image

 
Google dispone di diversi crawler specifici (vedi la panoramica completa con gli identificativi). Con la seguente direttiva si blocca la scansione di tutte le immagini e la conseguente indicizzazione (Google deve effettuare il crawling di immagini e video per poterle indicizzare).

User-agent: Googlebot-Image
Disallow: /

Come testare e validare il tuo Robots.txt

Puoi testare le direttive del tuo file in due modi:

1. Recupero diretto: digita nel browser www.tuosito.it/robots.txt e verifica che le regole inserite siano corrette.
2. Tester dei file Robots.txt offerto da Google (all’interno di Search Console). Questo strumento mostra eventuali errori di sintassi, ti fa eseguire test di blocking/unblocking su URL specifici e ti permette di correggere il file prima di renderlo effettivo.

Nota: il tool di Search Console richiede che la proprietà del sito sia verificata. Le modifiche che fai nel tester non vengono automaticamente salvate sul server; devi copiarle manualmente nel file Robots.txt reale.

Best practice SEO ed errori da evitare

Ha senso ottimizzare il file Robots.txt? La risposta dipende dalle dimensioni e dagli obiettivi del tuo progetto. Se hai un sito molto grande (ad esempio un e-commerce o un portale di news), limitare la scansione di aree non strategiche è un modo efficace per risparmiare crawl budget e indirizzare i bot su contenuti di maggior valore.

Ecco alcuni scopi virtuosi per usare il Robots.txt:

• Bloccare duplicati o sezioni non strategiche (es. aree di staging o cartelle con contenuti irrilevanti).
• Escludere ricerche interne: spesso generano URL duplicati o di scarsa utilità in SERP.
• Impedire l’accesso a determinati bot: in alcuni casi potresti volerne limitare la scansione.
• Controllare la scansione di file multimediali: se vuoi evitare che immagini, PDF, o altri file vengano indicizzati.

Errori comuni:

1. Usare Disallow come alternativa a Noindex: bloccare la scansione non equivale a impedire l’indicizzazione. Una pagina bloccata potrebbe comunque finire in SERP se viene linkata altrove.
2. Pensare che il Robots.txt rimuova dall’indice: per rimuovere una pagina già indicizzata, è necessario usare meta tag noindex (o intestazioni HTTP equivalenti) e non bloccare contemporaneamente la scansione via Robots.txt.
3. Bloccare risorse CSS o JS: talvolta, bloccando file essenziali, si complica la comprensione della pagina da parte dei motori di ricerca, penalizzando il ranking.
4. Usare il Robots.txt per nascondere dati riservati: il file è pubblico e consultabile da chiunque, quindi non è una buona soluzione per “nascondere” informazioni sensibili.

Per approfondire su questo e aspetti collegati, vedi anche: come fare una SEO audit.

Perché dare accesso agli AI Crawler è cruciale per il futuro della ricerca online

Nell’era dei motori di ricerca conversazionali e degli assistenti virtuali (come ChatGPT e altre soluzioni basate su intelligenza artificiale), i crawler di nuova generazione stanno diventando sempre più importanti. Questi bot, oltre a indicizzare i contenuti tradizionali, analizzano il contesto semantico delle pagine, comprendono meglio l’intento dell’utente e forniscono risposte più pertinenti.

• Migliore comprensione del contenuto: gli AI Crawler utilizzano algoritmi di machine learning per interpretare il significato delle frasi, valorizzando contenuti di qualità.
• Ricerca vocale: gli assistenti vocali e le query formulate in linguaggio naturale richiedono una mappatura semantica profonda, garantita anche da crawler evoluti.
• Nuove opportunità di visibilità: siti web con contenuti ben strutturati e ottimizzati hanno maggiori chance di essere interpretati correttamente dai motori di ricerca del futuro, migliorando la propria presenza in SERP e nelle risposte degli assistenti virtuali.
• Esperienze personalizzate: l’AI tende a restituire risultati specifici per l’utente, di conseguenza, se il tuo sito è pronto (anche lato Robots.txt) a ricevere e gestire questi nuovi crawler, potrà beneficiare di una scansione più puntuale e di un posizionamento ottimale.

In conclusione, lasciare il giusto accesso ai nuovi AI crawler garantisce di non perdere rilevanza in un panorama di ricerca sempre più dinamico, dove l’intelligenza artificiale è destinata a giocare un ruolo di primo piano.

Conclusioni

La corretta impostazione del file Robots.txt è un tassello fondamentale nelle strategie di ottimizzazione SEO di un sito web. Comprendere la sintassi delle direttive e utilizzarle consapevolmente fa la differenza tra un sito ben indicizzato e uno penalizzato da errori che ne limitano visibilità e traffico.

Ricorda: se stai lavorando su progetti di grandi dimensioni (come grossi e-commerce, portali di news o siti con molte sezioni non strategiche), l’ottimizzazione del Robots.txt diventa indispensabile per gestire in modo efficiente il crawl budget.

In uno scenario in cui la ricerca online si sta evolvendo verso l’intelligenza artificiale e le query conversazionali, è ancora più essenziale assicurarsi che i tuoi contenuti siano accessibili agli AI crawler, così da mantenere competitività e autorevolezza nei risultati di ricerca del futuro.

Se ti serve aiuto per ottimizzare il tuo progetto web, fissa una call e definiamo insieme obiettivi e implementazioni.

FAQ

È possibile utilizzare il file robots.txt per nascondere completamente un sito in fase di sviluppo?

In teoria si può impedire ai crawler di accedere a un intero dominio inserendo la direttiva Disallow: / per tutti gli user-agent. Tuttavia, per tenere davvero “nascosto” un sito in lavorazione è sempre meglio proteggerlo con credenziali di accesso (ad esempio tramite autenticazione HTTP) o impostare un ambiente di staging, perché robots.txt non è un sistema di protezione sicura e può essere comunque consultato da chiunque.

Come si gestiscono più sitemap quando si hanno sezioni diverse di un sito?

Se un progetto è composto da più sezioni (per esempio un e-commerce e un blog), è possibile specificare nel robots.txt il percorso di ogni singola sitemap, inserendone l’URL completo su righe distinte. Ciò aiuta i motori di ricerca a capire dove trovare tutte le pagine importanti. Non esiste un limite “ufficiale” al numero di sitemap che si possono indicare nel file robots.txt, purché venga sempre specificato l’URL assoluto di ciascuna.

È vero che i file multimediali non fanno testo per il posizionamento, quindi conviene bloccarne la scansione?

Non necessariamente. Alcuni tipi di file multimediali (immagini, PDF, video) possono generare traffico organico aggiuntivo e rafforzare la rilevanza di determinate pagine. Bloccarne la scansione può avere senso solo in casi specifici (ad esempio, se non vuoi che un certo file compaia nei risultati di ricerca). Se invece si tratta di contenuti utili o strategici, è consigliabile lasciarli scansionabili, affinché possano comparire nei risultati di ricerca dedicati (Google Images, Google Video, ecc.).