I Meta Tag Robots e il File Robots.txt.
Quando un Webcrawler (robot) visita il vostro Sito, legge come prima cosa un documento di testo chiamato robots.txt che si dovrebbe trovare nella Directory principale del vostro Sito Web. Questo documento di testo ha la funzione dell'esclusione dei robots dei vari motori di ricerca dal vostro Sito Web.
Un esempio pratico della posizione del documento online potrebbe essere questo: www.il-mio-sito.com/robots.txt
Questo documento di testo, viene usato per escludere la lettura di tutto ció che non desiderate fare comparire nei motori di ricerca. 

Oltre al documento del Robots.txt, vi é anche il metodo del Meta Tag Robots per bloccare la lettura del vostro sito.
Questo metodo é peró meno flessibile, poiché vi da soltanto due possibilitá.
La prima é di aprire il sito completamente, la seconda é di bloccarlo completamente alla lettura da parte dei motori di ricerca.
In caso vi decidiate di usare il Meta Tag ecco i codici necessari:
Bloccaggio completo del sito:
<meta name="robots" content="noindex,nofollow" />
Se invece volete lasciare il vostro sito completamente aperto, allora o usate questa string:
<meta name="robots" content="index,follow" />  oppure
<meta name="robots" content="all" /> oppure ancora non inserite il Meta Tag.

Qui dobbiamo aggiungere, che nonostante l'uso di questi due metodi, vi sono Spider che penetrano ugualmente nel sito, riportando poi nella loro ricerca tutti i link trovati nella pagina, ma senza contenuto. Oltretutto ricordiamo che in gran parte, ma non tutti i motori di ricerca hanno deciso di aderire a questo standard di inseguimento dei link del sito.

Ma veniamo al modo piú interessante e flessibile giá accennato prima, il file di testo robots.txt creabile con qualunque programma editor. Questo piccolo file di testo ha il compito di escludere uno o piú robots dalla vostra pagina. Qui avete la possibilitá di escludere singoli ordini, documenti, file, praticamente qualunque cosa alla lettura dei Robots.

Come viene costruito il documento robots.txt?

Per la costruzione del documento del robots.txt e maggiori informazioni vi consiglio il Sito inglese di SEO Book: robots.txtEcco in breve come viene costruito il documento:

User-agent: *
Disallow: /fotografie/
Disallow: /tabelle.html
Disallow: /video/flash.avi

Nella prima linea "User-agent: *" usando l'asterisco diciamo che questo documento é valido per tutti i Webcrawler.
Nella seconda linea "Disallow: /tabelle.html" blocchiamo il file tabelle.html che si trova nell'ordine principale della Directory alla lettura da parte dei robots.
Nella terza linea "Disallow: /video/flash.avi" blocchiamo il video "flash.avi" che si trova dentro l'ordine della directory chiamato "video".

Il mio consiglio particolare é che come i motori di ricerca possono leggere il documento di robots.txt nella vostra directory, cosí lo possono fare anche le persone umane. Evitate di mettere nel file robots.txt gli ordini della directory che ritenete segreti o che volete proteggere. Cosi non metterete brutte idee in testa a coloro che hanno voglia di leggervi il file e vengono attirati da questa esclusione di files ai motori.

Copyright: Quattrossa SEO