It was surprising to know that even Robots.txt files are being indexed by google. E 'stato sorprendente sapere che anche i file robots.txt vengono indicizzati da Google. On an interesting post on Su un post interessante sul How to find secret articles and sites Come trovare gli oggetti segreti e dei siti Roberts shares how you can find secret things which people tend to hide. Roberts parti come potete trovare segrete cose che le persone tendono a nascondere.

Just do a search on “robots.txt” “disallow:” filetype:txt in google and you will be surprised with what you see. Basta fare una ricerca su "robots.txt" "Disallow:" filetype: txt in Google e ti verrà sorpreso con ciò che voi vedete.

Robots TXt used to Hide things which is not to be indexed Robot TXT utilizzato per nascondere le cose che non devono essere indicizzati

With this not you can directly go to any of those files and directly see the pages or images which are hidden from search engines and even you. Con questo non si può andare direttamente a qualsiasi di questi file e visualizzare direttamente le pagine o le immagini che sono nascoste da motori di ricerca e anche voi.

Now my point of concern is Ora il mio punto di preoccupazione è

• Why are search engines indexing them ? Perché sono i motori di ricerca di indicizzazione di loro?
• Do they really don’t go and look into the pages or its just a rule which is not followed. Sono veramente non andare a cercare in pagine o solo una sua regola che non è seguita.
• If you say you don’t they why you are indexing this either. Se lei dice che non è il motivo per cui essi sono indicizzazione sia presente. Does it make sense ? Ha senso?
• Is there a way we can stop getting it indexed? C'è un modo che possiamo ottenere è fermata indicizzati?

What do you think on this ?  Share with us in comments and do correct me if I am wrong. Che cosa pensa di questo? Condividi con noi nei commenti e fare correggere se sbaglio.

Tags: Tag: robots txt robot txt , search engines motori di ricerca