It was surprising to know that even Robots.txt files are being indexed by google. És sorprenent saber que encara s'estan robots.txt arxius indexats per Google. On an interesting post on En un interessant post en How to find secret articles and sites Com trobar articles i llocs secrets Roberts shares how you can find secret things which people tend to hide. Roberts comparteix com vostè pot trobar les coses en secret que la gent tendeix a ocultar.

Just do a search on “robots.txt” “disallow:” filetype:txt in google and you will be surprised with what you see. Només fer una recerca sobre "robots.txt" "disallow:" filetype: txt, en google i es sorprendrà amb el que veus.

Robots TXt used to Hide things which is not to be indexed TXT robots utilitzats per amagar les coses que no s'indexen

With this not you can directly go to any of those files and directly see the pages or images which are hidden from search engines and even you. Amb això no es pot anar directament a qualsevol d'aquests fitxers i veure directament les pàgines o imatges que s'oculten dels motors de recerca, i fins i tot vostè.

Now my point of concern is Ara el meu punt de preocupació és

• Why are search engines indexing them ? ¿Per què són la indexació dels motors de cerca?
• Do they really don't go and look into the pages or its just a rule which is not followed. És que realment no vagi i cerqueu a les pàgines o la seva justa una norma que no se segueix.
• If you say you don't they why you are indexing this either. Si dius que no ets la raó per la qual la indexació d'aquest bé. Does it make sense ? Té sentit?
• Is there a way we can stop getting it indexed? Hi ha alguna manera podem deixar de tenir-indexat?

What do you think on this ?  Share with us in comments and do correct me if I am wrong. Què pensa vostè sobre això? Comparteix amb nosaltres a fer informes i corregir si m'equivoco.