It was surprising to know that even Robots.txt files are being indexed by google. Tas bija pārsteidzoši, zināt, ka pat Robots.txt faili tiek indeksēti Google. On an interesting post on Par interesantu pastu How to find secret articles and sites Kā atrast slepens rakstiem un vietu Roberts shares how you can find secret things which people tend to hide. Roberts akcijas, kā jūs varat atrast slepenas lietas, ko cilvēki mēdz slēpt.

Just do a search on “robots.txt” “disallow:” filetype:txt in google and you will be surprised with what you see. Just do meklēšanas par "robots.txt" "neatļaut:" filetype: txt in google un jūs pārsteidza ar to, ko redzat.

Robots TXt used to Hide things which is not to be indexed Roboti TXT, ko izmanto, lai Hide lietas, kas nav jāindeksē

With this not you can directly go to any of those files and directly see the pages or images which are hidden from search engines and even you. Ar šo nav varat tieši doties uz jebkuru no šiem failiem un tieši skatīt lapu vai attēlu, kas ir paslēpta no meklētājprogrammas, un pat jums.

Now my point of concern is Tagad mans punkts, kas rada bažas, ir

• Why are search engines indexing them ? Kāpēc meklētājprogrammās indeksēšanas viņiem?
• Do they really don't go and look into the pages or its just a rule which is not followed. Vai viņi tiešām neapmeklē un izpētīt lapas vai tās tikai noteikums, kas nav jāievēro.
• If you say you don't they why you are indexing this either. Ja jums saka, jums nav tie, kāpēc jūs indeksēšanas šo either. Does it make sense ? Vai tā jēga?
• Is there a way we can stop getting it indexed? Vai ir veids, kā mēs varam pārtraukt panākt, lai to indeksēti?

What do you think on this ?  Share with us in comments and do correct me if I am wrong. Ko jūs domājat par šo? Koplietojiet ar mums komentārus un to labot mani, ja es esmu nepareizi.