It was surprising to know that even Robots.txt files are being indexed by google. Bolo prekvapujúce zistiť, že aj Robots.txt súbory sú indexované pomocou google. On an interesting post on Na zaujímavý príspevok na How to find secret articles and sites Ako nájsť tajné predmetov a miest Roberts shares how you can find secret things which people tend to hide. Roberts akcie ako môžete nájsť tajné veci, ktoré ľudia majú tendenciu skrývať.

Just do a search on “robots.txt” “disallow:” filetype:txt in google and you will be surprised with what you see. Len to hľadanie "robots.txt" "Disallow:" filetype: txt v google a budete prekvapení, s tým, čo vidíte.

Robots TXt used to Hide things which is not to be indexed Roboti TXT používa na skrytie veci, ktoré nesmú byť indexované

With this not you can directly go to any of those files and directly see the pages or images which are hidden from search engines and even you. Ak to nie je môžete priamo prejsť na niektorú z týchto súborov a priamo pozri stránky alebo obrázky, ktoré sú skryté z vyhľadávačov, a to aj vás.

Now my point of concern is Teď moje bod záujmu je

• Why are search engines indexing them ? Prečo sa vyhladavacom indexovaniu je?
• Do they really don't go and look into the pages or its just a rule which is not followed. Naozaj nechoďte a pozrite sa na stránky alebo len pravidlo, ktoré nie je.
• If you say you don't they why you are indexing this either. Ak poviete, že nemáte prečo ste túto buď indexovaniu. Does it make sense ? Má to zmysel?
• Is there a way we can stop getting it indexed? Existuje spôsob, ako môžeme dostať ju zastaviť indexovanými?

What do you think on this ?  Share with us in comments and do correct me if I am wrong. Čo si myslíte o tomto? Podeľte sa s nami v komentářích a robiť správne mě, jestli jsem špatně.