It was surprising to know that even Robots.txt files are being indexed by google. Було дивно дізнатися, що навіть Robots.txt файли індексуються Google. On an interesting post on На цікавий пост How to find secret articles and sites Як знайти таємницю статей і сайтів Roberts shares how you can find secret things which people tend to hide. Робертс акції, як ви можете знайти секретом те, що люди схильні приховувати.

Just do a search on “robots.txt” “disallow:” filetype:txt in google and you will be surprised with what you see. Просто виконайте пошук по "robots.txt" "Disallow:" файлів: TXT в Google, і ви будете здивовані, що ви бачите.

Robots TXt used to Hide things which is not to be indexed Роботи Txt використовувати, щоб приховати те, що не буде проіндексовані

With this not you can directly go to any of those files and directly see the pages or images which are hidden from search engines and even you. При цьому ви не можете безпосередньо звернутися в будь-який з цих файлів, і безпосередньо побачити сторінки або зображення, які заховані від пошукових систем, і навіть вам.

Now my point of concern is Тепер моя точка занепокоєння

• Why are search engines indexing them ? Чому пошуковики індексувати їх?
• Do they really don't go and look into the pages or its just a rule which is not followed. Ли они на самом деле не піти й подивитися на сторінках чи просто правило, яке не використовується.
• If you say you don't they why you are indexing this either. Якщо ви кажете, ви не так, чому ви це або індексацію. Does it make sense ? Чи має сенс?
• Is there a way we can stop getting it indexed? Чи є спосіб зупинити його отримання індексуються?

What do you think on this ?  Share with us in comments and do correct me if I am wrong. Що ви думаєте про це? Поділіться з нами в коментарі і робити Поправьте мене, якщо я помиляюся.