It was surprising to know that even Robots.txt files are being indexed by google. Det var overraskende å få vite at selv Robots.txt filene bli indeksert av Google. On an interesting post on På et interessant innlegg på How to find secret articles and sites Hvordan finne hemmelig artikler og nettsteder Roberts shares how you can find secret things which people tend to hide. Roberts aksjer hvor du kan finne hemmelig ting som folk har en tendens til å skjule.

Just do a search on “robots.txt” “disallow:” filetype:txt in google and you will be surprised with what you see. Bare gjør et søk på "robots.txt" "Disallow:" filetype: txt på google og du vil bli overrasket med hva du ser.

Robots TXt used to Hide things which is not to be indexed Robots txt brukt til å skjule ting som ikke skal indekseres

With this not you can directly go to any of those files and directly see the pages or images which are hidden from search engines and even you. Med dette ikke kan direkte gå til noen av disse filene og direkte se sider eller bilder som er skjult fra søkemotorer og til og med deg.

Now my point of concern is Nå mitt standpunkt bekymring er

• Why are search engines indexing them ? Hvorfor er søkemotorer indeksere dem?
• Do they really don't go and look into the pages or its just a rule which is not followed. Har de virkelig ikke gå og se på sidene eller bare en regel som ikke er fulgt.
• If you say you don't they why you are indexing this either. Hvis du sier du ikke de hvorfor du indeksering dette heller. Does it make sense ? Betyr det fornuftig?
• Is there a way we can stop getting it indexed? Er det en måte vi kan stoppe får den indeksert?

What do you think on this ?  Share with us in comments and do correct me if I am wrong. Hva synes du om dette? Del det med oss i kommentarer og gjøre riktige meg hvis jeg tar feil.