Вопрос сайтостроителям. Собственно в заголовке.

Описание проблемы: с вводом нового сервиса статистики на портале (в профиле), обнаружилось что робот Гугля, сканирует странички, закрытые:

1. В файле robots.txt
2. js скриптом так: onclick="window.location(урл)" (то что такие ссылки он находит - есть даже в их справке)
3. есть подозрение, что он ваще js интерпретирует легко...

В индекс такие страницы как и положено не лезут (пока не обнаружены), но все равно неприятно... ходит ведь по ним - легко!

Более того, похоже что эта скотинка, анализирует элементы форм (select, input) и содержимое подставляемое get-ом подставляет в урл, комбинируюя произвольным порядком... у меня в сервисе вебмастера периодически появляются "неправильные" ссылки с ошибкой 404, 500 из таких сочинений...

Особливо интересно в свете их последних нововведений по ранжированию и пессемизациям...

Вы ведь понимаете, что это невозможно. Все что сервер отдал - будет прочитано и пережевано. Не гуглем - так еще кем-то.
Единственный вариант - ориентируясь на "client name" не выдавать контент страниц (скриптов), который хотите спрятать. Но вы понимаете, что это
а) несерьезно (никто не гарантирует имя робота, никто не гарантирует, что нет другого робота того же гугля, с другим именем, который иногда ходит "для проверочки")
б) да еще и чревато подозрениями со стороны поисковиков, что вы их обманываете (см. выше "проверочка").

Предлагаю забить.

с вводом нового сервиса статистики на портале (в профиле), обнаружилось что робот Гугля, сканирует странички, закрытые

А статистика без пароля? т.е. вы ее всем показываете?

Понимаю, поэтому и спрашиваю.

Ваще-то спасибки... пока придумывал пример когда надо скрыть ссылку с публичной странички на приватную, нашел решение, "попердикулярное" вопросу... Собственно вопрос - снят. Надо просто выкинуть ещё кусок "суперкода" с портала...Всё гораздо проще делается.

Месяц висело в общем доступе (это та статистика отдачи страниц сервером, которая голубенькая в каждом левом нижнем углу портала над счетчиками мейла и лыж). Щас полностью доступна только платникам. В ближайшее время планируем запустить подневные графики посещений...