2005 год: некоторые итоги и перспективы   ::   СССР Внутренний Предиктор

Чтобы понять, отчего он удостоился штучного обращения, надо знать, насколько центральным для холокостников было дело против Ирвинга, историка Второй Мировой, выкапывающего новые документы вархивах вместо переписывания устоявшейся версии истории. Для суда против него этнической мафией — деятелями вроде вложившегося Спилберга — были собраны миллионы (5? 15? не помню, есть на сайте Ирвинга, лень проверять) и куплен за 300 — 400 тысяч кембриджский профессор истории Эванс]

4. В силу вышесказанного, я сильно, очень сильно сомневаюсь, что Гугл respects, удовлетворяет (необязательные для него) предпочтения вебмастеров, выраженные в HTTP headers и/или в robots.txt, — Гугл копирует всё, что видно/доступно из гигантской связной компоненты графа. (Отпадают внутренние сайты компаний и те части сайтов, что правильно защищены процедурами login and authentication, но их меньшинство; ничтожно мало окажется сайтов специально настроенных после долгой слежки, чтобы не пускать только IP/domain crawlers гугла (которых много, которые могут иметь сильно разные IP и не разрешаться в его собственный domain), но чтобы при том оставаться открытыми прочим посетителям. Верно обратное — достаточно много сайтов наивны в том смысле, что их logins сломаны — прямые ссылки извлекают внутренние страницы, я например повсеместно натыкаюсь на это на сайтах англоязычных газет. Поскольку сама суть Веба в гиперссылках, подавляющее число сайтов подвязано к гигантской компоненте и видимо для crawlers. Для crawlers тем более не важно, генерируются ли страницы веб сайтами динамически — если страница в ответ на запрос по ссылке была создана, она будет сохранена).