JК
Журнал Компьютерра - 3 от 24 января 2006 года :: Компьютерра
Страница: 22 из 156Таким образом, «пошуршав» серверными логами вручную или при помощи специальных утилит, опытный веб-мастер без труда может установить «видовую принадлежность» своих гостей.
Увы, с легкой руки Хоффмана методы традиционной аналитики могут пойти прахом, поскольку его детище обладает отменной мимикрией: по сайту оно прогуливается неспешной походкой, изредка кликая на считанных гиперссылках. В отличие от безмозглых сородичей новый паук успешно имитирует кэш браузера, при каждом новом визите закачивая лишь изменившийся за прошедшее время материал. Еще один обманный финт: если обычный робот игнорирует бесполезные с его точки зрения компоненты ActiveX и «флэшки», то новый паук удостаивает своим вниманием и эти «бантики и рюшечки».
Как признается Хоффман, труднее всего было преодолеть противоречие между кажущейся «человечностью» робота и его профессиональной задачей, ведь по методичности сканирования сайта он не должен уступать традиционным паукам. В конце концов, было решено использовать несколько параллельно работающих потоков, каждый из которых имитирует одиночного пользователя, заходящего на сайт с отдельного IP-адреса (при этом все «члены бригады» обладают неповторимыми «характерами»). Благодаря четкой синхронизации действий, после такого «культпохода» на сайте уже не остается белых пятен.
«Паук Хоффмана» с помпой был показан на хакерской конференции ShmooCon.
Увы, с легкой руки Хоффмана методы традиционной аналитики могут пойти прахом, поскольку его детище обладает отменной мимикрией: по сайту оно прогуливается неспешной походкой, изредка кликая на считанных гиперссылках. В отличие от безмозглых сородичей новый паук успешно имитирует кэш браузера, при каждом новом визите закачивая лишь изменившийся за прошедшее время материал. Еще один обманный финт: если обычный робот игнорирует бесполезные с его точки зрения компоненты ActiveX и «флэшки», то новый паук удостаивает своим вниманием и эти «бантики и рюшечки».
Как признается Хоффман, труднее всего было преодолеть противоречие между кажущейся «человечностью» робота и его профессиональной задачей, ведь по методичности сканирования сайта он не должен уступать традиционным паукам. В конце концов, было решено использовать несколько параллельно работающих потоков, каждый из которых имитирует одиночного пользователя, заходящего на сайт с отдельного IP-адреса (при этом все «члены бригады» обладают неповторимыми «характерами»). Благодаря четкой синхронизации действий, после такого «культпохода» на сайте уже не остается белых пятен.
«Паук Хоффмана» с помпой был показан на хакерской конференции ShmooCon.