Сейчас роботы, представляемые в логах серверов, являют собой систематизированный, но трудно запоминаемый код. Поэтому, если веб-мастер не обладал фотографической памятью, то для индексации программы, которая делает запрос к сайту, ему приходилось штудировать соответствующую страницу Яндекс.Помощь.

Руководитель отдела технологий поискового продвижения агентства Ingate Дмитрий Злыгостев прокомментировал это нововведение так: «Кроме того, что в логах теперь можно проще узнать бота, также стало возможным писать разные директивы в robots.txt для разных роботов. Т.е. если у вас на сайте есть галерея, то туда необходимо отправлять бота YandexImages, для видео - YandexVideo и т.д. При этом основной бот, который индексирует контент, содержащий текст, не будет тратить время на обход галереи. Данное нововведение позволит более быстро и полно индексировать сайты».

07.05.10
seonews.ru