SEO-новости

robots.txt исполнилось 20 лет. wb0.ru - Все для веб-мастера, on-line сервисы
robots.txt исполнилось 20 лет
robots.txt исполнилось 20 лет30 июня 1994 года Мартин Костер (Martijn Koster) создал стандарт написания файлов robots.txt, позволяющих защищать отдельные части сайта от поисковых роботов. Основные поисковики того времени WebCrawler, Lycos и AltaVista быстро приняли его. И теперь, спустя 20 лет, поисковые системы продолжают подчиняться прописанным в robots.txt директивам.

В честь этой даты Брайан Ассери (Brian Ussery) опубликовал в своем блоге наиболее распространенные ошибки robots.txt, которые он встречал за всё время, пока занимался поисковой оптимизацией. Правильность написания файла robots.txt очень важна для сайта, ведь ошибки в robots.txt могут навредить ранжированию или сделать доступными приватные данные, как это произошло, например, несколько лет назад с текстами SMS пользователей компании Мегафон и информацией о заказах одного из интернет-магазинов.

30.06.14
wb0.ru

Новости Интернет


Поиск




Наши партнеры




Последний пересчет

тИЦ:07 Окт 15
PR:09 Дек 13

Посетители

On-Line:11
Рекорд:1794
Зафиксирован:01 Окт 13

Наши партнеры

wservices.ru - регистрация доменов, Whois-сервисы Смайлы на все случаи жизни


Календарь событий


 
Copyright © 2006-2017, wb0.ru