robots.txt исполнилось 20 лет. wb0.ru - Все для веб-мастера, on-line сервисыrobots.txt исполнилось 20 лет 30 июня 1994 года Мартин Костер (Martijn Koster) создал стандарт написания файлов robots.txt, позволяющих защищать отдельные части сайта от поисковых роботов. Основные поисковики того времени WebCrawler, Lycos и AltaVista быстро приняли его. И теперь, спустя 20 лет, поисковые системы продолжают подчиняться прописанным в robots.txt директивам.В честь этой даты Брайан Ассери (Brian Ussery) опубликовал в своем блоге наиболее распространенные ошибки robots.txt, которые он встречал за всё время, пока занимался поисковой оптимизацией. Правильность написания файла robots.txt очень важна для сайта, ведь ошибки в robots.txt могут навредить ранжированию или сделать доступными приватные данные, как это произошло, например, несколько лет назад с текстами SMS пользователей компании Мегафон и информацией о заказах одного из интернет-магазинов. 30.06.14
wb0.ru
|
