В марте 2025 года Google опубликовал обновлённое руководство по robots.txt — файлу, который уже более 30 лет используется для управления поведением поисковых роботов. Новый документ получил название Robots Refresher и построен по принципу «от простого к сложному»: сначала объясняются базовые принципы, затем — более тонкие настройки для отдельных ботов и типов страниц.

В руководстве приведены практические примеры. Чтобы закрыть от всех роботов страницу «Добавить в корзину», достаточно двух строк: user-agent: * и disallow: /cart. Для блокировки PDF-файлов используется директива disallow: *.pdf для конкретного бота. Можно разрешить сканирование блога, но запретить черновики: allow: /blog/ и disallow: /blog/drafts/. Отдельно показано, как ограничить доступ одному боту, оставив сайт открытым для поисковых систем.

Google также напомнил: если файла robots.txt нет, Search Console покажет ошибку 404. Это не критично — предупреждение исчезнет через 30 дней, либо можно создать пустой файл, который Google принимает. Для вебмастеров это руководство — удобная шпаргалка: большинство задач решаются несколькими строками в текстовом файле, без сложных инструментов.

07.03.2025
wb0.ru