Карта сайта — файл со списком адресов, которые владелец сайта предлагает поисковому роботу для обхода. Обычно это XML-документ по адресу sitemap.xml, где перечислены страницы и даты их последнего изменения. Назначение файла одно: помочь системе быстрее узнать о существовании страниц.
Что кладут в файл и чего не кладут
В карту попадают адреса, которые должны оказаться в поиске. Это отсекает больше, чем кажется на первый взгляд.
Не попадают: страницы, закрытые от индексирования, адреса с редиректами, страницы с ошибками, служебные разделы вроде корзины и личного кабинета, дубли с параметрами и адреса, у которых основным назначен другой URL. Каждый такой адрес в карте — противоречие: файл говорит «индексируй», а страница отвечает «не надо». Систематические противоречия снижают доверие ко всему файлу.
Отдельное правило — актуальность. Карта, собранная один раз вручную и не обновлявшаяся с тех пор, вредит: робот тратит обращения на удалённые страницы и не узнаёт о новых. Файл должен генерироваться движком сайта автоматически.
Три вещи с похожими названиями
| Файл | Что делает | Для кого |
|---|---|---|
| sitemap.xml | Перечисляет адреса для обхода | Поисковый робот |
| robots.txt | Запрещает или разрешает обход разделов | Поисковый робот |
| HTML-карта сайта | Страница со ссылками на разделы | Человек и робот |
Первые два работают в разные стороны и не отменяют друг друга: адрес, закрытый в robots.txt, останется закрытым, даже если он перечислен в карте. Третий — обычная страница сайта, полезная и людям, и обходу, но к XML-формату отношения не имеющая.
Чего карта не делает
Не индексирует. Файл сообщает о существовании адреса, а решение о включении в индекс система принимает сама, изучив страницу. Массовое отсутствие страниц из карты в поиске означает проблему с самими страницами, а не с файлом.
Не заменяет ссылки. Страница, на которую не ведёт ни одна внутренняя ссылка, останется слабо связанной с сайтом, даже будучи в карте, — вес по ней не передаётся. Подробнее об отборе страниц — в разборе индексации.
Не ускоряет ранжирование. Быстрее найдена — не значит выше показана.
С чем путают карту сайта
С robots.txt. Карта предлагает адреса, robots.txt ограничивает доступ. Задачи противоположные, файлы разные.
С HTML-картой. Она сделана для навигации людей, XML-файл человеку читать незачем.
С управлением обходом. Карта влияет на скорость обнаружения, а не на бюджет обхода: мусорные адреса продолжат отнимать ресурс робота, даже если их нет в списке, — их он найдёт по ссылкам и всё равно посетит, что скажется и на органическом трафике.
Частые вопросы
Нужна ли карта сайта небольшому сайту?
Что делать, если страниц больше пятидесяти тысяч?
Нужно ли указывать приоритет и частоту обновления?