
Код ответа сервера — три цифры в первой строке ответа на любой запрос страницы. Посетитель их обычно не видит: браузер показывает страницу или сообщение об ошибке. Поисковый робот, наоборот, читает код раньше содержимого и по нему решает, что делать с адресом: отправить в индекс, убрать оттуда, перейти по перенаправлению или вернуться позже.
Как устроен код: пять классов по первой цифре
Стандарт HTTP (RFC 9110) делит коды на пять классов. Первая цифра говорит, на чьей стороне результат, две следующие уточняют причину.
| Класс | Что сообщает | Чья проблема, если что-то не так |
|---|---|---|
| 1xx | Запрос принят, обработка продолжается | Ничья — служебный промежуточный ответ |
| 2xx | Запрос выполнен | — |
| 3xx | Нужно действие: обычно перейти по другому адресу | Владельца сайта, если перенаправление лишнее |
| 4xx | Запрос не может быть выполнен: адреса нет, доступа нет, запрос битый | Формально клиента, на деле часто сайта |
| 5xx | Сервер не справился с корректным запросом | Владельца сайта или хостинга |
Деление «4xx — виноват клиент» формальное. Если на сайте битая внутренняя ссылка, робот получит 404 по вине самого сайта. Класс говорит, где произошёл отказ, а не кто его допустил.
Справочная таблица кодов и их смысл для SEO
В таблице — коды, которые реально встречаются в логах и отчётах панелей вебмастера. Перенаправления 3xx даны кратко: выбор между 301, 302 и 308, цепочки и переезды разобраны в отдельном материале про 301 редирект.
| Код | Название | Что значит | Что значит для SEO |
|---|---|---|---|
| 100 | Continue | Сервер готов принять тело запроса | Не влияет |
| 103 | Early Hints | Подсказки браузеру начать загрузку ресурсов заранее | Не влияет на индексацию, может ускорить загрузку |
| 200 | OK | Страница отдана | Норма. Индексация не гарантирована: решает содержимое |
| 204 | No Content | Успех, но тела ответа нет | Индексировать нечего |
| 206 | Partial Content | Отдана часть файла (видео, большие файлы) | Нормален для медиа |
| 301 / 308 | Moved Permanently / Permanent Redirect | Адрес переехал навсегда | Сильный сигнал заменить адрес в индексе |
| 302 / 307 | Found / Temporary Redirect | Временно по другому адресу | Слабый сигнал, старый адрес остаётся |
| 304 | Not Modified | Страница не менялась с прошлого обхода | Экономит ресурсы обхода |
| 400 | Bad Request | Запрос сформирован неверно | Адрес выпадает из индекса |
| 401 | Unauthorized | Нужна авторизация | Страница не индексируется |
| 403 | Forbidden | Доступ запрещён | Не индексируется, пока доступ закрыт |
| 404 | Not Found | Адреса нет | Удаляется из индекса со временем |
| 405 | Method Not Allowed | Метод запроса не поддерживается | Обычно признак ошибки в формах или API |
| 408 | Request Timeout | Клиент слишком долго отправлял запрос | Единичные случаи не важны |
| 410 | Gone | Удалено навсегда | Как 404, но с явным намерением |
| 418 | I’m a teapot | Шуточный код из первоапрельского RFC 2324 | Встречается как заглушка от ботов; роботу так отвечать нельзя |
| 429 | Too Many Requests | Слишком много запросов за период | Google читает как перегрузку и замедляет обход |
| 451 | Unavailable For Legal Reasons | Доступ закрыт по юридическим причинам | Не индексируется |
| 500 | Internal Server Error | Приложение упало при обработке | Обход замедляется, при повторении — выпадение |
| 501 | Not Implemented | Сервер не умеет выполнять такой запрос | Редок, обычно ошибка конфигурации |
| 502 | Bad Gateway | Прокси получил неверный ответ от основного сервера | Как 500 |
| 503 | Service Unavailable | Сервер временно недоступен | Допустим на короткий срок, лучше с Retry-After |
| 504 | Gateway Timeout | Прокси не дождался ответа | Как 500, плюс сигнал о медленной работе |
Отдельная строка — коды 520–527, которые показывает Cloudflare. Это не стандарт HTTP, а собственные коды CDN для случаев «основной сервер ответил странно или не ответил». Для SEO они ведут себя как 5xx.
Ошибка 404: что значит и когда это нормально
404 Not Found — самый частый код ошибок и самый безобидный. Он сообщает: сервер работает, но по этому адресу ничего нет. Сайт без единой 404 в логах не встречается: роботы перебирают старые адреса, люди ошибаются при наборе, внешние сайты ссылаются с опечатками.
Google прямо описывает обработку: 4xx, кроме 429, не тратят ресурсы индексации, а ранее проиндексированный адрес удаляется из индекса (Google Search Central). Остальные страницы сайта от этого не страдают.
Проблемой 404 становится в трёх случаях:
- На адрес ведут внешние ссылки. Сигнал от них теряется. Решение — 301 на ближайшую по смыслу страницу.
- На адрес ведут внутренние ссылки. Посетитель упирается в тупик, робот тратит обход впустую. Решение — исправить ссылку в шаблоне или тексте, а не ставить перенаправление.
- Страница приносила трафик. Её удалили случайно при обновлении CMS или смене структуры адресов. Решение — вернуть или перенаправить.
Страница 404 при этом должна оставаться полезной: короткое объяснение, поиск по сайту, ссылки на главные разделы. Код ответа — 404, а не перенаправление на главную: такую замену поисковики распознают как мягкую 404.
Ошибки 401 и 403: доступ запрещён
401 и 403 часто путают, хотя смысл разный. По определению MDN, 401 означает «вы не представились» — нужна авторизация, после входа доступ появится. 403 означает «я знаю, кто вы, и не пущу»: повторный вход не поможет.
Для поиска оба кода одинаковы: страница не индексируется. Закрытые разделы — личный кабинет, корзина, админка — и должны так отвечать. Беда начинается, когда 403 получают открытые страницы. Обычно это одна из четырёх причин:
- права на файлы и папки сбились после переноса сайта или обновления;
- правило в конфигурации сервера запрещает доступ к папке или типу файлов;
- защита от ботов или файрвол хостинга отсекает поисковых роботов вместе с парсерами;
- блокировка по IP или стране, под которую попадают адреса роботов.
Третья причина самая коварная: в браузере сайт открывается, а робот видит 403. Проверяется запросом с подменой имени робота (команда ниже) и отчётом о сканировании в панели вебмастера.
Google отдельно предупреждает: не использовать 401 и 403 для ограничения нагрузки от робота. На скорость обхода они не влияют, а страницы из индекса убирают. Для снижения нагрузки предназначен 429 или 503.
Ошибки 500, 502, 503, 504: что сломалось на сервере
Пятисотые коды значат, что запрос был нормальным, а сервер не справился. Различаются они тем, на каком звене оборвалась цепочка «посетитель → прокси или CDN → сервер приложения → база данных».
| Код | Где оборвалось | Типичные причины | Где искать |
|---|---|---|---|
| 500 | В самом приложении | Ошибка в коде, конфликт плагинов CMS, нехватка памяти, сломанный конфиг | Журнал ошибок приложения и веб-сервера |
| 502 | Между прокси и приложением: ответ пришёл неверный | Процесс приложения упал или перезапускается, неверный порт, переполнен пул соединений | Журнал прокси, статус процессов приложения |
| 503 | Сервер отказывается работать | Перегрузка, режим обслуживания, исчерпан лимит хостинга | Нагрузка на сервер, тарифные лимиты, флаг обслуживания |
| 504 | Между прокси и приложением: ответа не дождались | Медленные запросы к базе, тяжёлые страницы, зависший внешний сервис | Время ответа приложения, медленные запросы к базе |
502 и 504 — ошибки шлюза. Сайт, который стоит за CDN или балансировщиком, может работать, а может лежать, и по самой ошибке это не понять. Первый шаг — запрос к серверу приложения напрямую, в обход прокси.
Как 5xx влияют на индексацию
На этот вопрос есть документированный ответ. По данным Google Search Central, при кодах 500, 502 и 503 робот временно замедляет обход, причём пропорционально числу адресов с ошибками. Уже проиндексированные страницы сначала остаются в индексе, но адреса, которые отдают 5xx постоянно, со временем удаляются. Когда сервер снова отвечает 200, скорость обхода восстанавливается постепенно, а не сразу.
Отдельный риск — ошибка 5xx на файле robots.txt. Google в первые 12 часов прекращает обход сайта и пытается получить файл заново, затем до 30 дней использует последнюю сохранённую копию (справка Google по robots.txt). Падение одного служебного файла останавливает обход всего сайта — поэтому доступность robots.txt проверяют первой.
Плановое закрытие сайта Google советует делать кодом 503 только на 1–2 дня, максимум на несколько дней. Для более долгих перерывов рекомендуется страница-заглушка с кодом 200, а лучше — частичное отключение функций, например корзины (Google Search Central).
Справка Яндекс Вебмастера описывает те же классы кодов и отдельно отмечает, что заголовок Retry-After в ответе 429 робот Яндекса не учитывает (справка Яндекса).
Как проверить коды ответа на своём сайте
Разовая проверка одного адреса и регулярная проверка всего сайта — разные задачи. Порядок для второй:
- Ручная проверка адреса. Команда
curl -sI https://example.com/page/показывает первую строку ответа с кодом. С подменой робота:curl -sI -A "Googlebot" https://example.com/page/— так ловится 403 от защиты от ботов. - Отчёты панелей вебмастера. В Search Console — отчёты об индексировании и статистика сканирования с разбивкой по кодам; в Яндекс Вебмастере — раздел о статусах страниц. Это взгляд со стороны робота.
- Краулер по всему сайту. Screaming Frog или аналог обходит внутренние ссылки и показывает, какие ведут на 3xx, 4xx и 5xx.
- Журналы сервера. Только они показывают, что получал реальный робот и как часто; методика — в разборе анализа логов.
- Мониторинг доступности. Внешний сервис раз в несколько минут запрашивает главную и ключевые страницы и сообщает о 5xx.
Для журналов полезен один показатель — доля серверных ошибок в ответах роботу:
Условный пример: за неделю робот сделал 48 000 запросов, из них 1 200 получили 503 в часы ночного резервного копирования. Доля 5xx — 2,5%. Одиночные 5xx естественны, но устойчивый рост доли — сигнал, что робот начнёт снижать скорость обхода; на большом сайте это бьёт по краулинговому бюджету раньше, чем по позициям.
Симптом → код → что делать
| Симптом | Вероятный код | Первое действие |
|---|---|---|
| Страницы пропадают из индекса после обновления CMS | 404 или 500 | Сравнить список адресов до и после, проверить журнал ошибок |
| В браузере открывается, в отчёте робота — ошибка | 403 или 429 | Проверить защиту от ботов и правила файрвола |
| Сайт падает по вечерам | 502, 503, 504 | Посмотреть нагрузку и лимиты тарифа в часы пик |
| В Search Console растёт число мягких 404 | 200 на пустых страницах | Отдавать 404 для пустых фильтров и удалённых товаров |
| Обход резко упал по всему сайту | 5xx на robots.txt или массовые 5xx | Проверить robots.txt и время ответа сервера |
| Старые адреса продолжают показываться в выдаче | 200 вместо 301 или 404 | Проверить, что удалённые страницы не открываются шаблоном |
Регулярная сверка кодов входит в первый слой технического аудита — доступность, и без неё остальные проверки теряют смысл: индексация страницы, которая отдаёт 5xx, не начнётся ни при каких метатегах.
Спорное место
Распространено убеждение, что большое число 404 в отчётах портит сайту «репутацию» у поисковика. Документация Google этого не подтверждает: 404 — штатный ответ, удаляющий отдельный адрес, а не штраф для сайта. Гоняться за нулём 404 в отчёте — потеря времени; важно, откуда на эти адреса ведут ссылки.
С 5xx обратная ситуация: их недооценивают, потому что сайт «почти всегда работает». Но робот приходит в случайное время, и если ночное резервное копирование или пиковая нагрузка совпадают с его визитами, он видит другой сайт, чем владелец днём. Это гипотеза для проверки по логам, а не повод для паники: одна неудачная ночь не выбивает страницы из индекса, систематические ошибки — выбивают.
Частые вопросы
Что значит ошибка 404?
Что означает 502 Bad Gateway?
Что значит ошибка 403?
Что означает ошибка 500 на сайте?
Что означает ошибка 503 на сайте?
Что значит ошибка 400?
Что значит ошибка 504?
Как исправить ошибку 403 «доступ запрещён»?
Источники
- RFC 9110. HTTP Semantics, раздел 15 «Status Codes» — IETF / RFC Editor
- HTTP response status codes — MDN Web Docs
- How HTTP status codes, and network and DNS errors affect Google Search — Google Search Central
- Pause or disable a website — Google Search Central
- HTTP-коды ответа — Яндекс Вебмастер, справка