Если сайт не индексируется, причина почти всегда техническая: страницу закрывает robots.txt или мета-тег noindex, её «съедает» неверный canonical, она признана дублем — или Google просто ещё не дошёл до неё из-за нехватки краулингового бюджета. Ниже — экспресс-диагностика за 30 минут: пройдите чек-лист из 8 причин и проверьте каждую через Google Search Console.
Коротко
- Индексация — это попадание страницы в базу Google; без неё страница не появится в выдаче. Сам термин подробно разбираем в статье о техническом SEO.
- Около 90% проблем — это robots.txt, noindex, canonical, дубли и нехватка краулингового бюджета.
- Главные инструменты диагностики — проверка URL и отчёт «Индексирование страниц» в Search Console.
- Новому сайту нужно время: первые страницы индексируются от нескольких дней до 2–3 недель.
- «Страница не в индексе» и «страница не в топе» — это разные проблемы; сначала убедитесь, что она вообще проиндексирована.
«Не индексируется» или «не ранжируется» — сначала различаем
Прежде чем чинить, уточните симптом. Если страницы нет в индексе — Google её не сохранил, и в выдаче её не будет ни по каким запросам. Если страница в индексе, но не в топе — это уже вопрос релевантности, контента и ссылочного, а не индексации. Быстрая проверка: введите в поиск site:вашдомен.com/страница. Пусто — значит, страница не проиндексирована, и дальше работаем по чек-листу ниже.
Экспресс-диагностика за 30 минут: 8 причин
1. Сайт закрыт в robots.txt
Первое, что проверяют. Директива Disallow может блокировать обход отдельных разделов или всего сайта — частая беда после переноса с тестового сервера, где стоял Disallow: /. Откройте вашдомен.com/robots.txt и убедитесь, что нужные разделы не запрещены. Важно: robots.txt запрещает обход, но не всегда убирает страницу из индекса — иногда её показывают без описания. Настоящий запрет индексации даёт noindex.
2. Мета-тег noindex или заголовок X-Robots-Tag
Тег <meta name=»robots» content=»noindex»> в коде страницы или HTTP-заголовок X-Robots-Tag прямо говорят Google не добавлять страницу в индекс. На CMS такое часто остаётся включённым после разработки (в WordPress — галочка «Попросить поисковые системы не индексировать сайт»). Проверьте исходный код страницы и ответ сервера.
3. Неверный canonical
Тег rel=»canonical», указывающий на другой URL, говорит Google: «каноническая версия — вон та, эту не индексируй». Если каноникл проставлен ошибочно (например, все страницы ссылаются на главную), Google игнорирует их содержимое. Проверьте, что каждая важная страница каноникает сама на себя.
4. Дубли страниц
Если контент дублируется (www и без www, http и https, страницы с параметрами и без, карточки с одинаковыми описаниями), Google выбирает одну версию, а остальные помечает как «дубль без выбранной пользователем канонической» — они не индексируются. Настройте один основной хост через 301-редиректы и уникализируйте контент.
5. Тонкий или низкокачественный контент
Google всё чаще откладывает или отклоняет индексацию страниц, которые считает малополезными: пустые категории, автогенерённые страницы, тексты в пару строк. В отчёте это выглядит как «Просканировано, но пока не проиндексировано» или «Обнаружено, но не проиндексировано». Лечение — усилить содержание, а слабые страницы объединить или закрыть.
6. Страница-сирота: нет ссылок на неё
Google находит страницы по ссылкам. Если на страницу не ведёт ни одна внутренняя ссылка и её нет в sitemap, робот может её просто не обнаружить. Добавьте страницу в карту сайта и во внутреннюю перелинковку. Внешние ссылки тоже ускоряют обнаружение и индексацию — как это работает, разбираем в материале про ускорение индексации ссылок.
7. Технические барьеры: скорость, ошибки сервера, JS
Медленный ответ сервера, ошибки 5xx, таймауты и контент, который подгружается только через тяжёлый JavaScript, мешают роботу получить и обработать страницу. Проверьте код ответа (должен быть 200), скорость загрузки и то, виден ли основной контент без выполнения скриптов.
8. Нехватка краулингового бюджета
Краулинговый бюджет — это объём страниц, которые Google готов обойти на вашем сайте за период. На больших сайтах с тысячами URL, кучей дублей и параметров робот тратит бюджет на мусор и не доходит до важных страниц. Уберите дубли, закройте бесполезные URL, ускорьте сайт — и бюджет перераспределится на нужное. Отдельно проверьте, нет ли ручных санкций в разделе «Меры, принятые вручную».
Таблица: причина → как проверить → как исправить
| Причина | Как проверить | Как исправить |
| robots.txt | Открыть /robots.txt; тест в Search Console | Убрать лишние Disallow |
| noindex / X-Robots-Tag | Исходный код + ответ сервера | Снять тег/заголовок в CMS |
| Неверный canonical | Проверка URL в GSC | Каноникл на себя |
| Дубли | site: и отчёт индексации | 301-редирект, уникализация |
| Тонкий контент | Статус «Обнаружено/Просканировано» | Усилить или объединить |
| Нет ссылок | Внутренние ссылки + sitemap | Перелинковка, карта сайта |
| Скорость/JS/5xx | PageSpeed, код ответа | Ускорить, чинить сервер |
| Краул. бюджет | Отчёт «Статистика сканирования» | Убрать мусорные URL |
Проверка по Google Search Console: пошагово
Search Console — бесплатный и главный инструмент диагностики. Если он ещё не подключён, начните со статьи о настройке Google Search Console.
- Шаг 1. Проверка URL. Вставьте адрес страницы в верхнюю строку GSC. Ответ «URL нет в Google» + причина покажет, где именно затык (robots, noindex, canonical, дубль).
- Шаг 2. Отчёт «Индексирование страниц». Смотрите список причин, по которым страницы не проиндексированы, и сколько URL в каждой группе — так видно системную проблему.
- Шаг 3. Sitemap. Убедитесь, что карта сайта отправлена и обработана без ошибок, а нужные URL в неё попали.
- Шаг 4. Запрос индексации. Устранив причину, нажмите «Запросить индексирование» — это ускорит переобход. Массово вопрос решается через исправление первопричины, а не ручными запросами.
Ссылки выпадают из индекса — что это значит
Отдельный сценарий — когда страницы или обратные ссылки то попадают в индекс, то исчезают. Обычно это симптом слабого краулингового бюджета, некачественных доноров или нестабильной технички. Для внешних ссылок важно не только разместить их, но и добиться устойчивой индексации — иначе они не передают вес. Работать нужно и с площадками-донорами, и с ускорением их обхода.
Когда стоит заказать аудит
Если после чек-листа страницы всё равно не входят в индекс, проблема обычно глубже — в архитектуре сайта, дублях или распределении краулингового бюджета. В таких случаях быстрее и дешевле провести технический SEO-аудит: он показывает все барьеры индексации разом и даёт готовый план исправлений с приоритетами.
Не хотите разбираться вручную — оставьте заявку, и мы проведём диагностику индексации, найдём причину и составим план: заказать SEO-аудит.