Поисковый индекс
Поисковый индекс – это база данных поисковой системы, в которой хранятся найденные и обработанные страницы сайтов. Когда человек вводит запрос, поисковик за доли секунды ищет ответ не по всему интернету, а по своему индексу.
Отсюда простое правило: страницы нет в индексе, значит, её нет в поиске. Неважно, насколько хорош текст и сколько на неё ссылок. Поэтому любая работа по SEO начинается с вопроса, какие страницы сайта поисковик вообще знает.
Обратный индекс: что в нём хранится и почему это ещё не топ
Ближайшая аналогия: предметный указатель в конце книги. Там у каждого слова стоят номера страниц, где оно встречается. Поисковый индекс устроен похоже, его называют обратным: для каждого слова хранится список документов, где это слово есть, и места, где оно стоит.
| Слово | Где встречается (пример) |
|---|---|
| смеситель | /catalog/smesiteli/, /catalog/smesiteli/grohe-eurosmart/, /blog/kak-vybrat-smesitel/ |
| термостат | /catalog/smesiteli/termostaticheskie/, /blog/kak-vybrat-smesitel/ |
| доставка | /dostavka/, /catalog/smesiteli/grohe-eurosmart/ |
По запросу «термостатический смеситель» система берёт списки для обоих слов, находит общие документы и отдаёт их алгоритму ранжирования. Кроме слов в индексе хранятся заголовки, ссылки, микроразметка, картинки, дата последнего обхода и копия страницы.
Индекс только допускает страницу к ранжированию. По популярному запросу в нём могут лежать сотни тысяч подходящих документов, а на первой странице выдачи их десять. Место определяет уже ранжирование: релевантность, поведение пользователей, ссылки, коммерческие факторы. Поэтому на вопрос «почему нас нет в поиске» сначала отвечает Вебмастер: есть ли страница в индексе. Позиции разбирают потом.
Как страница попадает в индекс
На схеме всё выглядит просто. Робот узнаёт об адресе из ссылки или sitemap.xml, скачивает страницу, обрабатывает её и решает, включать ли её в поиск. Подробно процесс разобран в статье Индексация сайта.
Последний шаг важнее, чем кажется. Робот может скачать страницу и не включить её. В Яндекс Вебмастере у таких адресов статус «Малоценная или маловостребованная», в Search Console «Страница просканирована, но пока не проиндексирована». Яндекс отдельно пишет, что такой статус не означает нарушений и решение алгоритма может измениться.
Как проверить индекс и найти причину исключения
| Задача | Яндекс | |
|---|---|---|
| Одна страница | Вебмастер, «Проверить статус URL» | Search Console, «Проверка URL» |
| Все страницы сайта | Вебмастер, «Страницы в поиске» | отчёт «Индексирование страниц» |
| Причины исключения | список исключённых страниц со статусами | список причин в том же отчёте |
Оператор site: в поисковой строке даёт только примерное число и годится для быстрой оценки чужого сайта. Для своего сайта смотрите в Вебмастер и Search Console, там данные точнее и видны причины.
Индексы Яндекса и Google независимы. Страница может быть в одном и отсутствовать в другом. Google к тому же индексирует сайты по мобильной версии, поэтому текст, скрытый в мобильной вёрстке, он может не учесть.
Чаще всего причина техническая: страница закрыта через noindex или robots.txt, отдаёт 404 или редирект, атрибут canonical указывает на другой адрес. Если всё в порядке, а страницы нет, ищите дубли и пустые шаблонные страницы, которые поисковик считает малоценными. И помните, что запрет в robots.txt из индекса не убирает: робот перестаёт скачивать страницу и поэтому не видит на ней noindex.
Сколько страниц должно быть в индексе
Столько, сколько на сайте полезных страниц для поиска. Допустим, в каталоге 1 200 категорий и товаров, а в индексе Яндекса 4 800 адресов. Значит, туда попали фильтры, сортировки, страницы печати и прочий мусор. Такое раздувание называют index bloat, и оно отнимает обход у нужных страниц. Обратная ситуация, 300 адресов в индексе из тех же 1 200, говорит о проблемах с обходом или качеством.
Порядок в индексе окупается. В проекте Aitech SEO-работы начинались с технической оптимизации: исправили все ошибки индексации, ускорили загрузку посадочных страниц, добавили микроразметку. Вместе с переработкой мета-тегов и карточками в справочниках это дало 125% увеличение заказов из органической выдачи за 3 месяца.
Яндекс и Google, документы и удаление из индекса
Чем поисковый индекс отличается от индексации?
Индекс – сама база, а индексация – процесс, который её пополняет: робот находит адрес, скачивает и обрабатывает страницу, а поисковик решает, брать ли её. Процесс может пройти до конца, но в базу страница не попадёт, если её сочтут малоценной.
Почему страница есть в Google, но нет в Яндексе?
Базы у поисковиков свои, и о каждой странице каждый решает сам. Проверьте адрес в Вебмастере через проверку статуса URL: Яндекс назовёт причину, чаще всего это дубль, малоценная страница или ошибка ответа при последнем обходе.
Почему Google не учитывает текст, который виден только на компьютере?
Google строит индекс по мобильной версии: робот заходит на сайт как смартфон. Если в мобильной вёрстке часть текста, отзывы или таблица характеристик убраны, для Google их нет. Проследите, чтобы телефон получал то же содержимое, что и компьютер, пусть даже в свёрнутых блоках.
Какие файлы кроме HTML-страниц попадают в индекс?
Документы: PDF, файлы Word и Excel, презентации. Их индексируют и Яндекс, и Google, так что прайс в PDF может сам выйти в выдачу. Картинки уходят в отдельный индекс поиска по изображениям. Если документ находиться не должен, отдавайте для него HTTP-заголовок X-Robots-Tag со значением noindex.
Чем поисковый индекс отличается от каталога сайтов?
Каталог собирают люди: сайт добавляют в рубрику с описанием, часто после проверки модератором. Индекс заполняет робот, без заявок, и хранит не сайт целиком, а каждую страницу и слова на ней. Поэтому ответы на запросы ищут в индексе, а каталог даёт разве что ссылку и переходы из своей рубрики.
Как срочно убрать из поиска страницу с личными данными?
Сначала уберите саму проблему: удалите страницу, чтобы она отвечала 404 или 410, либо закройте её мета-тегом noindex, оставив открытой для обхода. Потом отправьте адрес в инструмент удаления страниц Яндекс Вебмастера, а в Search Console запросите временное удаление: Google скроет страницу примерно на полгода, за это время робот увидит изменения.
Почему удалённые с сайта страницы до сих пор находятся в поиске?
Робот ещё не вернулся к ним или вернулся и получил ответ 200. Проверьте код: удалённая страница должна отдавать 404 или 410, а не главную с кодом 200 и не редирект на неё. Если ответ правильный, отправьте адреса на переобход в Вебмастере и дождитесь обновления поисковой базы.
Индекс сайта проверяем на техническом аудите и держим под контролем при SEO-продвижении.
Справки Вебмастера и Search Console, кейс Aitech
- Справка Яндекс Вебмастера: почему страницы исключены из поиска
- Справка Яндекс Вебмастера: малоценные или маловостребованные страницы
- Справка Search Console: отчёт «Индексирование страниц» и инструмент проверки URL
- Кейс E.BAEV: Aitech
См. также: Индексация сайта, Sitemap.xml, Краулинговый бюджет, IndexNow, Лог-анализ.
Остались вопросы по теме «Поисковый индекс»?
Напишите нам в Telegram или MAX. Ответит специалист, который отвечает за эту тему, или руководитель проектов в рабочее время.
Отвечает по темеСергей ПимкинВедущий SEO-специалистНад статьёй работали
Услуги по теме
Тарифы по теме
Стартовый тариф для небольшого бизнеса: наводим порядок на сайте и получаем первые заявки из Яндекса и Google.
- Техническая оптимизация сайта
- Контентная оптимизация
- Семантическое ядро под город или регион
- Настройка Яндекс Вебмастера и Google Search Console
- Цели в Яндекс Метрике
- Ежемесячный отчёт по позициям, трафику и заявкам
- Оптимизация поведенческих факторов
- Оптимизация коммерческих факторов и E-A-T
Тариф для растущего бизнеса. Работаем на количество заявок: считаем звонки через коллтрекинг и дорабатываем сайт под конверсию.
- Техническая оптимизация сайта
- Контентная оптимизация
- Семантическое ядро под город или регион
- Настройка Яндекс Вебмастера и Google Search Console
- Цели в Яндекс Метрике
- Ежемесячный отчёт по позициям, трафику и заявкам
- Оптимизация поведенческих факторов
- Оптимизация коммерческих факторов и E-A-T
Для масштабирования бизнеса: SEO, A/B-тесты, карточки в Яндекс.Бизнесе и 2ГИС, техподдержка сайта. Нейросети берут на себя рутину, итог проверяют специалисты.
- Техническая оптимизация сайта
- Контентная оптимизация
- Семантическое ядро под город или регион
- Настройка Яндекс Вебмастера и Google Search Console
- Цели в Яндекс Метрике
- Ежемесячный отчёт по позициям, трафику и заявкам
- Оптимизация поведенческих факторов
- Оптимизация коммерческих факторов и E-A-T
Читайте также
Проверим ваш сайт бесплатно
Экспресс-аудит за 24 часа: скорость, индексация, мета-теги, коммерческие факторы и цели Метрики.