Как Google обрабатывает noindex в robots теге

Google подтвердил наблюдения, о которых я писал ранее.

Источник - https://www.searchenginejournal.com/google-noindex-meta-tag-proper-use/385538/

Один из веб-мастеров обратился к Джону Мюллеру с таким вопросом. В своем интернет-магазине он ставил директиву noindex в мета-теге robots для товаров, которых нет на складе. А когда они появлялись в наличии он менял значение тега обратно, на index. Но товары уже не появлялись в выдаче, Google их даже не сканировал.

Мюллер объяснил, что если на странице долго стоит noindex, то бот Google обрабатывает такую страницу по логике похожей на обработку 404 страницы - начинает её гораздо реже сканировать.

Но то, что Мюллер называет "гораздо реже", у меня выливалось в никогда. Например, у нас в Sitechecker внедрена мультиязычность, и создание любой новой страницы сопровождается созданием аналогичных страниц на других языках.

Как правило, контент не готов сразу для всех языков, а дописывается постепенно. Чтобы не дать попасть в выдачу мусорным страницам без контента приходилось ставить их в noindex.

Но это приводило к тому, что описано выше - Google не сканировал такие страницы, даже если добавляли их через Inspect URL в Search Console. Единственное, что спасало - изменение URL страницы. Для бота Google это уже новый адрес, без негативноо шлейфа из прошлого.

Итого, если вы знаете, что страница в будущем точно должна индексироватся, не ставьте ей noindex. Найдите другие способы не дасть попасть ей в выдачу: уберите внутренние ссылки на нее и удалите из sitemap.xml.

Если же она уже попала в индекс, добавьте на нее пока контент, который требует минимум усилиий.