Короткий ответ: Google полностью игнорирует changefreq и priority, а lastmod учитывает только тогда, когда поле последовательно достоверно. Карта сайта без lastmod не даёт Google повода к ней возвращаться — файл перечитывается всё реже, и в итоге любой адрес, добавленный после последнего чтения, остаётся необнаруженным. Посмотрите дату последнего чтения в отчёте по картам сайта: если ей несколько месяцев, а вы всё это время публиковали, вот ваша проблема. Исправление переводит страницы из невидимых в обнаруженные. Ранжироваться они от этого не начинают.
В техническом SEO есть отказ, который нигде не сообщает об ошибке. Карта сайта проходит валидацию. Search Console показывает её как успешно обработанную. Страницы существуют, открываются и отдают код 200. И большинства из них Google никогда не видел.
415 адресов в карте сайта, 27 обнаруженных страниц в Search Console
На одном сайте в карте было 415 адресов. Отчёт по картам сайта в Search Console показывал файл как прочитанный успешно: без ошибок, без предупреждений. Число напротив «обнаруженные страницы» (Discovered pages) равнялось 27.
Не 27 проиндексированных — 27 обнаруженных. Остальные 388 адресов Google ни разу не запрашивал, чтобы вынести о них хоть какое-то суждение. Их не отклонили, не сочли неважными, они не проиграли конкурентам. Они были неизвестны.
Дата напротив «последнее чтение» (Last read) была почти годичной давности. Всё опубликованное после этой даты в очередь Google не попадало, а файл, который должен был об этом сообщать, не открывался.
Что делает lastmod в карте сайта и почему changefreq и priority не дают ничего
Протокол карт сайта определяет три необязательных элемента для каждого адреса: lastmod, changefreq и priority. Их реальный статус неодинаков, и именно здесь ошибается большинство генераторов.
Документация Google прямо говорит, что значения <priority> и <changefreq> игнорируются. Оба, и уже давно. Генератор, который аккуратно вычисляет changefreq: weekly и priority: 0.8 для каждого адреса, производит украшение.
С lastmod иначе: Google его использует, но с условием. В документации сказано, что значение учитывается, только если оно «последовательно и проверяемо достоверно» — проверяемо, например, сличением с тем, когда страница действительно менялась. Оно должно отражать последнее существенное изменение: основного содержимого, структурированных данных, ссылок. Подвинуть дату из-за правки года в подвале — несущественно, а сайт, который двигает её от любой мелочи, приучает Google этому полю не верить.
Так что подводят оба края. Карта сайта совсем без lastmod не даёт Google ничего, с чем работать. Карта, где каждый адрес заявляет, что изменился сегодня, даёт Google повод перестать этому полю верить.
Почему Google перестаёт перечитывать карту сайта без lastmod
Бюджет обхода конечен, и повторное чтение карты сайта чего-то стоит. Если файл никогда не несёт сигнала, что внутри что-то изменилось, разумное поведение — заглядывать в него всё реже.
Для статичного сайта это неважно. Для сайта, который публикует, это тихая катастрофа: каждый новый адрес объявляется в файле, который никто не открывает. Страницы не закрыты, на них нет noindex, они не осиротевшие ни в одном смысле, который поймал бы краулерный аудит. Их просто никогда не упоминают Google так, чтобы это побудило зайти.
И ничто в Search Console не помечает это как проблему, потому что с точки зрения карты сайта всё в порядке. Отчёт говорит «Успешно». Он же говорит, что файл прочитан одиннадцать месяцев назад, но эту строку почти никто не читает.
Как проверить lastmod в карте сайта через Search Console за пять минут
Три проверки, по порядку.
Откройте отчёт по картам сайта в Search Console и посмотрите на дату последнего чтения, а не на статус. Сравните её с тем, когда вы последний раз что-то публиковали. Разрыв в несколько месяцев на сайте, который публикует регулярно, — это и есть находка.
Сравните число обнаруженных страниц с числом адресов в самом файле карты. Если карта перечисляет 400 адресов, а Search Console обнаружила 30, это не проблема ранжирования, и никакой объём работы над контентом её не закроет.
Откройте файл карты в браузере и посмотрите на одну запись. Если строки <lastmod> там нет — причина найдена. Если она есть, но у всех адресов одинаковая метка времени, найдена другая разновидность той же проблемы.
Как исправить карту сайта без lastmod
Правка небольшая и живёт в том, что генерирует карту.
Отдавайте настоящий lastmod для каждого адреса, взятый из момента, когда содержимое этой страницы действительно изменилось: в headless CMS это метка обновления самого документа, на файловом сайте — время изменения файла. Значение должно быть своим у каждого адреса. Одна метка времени, скопированная в 400 записей, — это и есть отказ «всё изменилось сегодня».
Уберите changefreq и priority. Они не делают ничего, а их удаление сразу показывает следующему человеку, что карта не опирается на украшения.
Проверьте, что с этим файлом делает ваш CDN. Карта сайта, которую отдают из кеша с длинным TTL, успевает протухнуть на границе сети, пока origin выдаёт правильные даты. Короткий s-maxage со stale-while-revalidate держит её и дешёвой, и свежей.
Потом отправьте карту заново в Search Console. Одна только переотправка не даёт ничего, если файл не изменился: работает сочетание файла, который теперь несёт сигналы изменений, и просьбы перечитать его.
Что изменило исправление lastmod: обнаруженные страницы выросли с 27 до 415
На описанном сайте карту передеплоили с lastmod для каждого адреса, вычисленным из реального времени обновления документа, и отправили заново. Обнаруженные страницы выросли с 27 до 415 — то есть до всей карты целиком.
И это честный предел изменения, причём различие тут весит больше самого числа. Обнаружение — это согласие Google посмотреть. Индексация — решение, что страницу стоит хранить, а ранжирование — ещё отдельный вопрос. Страница, перешедшая из «неизвестной» в «обнаруженную», стала пригодной к оценке; хорошей оценки она не получила.
На практике часть этих страниц просканируют и отклонят — статус «просканировано, но не проиндексировано» (Crawled – currently not indexed), — и к карте сайта это уже отношения не имеет. Решает то, заслуживает ли страница места: ссылается ли на неё хоть что-нибудь, говорит ли она то, чего в индексе ещё нет, достаточно ли у сайта веса, чтобы ему прощали тонкие страницы.
Проблемы, которых исправление карты сайта не решает
Оно не починит страницу, на которую никто не ссылается. Не починит страницу, дублирующую другую страницу того же сайта. Не починит сайт без внешних упоминаний, а это и есть ограничение, лежащее под проблемами с индексацией у большинства небольших сайтов, — единственное, до которого не дотягивается никакая техническая правка.
Зато оно чинит отказ конкретный, невидимый и полностью механический: страницы, которые никогда не были в игре, потому что объявлявший их файл перестали читать. Десяти минут на проверку это стоит: в отличие от большей части работы в SEO, результат здесь двоичный и немедленный — либо у Google есть ваши адреса, либо нет, и отчёт по картам сайта скажет об этом за несколько дней.
Если число обнаруженных страниц заметно меньше числа отправленных адресов, начните с этого, прежде чем писать что-то новое. Нет смысла дополнять список, который никто не открывает.
