Коротко: прогоните фиксированный набор из десяти-двадцати пяти запросов через ChatGPT, Gemini и Perplexity в чистой сессии и записывайте по каждому пять вещей: назвали ли вас, что утверждали, верно ли это, на какие источники сослались и дату. Повторяйте тот же набор раз в месяц. Один прогон не говорит ничего, потому что ответы различаются от запуска к запуску — ценность в сравнении во времени. И до того как что-то исправлять, установите, пришла ошибка из найденной страницы или из самой модели: исправить можно только первое.
Большинство компаний узнаёт, что о них говорят ассистенты, случайно: клиент упомянул в разговоре или кто-то из любопытства ввёл название. К этому моменту ответ формировал решения покупателей уже несколько месяцев.
Альтернатива несложная, но требует системы. Ниже метод: что спрашивать, что записывать и как читать полученное.
Почему один прогон ничего не говорит о вашей видимости в ИИ
Первое, что нужно понять: ответы ассистентов нестабильны. Задайте один и тот же вопрос дважды — можете получить разные компании, разные описания и разные источники. Смените сессию, аккаунт или чуть измените формулировку — разброс вырастет.
Отсюда два следствия для аудита.
Первое: единичный прогон — это впечатление, а не измерение. Если вас назвали один раз, это доказывает, что так бывает, а не что так обычно. Если не назвали, не доказывает вообще ничего.
Второе: единицей измерения должен быть набор, а не запрос. Прогнали двадцать запросов, попали в шесть ответов — вот число, которое можно сравнить со следующим месяцем. Один запрос не даёт материала для сравнения.
Как составить набор запросов для аудита ИИ-ответов
Набор — это и есть весь метод. Составьте его один раз тщательно и дальше не меняйте: правки между прогонами уничтожают сравнимость.
Рабочий объём — от десяти до двадцати пяти запросов четырёх типов.
Брендовые. Название компании напрямую: чем занимается, сколько стоит, кто руководит, где работает. Быстрее всего вскрывают фактические ошибки, и именно их прогоняют клиенты перед разговором.
Категорийные. Услуга без вашего названия: кто делает такое-то для таких-то там-то. Здесь видно, попадаете ли вы в рассмотрение вообще и кто ещё попадает.
Сравнительные. Ваша компания против названного конкурента или «альтернативы такому-то». Неприятно и информативнее всего.
Проблемные. Ситуация, которую описывает покупатель до того, как понял, какая услуга ему нужна, — с ограничениями, отраслью и городом, как написал бы живой человек.
Формулируйте так, как люди пишут, а не как строят поисковые запросы. «У нас стоматология в Варшаве, сайт не приносит заявок, к кому обратиться» — это запрос к ассистенту. «разработка сайта стоматология» — это поисковая строка, и ассистенты ведут себя с ними по-разному.
Что фиксировать по каждому запросу при аудите ИИ-ответов
Последовательность важнее объёма. По каждому запросу записывайте:
- Ассистент и дата — Ответы различаются по платформам и меняются со временем
- Назвали или нет — Основная метрика всего аудита
- Что утверждали о вас — Здесь вскрываются фактические ошибки
- Верно / устарело / неверно — Ошибки сортируются по тяжести, а не по порядку обнаружения
- Кого назвали кроме вас — Ваш реальный конкурентный круг в ИИ-ответах, часто не тот, который вы предполагали
- Указанные источники — Отправная точка любого исправления
- Скриншот — Ответы меняются; без снимка вы не докажете, что было сказано
Таблицы достаточно. Инструмент здесь значит гораздо меньше, чем регулярность.
Как проверять ChatGPT, Gemini и Perplexity по отдельности
Работайте в чистой сессии. Выйдите из аккаунта или используйте приватное окно. Аккаунт с историей помнит ваши прошлые разговоры, и ассистент, уже обсуждавший с вами вашу компанию, назовёт её гораздо охотнее, чем назвал бы незнакомцу.
Прогоняйте каждую платформу отдельно. ChatGPT, Gemini, Perplexity и ИИ-ответы Google опираются на разные источники. Присутствие в одном ничего не говорит об остальных, и одна и та же ошибка может быть в одном и отсутствовать в другом.
Отмечайте, использовался ли поиск. ChatGPT, отвечающий из обучающих данных, и ChatGPT, ответивший после поиска, — фактически две разные системы с разными типами сбоев. Есть ссылки в ответе — был поиск. Нет — вы смотрите на память модели.
Проверяйте на нескольких языках. Для бизнеса, работающего на несколько стран, это отдельный слой: ассистент отвечает на языке вопроса и опирается на источники этого языка. Компания может быть корректно описана по-английски и неверно по-русски, потому что русскоязычных источников о ней почти нет.
Идите по ссылкам. Gemini и Perplexity показывают источники, и тогда трассировка простая — откройте процитированное, и неверное утверждение обычно лежит там открытым текстом. ChatGPT часто источников не даёт; тогда ищите само неверное утверждение и смотрите, какая страница по нему ранжируется.
Ошибка поиска или ошибка модели: как их различить
Это различие определяет, возможно ли исправление вообще, и его почти везде пропускают.
Ошибка поиска возникает, когда ассистент искал, нашёл страницу с неверными данными и повторил их. Неверное утверждение существует где-то публично: устаревший профиль, старый пресс-релиз, сравнительная страница конкурента, каталог, который никто не обновлял три года. Это исправимо, потому что исправим источник.
Ошибка модели возникает, когда ассистент говорит из собственной памяти, без источника. Компанию так описывали в данных, на которых модель училась, и она это повторяет. На правки источников такие ошибки в ближайшее время не отзываются — они держатся до переобучения либо пока ответы с поиском не начнут их перекрывать.
Как отличить: задайте один и тот же вопрос с включённым и выключенным поиском там, где платформа это позволяет. Если с поиском ответ меняется, верные данные достижимы, и проблема в том, что ваши источники недостаточно весомы. Если неверное утверждение появляется в обоих случаях, оно в модели.
Практический вывод неприятный, но знать его лучше сразу: часть того, что ассистенты говорят о вас, в этом квартале исправить нельзя, и усилия туда потрачены зря. Что можно — сделать верные факты настолько последовательно присутствующими в достижимых источниках, чтобы ответы с поиском оставались верными, пока память модели отстаёт.
Как читать результаты аудита ИИ-ответов
Три вопроса по порядку.
Называют ли вас вообще? Если вы появились в двух ответах из двадцати, проблема в видимости, а не в достоверности, и работа здесь другая — она описана в статье о попадании в рекомендации ассистентов.
Когда называют, описание верное? Не та специализация, устаревшие услуги, не та география, цена двухлетней давности. Сортируйте по последствиям: сначала то, что влияет на решение о покупке, — цена, возможности, работаете ли вы с их отраслью или страной. Косметическая неточность подождёт.
Какие источники повторяются? Если в большинстве ответов цитируются одни и те же три страницы, они и есть ваша доказательная база — независимо от того, контролируете вы их или нет. Именно оттуда начинается исправление, и это часто не ваш сайт.
Как часто повторять аудит ИИ-ответов и каких изменений ждать
Раз в месяц — верная периодичность для большинства. Еженедельно даёт шум: естественный разброс между прогонами перекроет любое реальное изменение. Раз в квартал слишком медленно, чтобы поймать ошибку, пока она ещё важна.
Прогоняйте идентичный набор в тех же условиях и сравнивайте количество ответов с вашим упоминанием и список сохранившихся ошибок. Исправления не появляются сразу: изменённые источники должны быть переобойдены, и задержка сильно различается по платформам — системы с поиском отражают правки за недели, а то, что сидит в памяти модели, может не измениться до переобучения.
Ожидания стройте соответственно. Это медленное измерение, и ценность в тренде за несколько месяцев, а не в результате одного.
Как я провожу аудит ИИ-ответов о компании
Что входит: составление набора запросов под ваш рынок и ваших покупателей, базовый прогон по платформам и языкам, трассировка каждой ошибки до источника, разделение исправимого и неисправимого, настройка измерения, чтобы вы видели динамику, а не догадывались.
Границы назову прямо: гарантировать, что скажет ассистент, невозможно, и часть ошибок не сдвинется до переобучения модели. Что можно — установить, что говорят на самом деле, исправить исправимое и понимать, где что.
С чего начать проверку того, что ИИ говорит о вашей компании
Если сводить к одному принципу: составьте набор один раз, прогоняйте в чистой сессии, записывайте одни и те же поля и сравнивайте месяц к месяцу.
Практический шаг на сегодня: напишите десять запросов, которые реально ввёл бы ваш покупатель, — три брендовых, три категорийных, два сравнительных, два проблемных. Прогоните их через ChatGPT и Perplexity в приватном окне и запишите ответы. Этот час даёт точку отсчёта, и всё дальнейшее меряется от неё.
Если хотите узнать, что ассистенты сейчас говорят вашим покупателям, — напишите мне, проведём аудит вместе.
