Почему AI-поиск цитирует одни местные компании и игнорирует другие: разметка, llms.txt и доступ краулеров

В этом году владельцы задают нам новый вопрос. Кто-то спросил у ChatGPT «хороший электрик в Таллине», получил три названия, и их фирмы среди них не было. Почему?

Как ассистент выбирает эти три названия, снаружи OpenAI, Anthropic или Google не видит никто. Кто утверждает обратное, тот что-то продаёт. Измерить можно шаг перед этим: разрешено ли машинам вообще читать ваш сайт и говорит ли прочитанное прямо, кто вы, где работаете и как с вами связаться.

Это мы и измерили. 18 октября 2026 года мы взяли топ-10 Google по 20 запросам на услуги в Таллине, от «elektrik tallinn» и «lukksepp tallinn» до «hambaarst tallinn» и «rehvivahetus tallinn». Каталоги, соцсети и доски объявлений убрали, осталось 105 независимых сайтов компаний, и 100 из них, которые ответили, мы просканировали.

Что говорят сами AI-компании

Сначала правила, потом цифры. Правила опубликованы, и они конкретнее большинства советов, которые ходят по рынку.

У OpenAI несколько разных краулеров. OAI-SearchBot работает на поиск ChatGPT, и OpenAI прямо пишет: сайт, который его заблокировал, не будет показан в ответах поиска ChatGPT. GPTBot собирает данные для обучения, и его блокировка это отдельное решение. В документации OpenAI сказано, что каждая настройка не зависит от остальных.

Anthropic делит так же. ClaudeBot для обучения. Claude-SearchBot индексирует страницы для поиска, и Anthropic предупреждает, что его блокировка может снизить видимость и точность сайта в поисковых ответах. Claude-User загружает страницу, когда человек спрашивает о ней Claude.

Google высказывается прямее всех. На его странице про AI Overviews и AI Mode написано, что дополнительных требований для показа там нет, специальная разметка schema.org не нужна и новые AI-файлы создавать не надо. Зато структурированные данные должны совпадать с тем, что видно на странице.

В руках у компании остаются три вещи: пускает ли сайт краулеры, излагает ли он свои факты так, чтобы машина не могла их понять неправильно, и есть ли эти факты на странице вообще.

Семь сайтов прогоняют поисковых ботов и не знают об этом

Все 96 файлов robots.txt, которые удалось прочитать, разрешали AI-краулеры. На бумаге никто ничего не блокирует.

Сервер рассказал другое. Семь сайтов отвечали 403 Forbidden ботам GPTBot, ClaudeBot, Claude-SearchBot и CCBot, а OAI-SearchBot, PerplexityBot, ChatGPT-User и Claude-User получали обычную страницу. Все семь стояли на одном эстонском виртуальном хостинге. Восьмой сайт на том же самом сервере пропускал всех ботов, значит, это фильтр, который включается на уровне хостинг-аккаунта, а не то, что владелец сам записал в robots.txt.

Для поиска ChatGPT эти сайты в порядке: OAI-SearchBot проходит. Для поискового индекса Claude они закрыты, и по словам самой Anthropic это может стоить видимости. Ни в robots.txt, ни в Search Console, ни в админке сайта этого не видно. Увидеть можно только одним способом: запросить страницу от имени бота.

Один из семи сайтов отказывал и запросам, которые представлялись как Googlebot, AdsBot-Google и Bingbot. Наши запросы шли не с адресов Google или Microsoft, а некоторые файрволы намеренно режут поддельных поисковых ботов, поэтому само по себе это не доказывает, что Google заблокирован. Но именно такое стоит проверить через «Проверку URL» в Search Console, пока не пропал месяц трафика.

Структурированные данные есть у восьмидесяти сайтов. Двадцать пять говорят, что это за компания.

Структурированные данные это способ изложить факты так, чтобы программе не пришлось их толковать: это компания, это её адрес, это часы работы. Google не требует их для AI-функций, и никто не может обещать, что ассистент их прочитает. И всё же это самый однозначный способ сказать, кто вы.

На восьмидесяти главных страницах из ста был какой-то JSON-LD. Чаще всего это был стандартный вывод SEO-плагина: WebSite на 69 сайтах, поиск по сайту на 60, общий Organization на 56. Только 25 сайтов описывали себя как LocalBusiness или один из его подтипов. Сорок три остановились на Organization, который говорит «компания существует», но не говорит, где она работает и когда открыта.

Поле внутри 25 блоков LocalBusiness	Сайтов
Телефон	25
Адрес	24
Часы работы	20
Ссылки на другие профили (sameAs)	16
Диапазон цен	15
Зона обслуживания	14
Координаты на карте	12

Те, кто вообще взялся описывать местную компанию, в основном сделали это нормально. Разрыв между этими 25 и остальными 75. Если ассистенту нужно решить, сантехник ли вы, который работает в Ласнамяэ и по субботам, страница, где это сказано прямо, и в видимом тексте, и в совпадающей с ним разметке, оставляет меньше места для ошибки.

llms.txt: пятнадцать настоящих файлов, десять фальшивых

llms.txt это предложение 2024 года: Markdown-файл в корне сайта, где языковым моделям дают краткое описание и список страниц, которые стоит прочитать. Это не стандарт, и Google прямо говорит, что для его AI-функций файл не нужен.

У пятнадцати сайтов из ста он был. Интереснее другая цифра, десять: десять сайтов отвечали на адрес /llms.txt обычной HTML-страницей с кодом 200. CMS отдаёт главную или шаблон «страница не найдена», но без кода 404. Файл, которого нет, для любого краулера выглядит как страница, которая есть.

Это проблема гигиены сама по себе, и к AI она отношения не имеет. Сайт, который отвечает кодом 200 на несуществующие адреса, делает то же самое с каждой битой ссылкой и каждым старым URL.

Фактов, которые нужны ассистенту, часто нет на странице

Когда вы просите знакомого посоветовать слесаря, вы хотите знать три вещи: делает ли фирма эту работу, приезжает ли в ваш район, как с ней связаться. Часто и четвёртую: сколько примерно это стоит.

На 39 главных страницах из ста не было ссылки на телефон, по которой с мобильного сразу начинается звонок. На 26 не было ни ссылки на телефон, ни ссылки на почту. На 69 в видимом тексте не нашлось ни одной суммы в евро. Что отвечают ассистенты, мы не измеряли, но арифметика простая: цену, которая нигде не опубликована, невозможно процитировать.

Что бы мы исправили и в каком порядке

1. Запросите свою главную от имени OAI-SearchBot, Claude-SearchBot и Googlebot и проверьте, что каждый получает 200. Десять минут, и это единственный пункт здесь, который может тихо выкинуть вас из индекса.
2. Вынесите простые факты в видимый текст: услуги, районы или города, где вы работаете, телефон, часы работы и хотя бы цену «от».
3. Опишите компанию самым точным подходящим подтипом LocalBusiness, с тем же названием, адресом, телефоном и часами, что и на странице.
4. Свяжите разметку через sameAs с профилем компании в Google и другими настоящими профилями, чтобы всё читалось как одна компания.
5. llms.txt добавьте последним и проверьте, что несуществующие адреса отдают настоящий 404.

Пошаговая версия с шаблонами для копирования и командами для проверки лежит в нашем плейбуке по разметке, llms.txt и проверке AI-краулеров.

Как мы считали

Выдача взята из Google Эстония, эстонский язык, десктоп, топ-10, собрана 18 октября 2026 года. Каждую главную мы загрузили один раз с обычным браузерным user agent и по одному разу от имени каждого краулера. Ботов проверяли по строке user agent с нашего сервера. Ответы об ограничении частоты (429) блокировкой не считались, только 403. Что отвечают ассистенты, мы не проверяли, и статья не утверждает, что разметка или llms.txt заставят ассистента вас процитировать. Она показывает, что машины могут прочитать, а что нет.

Частые вопросы

Заставит ли структурированная разметка ChatGPT рекомендовать мою компанию?

Этого никто не может обещать, и Google говорит, что его AI-функциям специальная разметка не нужна. Структурированные данные убирают неясность в том, кто вы, где работаете и как с вами связаться. Они помогают, только если те же факты видны на странице.

Стоит ли блокировать GPTBot и ClaudeBot?

Это решение про данные для обучения, и принимать его вам. Блокировка GPTBot не убирает вас из поиска ChatGPT, там работает OAI-SearchBot. С Claude-SearchBot иначе: Anthropic пишет, что его блокировка может снизить вашу видимость в поисковых ответах Claude.

Нужен ли мне файл llms.txt?

Он необязателен. llms.txt это предложение, а не стандарт, и Google не использует его для AI Overviews. Добавить его дёшево, но место ему в конце списка, после доступа краулеров и правильных данных о компании.

Как узнать, блокирует ли мой хостинг AI-краулеры?

Запросите главную страницу с user agent краулера и посмотрите на код ответа. Если Claude-SearchBot или OAI-SearchBot получает 403, а обычный посетитель 200, сервер их фильтрует, даже когда robots.txt разрешает всё.