Miks AI-otsing tsiteerib ühtesid kohalikke ettevõtteid ja eirab teisi: schema, llms.txt ja roomajate ligipääs

Sel aastal küsivad omanikud meilt uut asja. Keegi kirjutas ChatGPT-sse „hea elektrik Tallinnas", sai vastuseks kolm nime ja nende firmat nende seas polnud. Miks?

Kuidas assistent need kolm nime valib, ei näe keegi väljaspool OpenAI-d, Anthropicut või Google'it. Kes väidab vastupidist, see müüb midagi. Mõõta saab sellele eelnevat sammu: kas masinatel on üldse lubatud sinu saiti lugeda ja kas loetu ütleb selgelt, kes sa oled, kus töötad ja kuidas sinuga ühendust võtta.

Seda me mõõtsimegi. 18. oktoobril 2026 võtsime Google'i top 10 tulemused 20 Tallinna teenusepäringu kohta, alates „elektrik tallinn" ja „lukksepp tallinn" kuni „hambaarst tallinn" ja „rehvivahetus tallinn". Kataloogid, sotsiaalvõrgustikud ja kuulutusportaalid jätsime välja, alles jäi 105 iseseisvat ettevõtte saiti ja neist 100, mis vastasid, skaneerisime läbi.

Mida tehisaru-ettevõtted ise ütlevad

Enne numbreid reeglid. Need on avalikud ja palju täpsemad kui enamik ringlevaid nõuandeid.

OpenAI kasutab eraldi roomajaid. OAI-SearchBot on ChatGPT otsingu jaoks ja OpenAI kirjutab, et sait, mis selle blokeerib, ChatGPT otsinguvastustes ei kuvata. GPTBot kogub treeningandmeid ja selle blokeerimine on eraldi otsus. OpenAI dokumentatsiooni järgi on iga seadistus teistest sõltumatu.

Anthropic jagab samamoodi. ClaudeBot on treenimiseks. Claude-SearchBot indekseerib lehti otsingu jaoks ja Anthropic hoiatab, et selle blokeerimine võib vähendada saidi nähtavust ja täpsust kasutajate otsingutulemustes. Claude-User laeb lehe siis, kui inimene küsib Claude'ilt selle kohta.

Google on kolmest kõige otsekohesem. Tema AI Overviews'i ja AI Mode'i lehel on kirjas, et seal kuvamiseks pole lisanõudeid, pole vaja erilist schema.org märgistust ega uusi AI-tekstifaile. Küll aga peavad struktureeritud andmed vastama sellele, mis lehel näha on.

Ettevõtte enda kätte jääb seega kolm asja: kas roomajad pääsevad ligi, kas sait esitab oma faktid kujul, mida masin valesti lugeda ei saa, ja kas need faktid on üldse lehel näha.

Seitse saiti saadavad otsingubotid minema ega tea sellest

Kõik 96 robots.txt faili, mida saime lugeda, lubasid AI-roomajaid. Paberil ei blokeeri keegi midagi.

Server rääkis teist juttu. Seitse saiti vastasid GPTBotile, ClaudeBotile, Claude-SearchBotile ja CCBotile koodiga 403 Forbidden, samas kui OAI-SearchBot, PerplexityBot, ChatGPT-User ja Claude-User said tavalise lehe. Kõik seitse asusid samas Eesti jagatud majutuses. Kaheksas sait samas serveris laskis kõik botid läbi, seega on see majutuskonto tasemel sisse lülitatud filter, mitte midagi, mille omanik ise robots.txt-sse kirjutas.

ChatGPT otsingu jaoks on need saidid korras, OAI-SearchBot pääseb ligi. Claude'i otsinguindeksile on nad suletud ja Anthropicu enda sõnul võib see nähtavust maksta. Robots.txt-s, Search Console'is ega saidi halduspaneelis ei paista sellest midagi. Seda näeb ainult siis, kui küsid lehte boti nime all.

Üks neist seitsmest keeldus ka päringutest, mis esitlesid end Googlebotina, AdsBot-Google'ina ja Bingbotina. Meie päringud ei tulnud Google'i ega Microsofti aadressidelt ja mõni tulemüür blokeerib võltsitud otsingubotte meelega, nii et ainuüksi see ei tõesta, et Google on välja lukustatud. Just sellist asja tasub kontrollida Search Console'i URL-i kontrolliga enne, kui kuu aja liiklus kaob.

Kaheksakümnel saidil on struktureeritud andmed. Kakskümmend viis ütlevad, mis ettevõte see on.

Struktureeritud andmed on viis esitada fakte nii, et tarkvara ei pea neid tõlgendama: see on ettevõte, see on tema aadress, need on lahtiolekuajad. Google ei nõua neid AI-funktsioonide jaoks ja keegi ei saa lubada, et assistent neid loeb. Ometi on see kõige ühemõttelisem viis öelda, kes sa oled.

Sajast avalehest kaheksakümnel oli mingi JSON-LD. Enamasti oli see SEO-plugina vaikeväljund: WebSite 69 saidil, saidisisene otsingukast 60-l, üldine Organization 56-l. Ainult 25 saiti kirjeldasid end kui LocalBusiness või mõni selle alamtüüp. Nelikümmend kolm piirdusid Organizationiga, mis ütleb „ettevõte on olemas", aga mitte seda, kus ta töötab või millal on avatud.

Väli 25 LocalBusiness-ploki sees	Saite
Telefon	25
Aadress	24
Lahtiolekuajad	20
Lingid teistele profiilidele (sameAs)	16
Hinnavahemik	15
Teeninduspiirkond	14
Kaardikoordinaadid	12

Need saidid, kes kohalikku ettevõtet üldse kirjeldasid, tegid seda enamasti korralikult. Lõhe on nende 25 ja ülejäänud 75 vahel. Kui assistent peab otsustama, kas sa oled torumees, kes töötab Lasnamäel ka laupäeviti, jätab leht, mis ütleb seda otse nii nähtavas tekstis kui ka sellega kattuvas märgistuses, vale oletuse jaoks vähem ruumi.

llms.txt: viisteist päris faili, kümme võltsi

llms.txt on 2024. aasta ettepanek: Markdown-fail saidi juurkaustas, mis annab keelemudelitele lühikokkuvõtte ja loetelu lehtedest, mida tasub lugeda. See pole standard ja Google ütleb otse, et tema AI-funktsioonide jaoks pole seda vaja.

Sajast saidist viieteistkümnel see oli. Huvitavam number on kümme: kümme saiti vastasid aadressile /llms.txt tavalise HTML-lehega ja olekukoodiga 200. Sisuhaldus serveerib avalehte või „lehte ei leitud" malli ilma 404 koodita. Fail, mida pole olemas, näeb iga roomaja jaoks välja nagu leht, mis on olemas.

See on hügieeniprobleem omaette ja tehisaruga pole sel pistmist. Sait, mis vastab olematutele aadressidele koodiga 200, teeb sama iga katkise lingi ja iga vana URL-iga.

Fakte, mida assistent vajaks, lehel sageli polegi

Kui palud tuttaval lukksepa soovitada, tahad teada kolme asja: kas see firma teeb seda tööd, kas ta tuleb minu piirkonda, kuidas temaga ühendust saada. Tihti ka neljandat: umbes mis see maksab.

39 avalehel sajast polnud telefonilinki, millele mobiilis vajutades kõne algaks. 26-l polnud ei telefoni- ega e-posti linki. 69-l polnud nähtavas tekstis ühtegi eurosummat. Me ei mõõtnud, mida assistendid vastavad, aga lihtne aritmeetika ütleb, et hinda, mida pole kuskil avaldatud, ei saa ka tsiteerida.

Mida me parandaksime ja mis järjekorras

1. Küsi oma avalehte OAI-SearchBoti, Claude-SearchBoti ja Googleboti nime all ja kontrolli, et igaüks saab vastuseks 200. Kümme minutit ja see on siin ainus punkt, mis võib sind vaikselt indeksist eemaldada.
2. Pane lihtsad faktid nähtavasse teksti: teenused, linnaosad või linnad, kus töötad, telefon, lahtiolekuajad ja vähemalt „alates" hind.
3. Kirjelda ettevõtet kõige täpsema sobiva LocalBusiness alamtüübiga, sama nime, aadressi, telefoni ja lahtiolekuaegadega nagu nähtaval lehel.
4. Seo märgistus sameAs abil oma Google'i ettevõtteprofiili ja teiste päris profiilidega, et kõik loeksid ühe ettevõttena.
5. Lisa llms.txt viimasena ja veendu, et olematud aadressid annavad päris 404.

Samm-sammult versioon koos kopeeritavate mallide ja testkäskudega on meie juhendis schema, llms.txt ja AI-roomajate kontrolli kohta.

Kuidas me lugesime

Otsingutulemused pärinevad Google Eestist, eesti keeles, lauaarvuti vaates, top 10, kogutud 18. oktoobril 2026. Iga avaleht laaditi üks kord tavalise brauseri kasutajaagendiga ja üks kord iga roomaja kohta. Botte testisime nende kasutajaagendi stringiga meie serverist. Päringulimiidi vastuseid (429) blokeeringuks ei loetud, ainult 403. Me ei testinud, mida assistendid vastavad, ja see artikkel ei väida, et schema või llms.txt paneb assistendi sind tsiteerima. See näitab, mida masinad saavad lugeda ja mida mitte.

Korduvad küsimused

Kas struktureeritud andmed panevad ChatGPT minu ettevõtet soovitama?

Seda ei saa keegi lubada ja Google ütleb, et tema AI-funktsioonid ei vaja erilist märgistust. Struktureeritud andmed eemaldavad ebaselguse selle kohta, kes sa oled, kus töötad ja kuidas sinuga ühendust saada. Need aitavad ainult siis, kui samad faktid on ka lehel näha.

Kas peaksin GPTBoti ja ClaudeBoti blokeerima?

See on otsus treeningandmete kohta ja see on sinu otsustada. GPTBoti blokeerimine ei eemalda sind ChatGPT otsingust, sest seal kasutatakse OAI-SearchBoti. Claude-SearchBotiga on teisiti: Anthropic ütleb, et selle blokeerimine võib vähendada nähtavust Claude'i otsingutulemustes.

Kas mul on llms.txt faili vaja?

See on valikuline. llms.txt on ettepanek, mitte standard, ja Google ei kasuta seda AI Overviews'i jaoks. Lisamine on odav, aga see kuulub nimekirja lõppu, pärast roomajate ligipääsu ja õigeid ettevõtte andmeid.

Kuidas teada, kas minu majutus blokeerib AI-roomajaid?

Küsi oma avalehte roomaja kasutajaagendiga ja vaata olekukoodi. Kui Claude-SearchBot või OAI-SearchBot saab 403, aga tavaline külastaja 200, filtreerib server neid isegi siis, kui robots.txt lubab kõike.