Kohaliku ettevõtte schema, llms.txt ja AI-roomajate kontroll: samm-sammuline juhend

See on praktiline lisa meie artiklile miks AI-otsing tsiteerib ühtesid kohalikke ettevõtteid ja eirab teisi. Viis kontrolli selles järjekorras, mis loeb: kõigepealt roomajate ligipääs, siis märgistus, llms.txt viimasena. Iga käsk töötab tavalises terminalis macOS-is või Linuxis või Windowsis Git Bashis.

Asenda allpool kõikjal https://www.example.com oma aadressiga. Kõik nimed, numbrid ja aadressid mallides on näited ja tuleb asendada sinu päris andmetega.

1. samm. Küsi oma saidilt, keda ta sisse laseb

Serverid ja tulemüürid filtreerivad tavaliselt kasutajaagendi nime järgi, nii et blokeeringu kordamiseks piisab nime saatmisest. Käivita see ja loe koodid:

for ua in OAI-SearchBot GPTBot ChatGPT-User Claude-SearchBot ClaudeBot Claude-User PerplexityBot Googlebot AdsBot-Google bingbot; do
  printf '%-18s ' "$ua"
  curl -s -o /dev/null -w '%{http_code}\n' -A "Mozilla/5.0 (compatible; $ua)" https://www.example.com/
done

Mida koodid tähendavad:

Kood	Tähendus	Mida teha
200	Bot saab lehe kätte	Mitte midagi
301 / 302	Ümbersuunamine	Käivita uuesti lõpliku aadressiga
403	Server keeldub sellest botist	Leia filter majutuse või tulemüüri seadetest
429	Liiga palju päringuid	Oota minut ja testi üks bot korraga

403 OAI-SearchBotile tähendab, et ChatGPT otsing sinu saiti ei näita. 403 Claude-SearchBotile võib vähendada nähtavust Claude'i otsingutulemustes. 403 Googlebotile, AdsBotile või bingbotile selles testis on hoiatus, mitte tõend, sest mõni tulemüür lükkab tagasi igaühe, kes väidab end Googlebotiks olevat, aga ei tule Google'i aadressilt. Need kinnita Search Console'is URL-i kontrolliga.

Meie skaneeringus saja Tallinna ettevõtte saidi seas vastasid seitse Claude-SearchBotile koodiga 403, kuigi nende robots.txt lubas kõike. Filter elas majutuskontos, nii et lahendus oli pöördumine klienditoe poole, mitte koodimuudatus.

2. samm. Kontrolli, et puuduvad lehed on päriselt puudu

curl -s -o /dev/null -w '%{http_code}\n' https://www.example.com/this-page-does-not-exist-7f3k
curl -s -o /dev/null -w '%{http_code} %{content_type}\n' https://www.example.com/llms.txt

Esimene rida peab näitama 404. Kui see näitab 200, ütleb sait igale roomajale, et katkised lingid on päris lehed. Teine rida näitab, kas /llms.txt on olemas: päris fail annab 200 koos text/plain või text/markdown tüübiga. 200 koos text/html tüübiga tähendab, et sisuhaldus serveerib selle asemel mingit lehte. Sellise leidsime kümnelt saidilt sajast.

3. samm. robots.txt, mis ütleb seda, mida mõtled

Otsinguroomajad ja treeningroomajad on eraldi. Võid otsingu lubada ja treenimisest ikkagi loobuda. AdsBot eirab reeglit User-agent: * ja järgib ainult teda nimetavaid reegleid, nii et ära kirjuta talle reeglit, kui sa seda päriselt ei taha.

User-agent: *
Allow: /

# Valikuline: loobu mudelite treenimisest, jää AI-otsingusse
User-agent: GPTBot
Disallow: /

User-agent: ClaudeBot
Disallow: /

User-agent: CCBot
Disallow: /

Sitemap: https://www.example.com/sitemap.xml

Kolm treeningblokki on äriline otsus, mitte soovitus. Nii OpenAI kui ka Anthropic kirjutavad, et GPTBoti või ClaudeBoti blokeerimine ei eemalda sind nende otsinguroomajate, OAI-SearchBoti ja Claude-SearchBoti eest. Kui sul pole põhjust blokeerida, jäta need välja.

4. samm. LocalBusiness-märgistus, mis vastab lehele

Google'i juhend palub kasutada kõige täpsemat sobivat alamtüüpi (Plumber, Electrician, Locksmith, Dentist, AutoRepair jne) ning name ja address on kohustuslikud. Kõik märgistuses olev peab olema ka lehel näha. Pane see avalehe head osasse või body lõppu:

<script type="application/ld+json">
{
  "@context": "https://schema.org",
  "@type": "Plumber",
  "@id": "https://www.example.com/#business",
  "name": "Näidis Torutööd OÜ",
  "url": "https://www.example.com/",
  "telephone": "+372 5000 0000",
  "email": "info@example.com",
  "image": "https://www.example.com/images/team.jpg",
  "priceRange": "alates 45 €",
  "address": {
    "@type": "PostalAddress",
    "streetAddress": "Näidise tn 1",
    "addressLocality": "Tallinn",
    "postalCode": "10111",
    "addressCountry": "EE"
  },
  "geo": { "@type": "GeoCoordinates", "latitude": 59.43696, "longitude": 24.75357 },
  "areaServed": [
    { "@type": "City", "name": "Tallinn" },
    { "@type": "AdministrativeArea", "name": "Harju maakond" }
  ],
  "openingHoursSpecification": [{
    "@type": "OpeningHoursSpecification",
    "dayOfWeek": ["Monday","Tuesday","Wednesday","Thursday","Friday"],
    "opens": "08:00",
    "closes": "18:00"
  }],
  "sameAs": [
    "https://www.facebook.com/naidistorutood",
    "https://www.google.com/maps?cid=0000000000000000000"
  ]
}
</script>

Reeglid, mis säästavad tagasilükkamisest:

• Telefon on koos riigikoodiga ja sama number nagu nähtavas jaluses.
• Koordinaatidel on vähemalt viis komakohta. Kopeeri need oma Google'i ettevõtteprofiili nõela juurest.
• priceRange jääb alla 100 tähemärgi, muidu jätab Google selle välja.
• Jäta oma ettevõtte puhul aggregateRating välja. Google'i kohaliku ettevõtte juhend jätab arvustuste märgistuse saitidele, mis arvustavad teisi ettevõtteid.
• sameAs loetleb ainult profiile, mis on olemas ja kuuluvad sulle. Kõige kasulikum on Google'i ettevõtteprofiili link.

Kontrolli lehte Google'i Rich Results Testis ja Schema Markup Validatoris. Paranda kõik, mis on märgitud veaks. Seejärel vaata päris URL-i Search Console'is üle, et Google näeb sama märgistust.

5. samm. Lühike llms.txt

llms.txt on 2024. aasta ettepanek, mitte standard, ja Google ei kasuta seda AI Overviews'i jaoks. See võtab kümme minutit, seepärast tuleb see viimasena. Vorming: üks H1 nimega, ühelõiguline kokkuvõte tsitaadina, siis H2 jaotised linkidega. Salvesta tavatekstina aadressile /llms.txt:

# Näidis Torutööd OÜ

> Torutööd ja paigaldus Tallinnas ja Harjumaal. E–R 08:00–18:00, telefon +372 5000 0000. Hinnad alates 45 €, lõplik hind pärast ülevaatust.

## Teenused
- [Lekke parandus](https://www.example.com/lekke-parandus): väljasõit Tallinnas, hinnad alates 45 €
- [Boileri paigaldus](https://www.example.com/boilerid): tarne ja paigaldus, enne kirjalik pakkumine

## Ettevõte
- [Kontakt ja teeninduspiirkond](https://www.example.com/kontakt): aadress, lahtiolekuajad, piirkonnad
- [Hinnad](https://www.example.com/hinnad): alghinnad levinud töödele

## Optional
- [Blogi](https://www.example.com/blogi): hooldusnõuanded

Iga fakt selles peab kattuma veebilehe ja märgistusega. Kolm allikat, mis lahtiolekuaegade osas üksteisega vaidlevad, on halvem kui üks, mis on õige.

6. samm. Korda pärast iga muudatust

Majutuse kolimine, uued tulemüürireeglid ja sisuhalduse pluginate uuendused on just need hetked, kus saidid blokeeritakse ilma, et keegi märkaks. Käivita sammud 1 ja 2 uuesti pärast igaüht neist ja igal juhul kord kuus. Meie tasuta kiirskoor allpool märgib ka avalehe, millel pole struktureeritud andmeid, märgistuse, mis ettevõtet kunagi ei nimeta, ja avalehe ilma telefoni- või e-posti lingita.

Korduvad küsimused

Millist LocalBusiness alamtüüpi kasutada?

Kõige täpsemat, mida schema.org sinu tegevuse jaoks pakub: Plumber, Electrician, Locksmith, Dentist, AutoRepair, HairSalon jne. Google soovitab kõige täpsemat alamtüüpi ja lubab massiivi, kui sobib mitu.

Kas võin oma LocalBusiness-märgistusse tärnhinnangud lisada?

Google'i kohaliku ettevõtte juhend soovitab aggregateRating ja review märgistust ainult saitidele, mis koguvad arvustusi teiste kohalike ettevõtete kohta. Oma ettevõtte puhul jäta need välja.

Kas GPTBoti blokeerimine eemaldab mind ChatGPT-st?

ChatGPT otsingust mitte. OpenAI kasutab otsinguks OAI-SearchBoti ja treenimiseks GPTBoti ning kirjeldab neid kahte seadistust teineteisest sõltumatutena.

Kuhu llms.txt panna?

Domeeni juurkausta, aadressile /llms.txt, tavatekstina. Päring selle järele ei tohi tagastada avalehte ega HTML-veateadet olekukoodiga 200.