Ar jūsų svetainė neblokuoja ChatGPT? Patikrinkite per 2 min.

Jūsų svetainė gali blokuoti ChatGPT, o jūs apie tai net nežinote. Naršyklėje atidarykite jususvetaine.lt/robots.txt: jei prie GPTBot, OAI-SearchBot, ChatGPT-User arba „User-agent: *“ matote „Disallow: /“, AI asistentams liepiama jūsų svetainės neskaityti. Juos gali blokuoti ir ugniasienė ar talpinimo paslaugos nustatymai. Štai kaip patikrinti kiekvieną iš jų ir ką pakeisti.

Svarbiausia trumpai

• Kiekviena AI įmonė naudoja kelis robotus: vieni atsiunčia puslapius atsakymams realiu laiku, kiti renka duomenis mokymui. Į juos galima žiūrėti skirtingai.
• Užblokavę paieškos robotus (pvz., OAI-SearchBot ar PerplexityBot), neateisite į AI atsakymus realiu laiku. Būtent to dažniausiai ir reikia vengti.
• Užblokavus tik mokymo robotus (pvz., GPTBot ar ClaudeBot), jūs, pasak OpenAI ir Anthropic, nedingstate iš ChatGPT ar Claude paieškos atsakymų.
• Patikrinkite tris vietas: robots.txt, ugniasienę ar CDN (pvz., Cloudflare) ir ar jūsų turinys neatsiranda tik įsijungus JavaScript.

Kokius robotus naudoja AI asistentai?

• OpenAI (ChatGPT): OAI-SearchBot paieškos atsakymams, ChatGPT-User, kai puslapį atidaro vartotojo klausimas, GPTBot mokymui.
• Anthropic (Claude): Claude-SearchBot paieškai, Claude-User, kai puslapį atidaro vartotojo klausimas, ClaudeBot mokymui.
• Perplexity: PerplexityBot jos paieškos indeksui, Perplexity-User, kai puslapį atidaro vartotojo klausimas.
• Google (Gemini ir AI apžvalgos): Googlebot naršo Google paieškai, įskaitant AI apžvalgas (AI Overviews). Google-Extended nėra atskiras robotas, o nustatymas, nurodantis, ar jūsų turinį galima naudoti Gemini; jį užblokavus jūsų pozicijos Google paieškoje nenukenčia.
• Microsoft (Copilot): Bingbot, tas pats robotas, kuris naršo Bing paieškai.

Kaip perskaityti robots.txt failą

robots.txt – tai nedidelis viešas tekstinis failas jūsų svetainės šakniniame kataloge. Kiekvienas blokas prasideda eilute „User-agent“ (apie kurį robotą kalbama), po kurios eina taisyklės. „Disallow: /“ reiškia „nieko neskaityk“. Šis pavyzdys blokuoja ChatGPT mokymo ir paieškos robotus:

User-agent: GPTBot
Disallow: /

User-agent: OAI-SearchBot
Disallow: /

O šis blokuoja visus taisyklių besilaikančius robotus, taip pat ir Google. Kartais jis netyčia lieka po to, kai svetainė buvo kuriama bandomuoju adresu:

User-agent: *
Disallow: /

Jei puslapis rodo „404“ arba yra tuščias, robots.txt failo neturite, vadinasi, robotams leidžiama. Tai nieko blogo.

Ką smulkaus verslo robots.txt turėtų leisti?

Daugumai smulkių įmonių, norinčių, kad klientai jas rastų, verta leisti paieškos robotus. Ar leisti mokymo robotus – jūsų pasirinkimas: juos užblokavus jūs nedingstate iš atsakymų realiu laiku, bet leidus AI modeliai ilgainiui gali geriau pažinti jūsų verslą. Paprastas, atviras variantas atrodo taip (sitemap adresą pakeiskite savo):

User-agent: OAI-SearchBot
Allow: /

User-agent: ChatGPT-User
Allow: /

User-agent: Claude-SearchBot
Allow: /

User-agent: PerplexityBot
Allow: /

User-agent: *
Allow: /

Sitemap: https://jususvetaine.lt/sitemap.xml

Palikite taisykles, kurias jūsų svetainės kūrėjas pridėjo privačioms dalims, pvz., /admin ar /krepselis; pašalinkite tik tas, kurios blokuoja visą svetainę.

2 patikra: ugniasienė, CDN ar talpinimo paslauga

robots.txt gali sakyti „sveiki atvykę“, o ugniasienė – „ne“. Pavyzdžiui, Cloudflare turi nustatymą, blokuojantį AI robotus, ir nuo 2025 m. vidurio daugeliui naujų svetainių jis įjungtas iš karto. Jei naudojate Cloudflare, robotų nustatymuose suraskite AI robotų parinktį ir nuspręskite, kuriuos leisti. Kai kurie saugumo įskiepiai ir talpinimo paslaugų teikėjai turi panašias „blokuoti robotus“ parinktis, todėl, jei abejojate, paklauskite savo svetainės kūrėjo.

3 patikra: ar robotai mato turinį be JavaScript?

Daug AI robotų skaito puslapį tokį, koks jis ateina iš serverio, ir JavaScript nevykdo. Jei jūsų tekstas, kainos ar kontaktai atsiranda tik užsikrovus skriptams, AI gali matyti beveik tuščią puslapį. Greitas testas: atidarykite puslapį, spustelėkite dešiniuoju pelės klavišu ir pasirinkite „Peržiūrėti puslapio šaltinį“ (View page source). Jei ten nerandate pagrindinio teksto, paklauskite kūrėjo apie atvaizdavimą serveryje (server-side rendering) arba išankstinį atvaizdavimą (pre-rendering).

Per kiek laiko pakeitimai pradeda veikti?

Robotai robots.txt perskaito reguliariai, dažniausiai maždaug per parą. Tada paieškos robotams reikia vėl aplankyti jūsų puslapius, o tai gali užtrukti nuo kelių dienų iki kelių savaičių. Atblokavimas negarantuoja rekomendacijos, tik užtikrina, kad dalyvaujate varžybose.

Patikrinkite automatiškai

Kiekviena RecoPulse ataskaita patikrina jūsų robots.txt dėl pagrindinių AI robotų ir paprastais žodžiais pasako, kurie užblokuoti ir kurias tiksliai eilutes pakeisti. Pradėkite nuo nemokamos patikros ir pažiūrėkite, ką ChatGPT apie jus sako šiandien.