Sådan ser du, om AI-bots som GPTBot besøger dit website
Før en AI-assistent kan nævne din virksomhed, skal den have læst om den. AI-firmaerne sender deres egne bots ud for at læse websites - og de fleste har nu forskellige bots til forskellige opgaver: én, der samler sider til træning, én, der bygger det indeks, deres søgesvar kommer fra, og én, der henter en side, når en bruger spørger om den. At vide, hvilke der besøger dig, og hvilke du tillader, er et af de enkleste GEO-tjek, der findes.
De AI-bots, der er værd at kende
- OpenAI (ChatGPT): GPTBot samler sider, der kan bruges til træning. OAI-SearchBot afgør, om du kan vises i ChatGPTs søgesvar - OpenAI skriver, at websites, der blokerer den, ikke bliver vist dér. ChatGPT-User henter en side, når en bruger spørger om den; ifølge OpenAI gælder robots.txt-regler måske ikke for den.
- Anthropic (Claude): ClaudeBot til træning, Claude-SearchBot til Claudes søgning og Claude-User til sider, en bruger spørger om. De gamle navne anthropic-ai og Claude-Web bruges ikke længere - en robots.txt, der kun blokerer dem, blokerer ikke nutidens bots.
- Perplexity: PerplexityBot bygger Perplexitys søgeindeks (Perplexity skriver, at den ikke bruges til træning). Perplexity-User henter sider for en bruger og ignorerer som regel robots.txt.
- Andre: Applebot, Amazonbot, Meta-ExternalAgent, Bytespider og CCBot (Common Crawl).
Google er anderledes: AI-oversigter og AI-tilstand bruger Googles almindelige crawler, Googlebot, og det almindelige indeks. Google-Extended er kun en indstilling i robots.txt for, om dit indhold må bruges til at træne og forankre Gemini - den holder dig ikke ude af AI-oversigter eller AI-tilstand. Til dem har Google Search Console nu sin egen indstilling.
Træning eller søgning: du kan vælge
Fordi opgaverne er delt, kan du vælge hver for sig. Mange virksomheder, der ikke vil have deres indhold brugt til træning, blokerer GPTBot og ClaudeBot, men lader OAI-SearchBot, Claude-SearchBot og PerplexityBot komme ind - så de stadig kan blive nævnt i assistenternes svar. Det er blokering af søge-bots, der holder dig ude.
Tre måder at se besøgene på
- Din servers adgangslog. Hvert besøg er en linje med besøgendes "user agent". Søg efter navnene ovenfor. Mange webhoteller (cPanel, Plesk) lader dig downloade loggen.
- Dit CDN eller webhotel. Cloudflare og lignende tjenester kan vise bot-trafik, nogle gange med en færdig visning af AI-bots.
- Et værktøj, der tæller dem for dig. BusinessVenos side om AI-trafik viser, hvilke AI-bots der læser hvilke sider, dag for dag - via et WordPress-plugin, en Cloudflare Worker, et Next.js-middleware eller en logfil, du uploader.
Pas på forfalskninger
Alle kan kalde deres scraper "GPTBot". OpenAI, Perplexity og andre offentliggør de IP-adresser, deres bots bruger, så et ægte besøg kan tjekkes. Et godt værktøj tjekker adressen, ikke kun navnet - BusinessVeno udelader besøg fra en "GPTBot", hvis adresse OpenAI ikke bruger.
Blokerer du dem ved en fejl?
Åbn ditdomæne.dk/robots.txt. En linje som User-agent: OAI-SearchBot efterfulgt af Disallow: / holder dig ude af ChatGPTs søgesvar. Bot-beskyttelse og firewalls kan gøre det samme, uden at du opdager det. Efter en ændring tager det typisk omkring et døgn, før bots opdager den.
Folk, der kommer fra AI-svar
Den anden halvdel af AI-trafikken er mennesker: besøgende, der har klikket på et link i et svar fra ChatGPT, Perplexity eller Gemini. De kommer med en henvisning fra fx chatgpt.com eller perplexity.ai eller med et utm_source-mærke. Når du tæller dem, kan du se, om AI-svar allerede sender dig kunder.
Se det for dit eget website med BusinessVenos AI-trafik - eller start med et gratis tjek af AI-synlighed.