MYCORP.DIGITAL / POZNATKY Z PRAXE

ChatGPT Search: prístup robotov a pripravenosť firemného webu

Technický základ pre prevádzkovateľa webu: OAI-SearchBot, robots.txt, serverové blokovanie a rozdiel medzi vyhľadávaním a tréningom.

Daniel Hrivniak · Pôvodne publikované 2024-04-10 · Aktualizované

Stručná odpoveď

Pre automatické vyhľadávanie OpenAI slúži OAI-SearchBot. GPTBot súvisí s tréningom modelov; jeho povolenie nie je podmienkou povolenia vyhľadávania. Prístup overujte aj na hostingu, nielen v robots.txt.

Na tejto stránke

Tri odlišné úlohy robotov

OAI-SearchBot slúži vyhľadávaniu, GPTBot môže získavať obsah pre tréning a ChatGPT-User pristupuje na stránky pri niektorých používateľských akciách. Nastavenia vyhľadávania a tréningu sú nezávislé. Presný význam a aktuálne adresné rozsahy uvádza dokumentácia OpenAI.

Robots.txt nie je jediná kontrola

Skontrolujte relevantné pravidlo pre vyhľadávací robot. Ak prístup už povoľuje všeobecná skupina, chýbajúci samostatný názov robota automaticky neznamená zákaz. Zároveň môže požiadavku odmietnuť firewall, CDN alebo hosting bez ohľadu na obsah robots.txt.

Nevypínajte bezpečnostnú ochranu celého webu. Prípadné výnimky obmedzte na verejný obsah a overený robotický prístup. User-Agent sa dá napodobniť, preto nepredstavuje sám osebe dôkaz identity.

Čo overiť na konkrétnej stránke

  • Stránka vracia úspešný stav a nepresmeruje robota na prihlasovanie alebo prázdnu výzvu.
  • Hlavná odpoveď a interné odkazy sú dostupné v HTML.
  • Verejná stránka nemá nechcené obmedzenie indexovania alebo úryvkov.
  • Canonical a interné odkazy používajú konzistentnú adresu.
  • Obsah skutočne vysvetľuje službu, jej rozsah a autora informácií.

Ako testovať

Po oprave skontrolujte stavový kód, obsah odpovede a serverový záznam. Syntetický test s názvom robota odhalí niektoré chyby, ale nenahrádza kontrolu skutočných požiadaviek. Bez serverových záznamov nevyhlasujte, že robot stránku úspešne prečítal.

Následne sledujte, či sa relevantné stránky objavujú pri opakovaných otázkach. Rozlišujte citáciu, navigačný odkaz a skutočnú návštevu webu. Každý z týchto javov znamená niečo iné.

Čo vám technická pripravenosť nezaručí

Povolenie robota nie je zmluva o citovaní. Nie je ním ani FAQ schéma, dĺžka textu alebo názov súboru. Výber zdrojov a generovanú odpoveď spravuje platforma, nie prevádzkovateľ webu.

Čo riešiť po technickej kontrole

Vráťte sa k zákazníkovi: je jasné, pre koho je služba, čo dostane a čím je skúsenosť firmy doložená? Všeobecný text bez konkrétneho prínosu ostáva všeobecným textom, aj keď ho robot dokáže načítať.

Tento článok rieši prístup a prevádzku. Obsahový postup nájdete v prepojenom checkliste; obchodný dopad v návode na meranie.

Premeňme otázky na konkrétny plán.

Napíšte, čo chcete zlepšiť. Prejdeme si vašu situáciu a navrhneme konkrétny rozsah spolupráce aj prvý krok.