Reguły robots.txt dla botów AI: grupy agentów w SEO/GEO Files Generator

Robots.txt to plik w katalogu głównym domeny z instrukcjami dla robotów odwiedzających witrynę. Wśród tych robotów są dziś także crawlery firm rozwijających modele AI. BeeClear to agencja marketingowa zajmująca się pozycjonowaniem w wyszukiwarkach i w odpowiedziach AI, rozwijająca też własne wtyczki WordPress. SEO/GEO Files Generator to wtyczka BeeClear, która z jednego panelu generuje pliki llms.txt, llms-full.txt i robots.txt. Jej najmocniejszą stroną w tej części są grupy reguł dla wybranych botów, wsparte bazą 62 user-agentów z opisami. Sprawdź, jak ułożyć osobne zasady dla crawlerów AI bez ręcznej edycji plików na serwerze.

Dlaczego jedna reguła robots.txt dla wszystkich botów to za mało?

Jedna reguła robots.txt dla wszystkich botów traktuje tak samo robota wyszukiwarki, crawler zbierający dane do treningu modeli i narzędzie audytowe. Tymczasem każdy z nich odwiedza Twoją witrynę w innym celu. Zapis „User-agent: *” obejmuje wszystkich naraz i nie pozwala niczego rozróżnić. Możesz wtedy albo wpuścić każdego, albo każdego zatrzymać. Brakuje środka, w którym wyszukiwarka dostaje pełny dostęp, a crawler treningowy – żaden.

Pisanie osobnych bloków ręcznie też bywa kłopotliwe. Trzeba znać dokładne nazwy user-agentów, pilnować literówek i edytować plik na serwerze. Każda pomyłka w nazwie sprawia, że instrukcja po prostu nie trafia do adresata. SEO/GEO Files Generator przenosi tę pracę do panelu WordPressa i podsuwa gotowe nazwy.

Czym różnią się boty AI odwiedzające Twoją stronę?

Boty AI odwiedzające Twoją stronę różnią się przede wszystkim zadaniem. Jedne zbierają treści do trenowania modeli, inne indeksują strony na potrzeby wyszukiwania w asystentach AI. Jeszcze inne pobierają adres dopiero wtedy, gdy prosi o to użytkownik czatu. Opisy we wtyczce pozwalają rozpoznać te role bez szukania dokumentacji każdego dostawcy. Oto przykłady z wbudowanej bazy:

Rola bota	Przykładowe user-agenty	Co robi według opisu we wtyczce
trening modeli i zbiory danych	GPTBot, CCBot, Ai2Bot-Dolma, cohere-ai	zbiera treści do trenowania modeli lub budowy publicznych zbiorów danych
wyszukiwanie w AI	OAI-SearchBot, Claude-SearchBot, PerplexityBot	indeksuje treści na potrzeby wyszukiwania i odpowiedzi AI
żądania użytkownika	ChatGPT-User, Claude-User, Perplexity-User	pobiera stronę w imieniu osoby korzystającej z asystenta
tokeny kontroli użycia treści	Google-Extended, Applebot-Extended	kontroluje użycie treści w modelach Gemini i Vertex AI oraz w generatywnych funkcjach AI Apple
wyszukiwarki i usługi wyszukiwania	Googlebot, bingbot, Applebot	indeksuje strony na potrzeby wyszukiwarek i usług wyszukiwania

Z tego zestawienia wynika praktyczny wniosek. U części dostawców za trening modeli i za wyszukiwanie w AI odpowiadają osobne user-agenty. Możesz więc zablokować jeden, a drugiemu zostawić otwarte drzwi. Taki podział trudno uzyskać jednym blokiem dla wszystkich robotów, łatwo – kilkoma grupami we wtyczce.

Co zawiera baza 62 user-agentów we wtyczce?

Baza 62 user-agentów w SEO/GEO Files Generator obejmuje crawlery i fetchery najważniejszych dostawców. Znajdziesz w niej boty OpenAI, Anthropic, Perplexity, rodzinę crawlerów Google, Microsoft, Amazon i Apple. Są też inne crawlery AI, narzędzia SEO takie jak Ahrefs, Semrush, Majestic czy Screaming Frog, a także fetchery Meta. Każdy wpis na ekranie „Robots agents” ma krótki opis roli.

Listę możesz dowolnie zmieniać i dopisywać własne nazwy, po jednej w wierszu. Wtyczka oznacza wbudowane pozycje, których brakuje na Twojej liście. Przycisk przywracania dokłada je z powrotem i nie rusza Twoich własnych wpisów. Gdy nowa wersja rozszerza bazę, nowe nazwy pojawiają się jednorazowo. Nazwy usunięte przez Ciebie celowo nie wracają przy kolejnym wczytaniu panelu.

Jak zbudować grupę reguł dla wybranych botów AI?

Grupę reguł dla wybranych botów AI budujesz na ekranie robots.txt w sekcji grup. Każda grupa to zestaw zaznaczonych botów i pole z dyrektywami, które ich dotyczą. Grup możesz dodać tyle, ile potrzebujesz. Oto, jak wygląda cała procedura:

1. kliknij „Add group”, aby dodać nową grupę,
2. zaznacz w siatce nazwy botów, które mają podlegać tym samym zasadom,
3. wpisz reguły grupy, na przykład „Disallow: /” albo „Allow: /public/”,
4. zapisz ustawienia i sprawdź wynik w podglądzie pliku.

Wtyczka zapisuje dla każdej grupy osobny blok z liniami „User-agent” dla każdego zaznaczonego bota. Pod nimi umieszcza wpisane zasady. Grupa bez zaznaczonych botów albo bez dyrektyw nie trafia do pliku, więc pusty szkic niczego nie zepsuje. W praktyce możesz na przykład zablokować boty treningowe, a botom wyszukiwania AI zostawić dostęp.

Jak reguły globalne współpracują z grupami botów?

Reguły globalne trafiają do bloku „User-agent: *” i obowiązują wszystkie roboty bez własnej grupy. Domyślnie blokują katalog /wp-admin/ i przepuszczają plik admin-ajax.php. Grupy dopisują się pod spodem jako osobne bloki dla konkretnych botów. Dzięki temu ustawiasz jedną bazową politykę, a wyjątki opisujesz tylko tam, gdzie mają sens.

Między ustawieniami globalnymi a grupami znajdziesz jeszcze pole dodatkowej treści. Wpisane w nie linie wtyczka wstawia do pliku bez zmian. To miejsce na nietypowe dyrektywy, których nie chcesz przypisywać do konkretnej grupy. Całość nadal edytujesz w jednym formularzu.

Na końcu pliku wtyczka dopisuje linie „Sitemap”. W polu podajesz same ścieżki, a do pliku trafiają pełne adresy z domeną, pod którą otwarto stronę. Gdy wbudowane mapy witryny WordPressa są wyłączone, wtyczka pomija wskazującą na nie linię. Robots.txt nie wskazuje więc adresu kończącego się błędem 404.

Jak sprawdzić robots.txt przed udostępnieniem botom?

Robots.txt sprawdzisz przed udostępnieniem w podglądzie obok formularza ustawień. Widać tam dokładnie ten tekst, który wtyczka wygeneruje. Jednym kliknięciem otworzysz też plik na żywo pod adresem /robots.txt. Każdą grupę widzisz więc w pełnym kontekście, zanim przeczyta ją jakikolwiek bot.

Masz też wybór sposobu publikacji. WordPress może serwować wygenerowany robots.txt dynamicznie albo zapisać go jako fizyczny plik w katalogu głównym. Linia statusu pokazuje, czy WordPress ma prawo zapisu do tego pliku. Gdy zapis jest niemożliwy, pobierzesz gotową treść przyciskiem i wgrasz ją ręcznie.

Jak robots.txt łączy się z dyrektywą Content-Signal?

Dyrektywa Content-Signal trafia do robots.txt, gdy ustawisz ją we wtyczce BeeClear WebMCP AI Visibility. Content-Signal to zapis deklarujący, jak systemy automatyczne mogą wykorzystywać treści witryny. SEO/GEO Files Generator dopisuje ją na końcu pliku razem z komentarzami. Objaśniają one trzy sygnały: search dla indeksu wyszukiwania, ai-input dla odpowiedzi AI i ai-train dla trenowania modeli. Komentarze przypominają też, że ograniczenia wyrażone w ten sposób zastrzegają prawa na podstawie art. 4 dyrektywy UE 2019/790.

Wtyczka pilnuje przy tym, żeby ten zapis nie pojawił się dwa razy. Wartość podejrzysz na ekranie robots.txt, a zmienisz ją w ustawieniach AI Visibility. Grupy reguł mówią, kto może wejść, a Content-Signal – jak może użyć treści. Oba zapisy razem dają pełniejszy obraz Twojej polityki wobec AI.

Jak zacząć porządkować dostęp botów AI do witryny?

Porządkowanie dostępu botów AI zacznij od włączenia modułu robots.txt w ustawieniach globalnych wtyczki. Potem przejrzyj ekran „Robots agents” i opisy botów z wbudowanej bazy. Zdecyduj, którym z nich chcesz udostępnić treści, a którym je zablokować. Na koniec ułóż grupy i sprawdź efekt w podglądzie.

Szczegóły wszystkich modułów opisujemy na stronie SEO/GEO Files Generator. Znajdziesz tam też zrzuty ekranu edytora robots.txt i bazy agentów. Jeśli wolisz wdrożenie z pomocą, zespół BeeClear pomoże wdrożyć wtyczkę i ustawić llms.txt oraz robots.txt pod Twój serwis. Wystarczy kilka grup, by każdy bot dostał jasne zasady zamiast jednej reguły dla wszystkich.