llms.txt і AI-боти: як перевірити доступ до змісту сайту

Ви опублікували докладний опис продукту, а AI-відповідь на запитання покупця посилається на чужий сайт. У списку рекомендацій підрядника з’являється llms.txt: невеликий файл, який нібито розв’яже проблему. Перш ніж оплачувати впровадження, потрібно зрозуміти, який сервіс його використовує й що саме зараз заважає прочитати ваш матеріал.

Коротко: llms.txt — добровільний формат опису сайту для агентів, які вміють ним користуватися. Він не замінює robots.txt, карту сайту або захист закритих даних. Почніть із доступності важливих документів і призначення конкретних ботів; потім вирішуйте, чи потрібен додатковий каталог.

Canem Errant перевіряє правила доступу, видимий зміст і джерела конкретної AI-відповіді. Це дозволяє обрати обмежену технічну правку. Відсутність компанії в одній відповіді сама по собі не доводить блокування або необхідність нового файлу.

Що таке llms.txt і кому він може стати в пригоді

llms.txt містить короткий опис проєкту, пояснення й посилання на важливі документи. Агент може використати такий огляд, щоб знайти потрібну інструкцію, довідник або умови послуги. Формат особливо зрозумілий там, де є велика база документації й користувач шукає точну відповідь про продукт.

В актуальній пропозиції llms.txt v2 ідеться про допомогу агентам під час роботи із сайтом. Це пропозиція формату (proposal), а не обов’язковий стандарт усіх AI-пошуковиків. Версію оновлено 10 серпня 2026 року; наявність файлу в постачальника AI не доводить, що його пошукова система використовує файли всіх сайтів під час ранжування.

Markdown робить огляд зручним для читання й обробки відповідним інструментом. Короткі описи пояснюють призначення посилань; відомості про компанію та продукт допомагають розрізняти об’єкти. Це корисні властивості документа, але з них не випливає фіксоване зростання цитування або швидкість індексації.

Якщо матеріал доступний лише після складної взаємодії з інтерфейсом, каталог посилань не створить відсутнього тексту. Спочатку потрібно перевірити, що отримують відвідувач і сервіс під час відкриття самого документа. Базові завдання описано в посібнику з GEO.

Три файли з різними завданнями

robots.txt повідомляє боту, який його підтримує, правила звернення до URL. sitemap.xml допомагає виявити адреси. llms.txt пропонує людині або агенту відібраний маршрут змістом. Один файл не скасовує правил іншого.

Для Google Search, включно з його генеративними функціями, llms.txt не є умовою присутності. Google прямо повідомляє, що Search ігнорує такі файли. Тому його впровадження слід оцінювати за потребою іншого конкретного інструмента, а не продавати як обов’язковий SEO-чинник. Посібник Google для AI-пошуку.

Чому «дозволити AI-ботів» — надто широка інструкція

Одні звернення потрібні для пошуку, інші — для навчання моделей, треті виникають, коли користувач просить відкрити URL. Ці завдання не можна об’єднувати в один дозвіл. Важливий не лише текст User-Agent: правила сервера й WAF теж можуть перешкоджати запиту.

OpenAI: пошук, навчання й запит користувача

OAI-SearchBot використовують для пошуку ChatGPT. GPTBot збирає матеріали, які можуть використовуватися для навчання моделей; ці налаштування незалежні. Можна дозволити пошукового бота й заборонити навчального. Якщо OAI-SearchBot заборонено, сайт не показується в пошукових відповідях ChatGPT, проте навігаційні посилання все ще можуть з’являтися.

ChatGPT-User виконує окремі дії користувачів. Він не визначає, чи може документ з’являтися в Search; для ініційованих користувачем запитів правила robots.txt можуть не застосовуватися. Тому дозвіл ChatGPT-User не замінює рішення щодо OAI-SearchBot. Призначення ботів OpenAI.

Anthropic і Perplexity

У Anthropic ClaudeBot пов’язаний із можливим навчанням, Claude-SearchBot — із пошуком, Claude-User — із читанням за дорученням користувача. Перевіряйте кожну роль окремо, зберігаючи потрібний публічний доступ і обрані обмеження. Опис Anthropic.

PerplexityBot допомагає пошуковому виявленню матеріалів. Perplexity-User звертається до сайту за запитом користувача; постачальник зазначає, що такий fetcher зазвичай ігнорує robots.txt. Ні успішний запит, ні ім’я бота в журналі не підтверджують рекомендацію вашого бізнесу. Документація Perplexity.

Google і Apple

GoogleOther — загальний crawler для різних завдань Google, наприклад внутрішніх досліджень. Його не можна вважати універсальним перемикачем Gemini. Google-Extended — керівний token, а не окремий HTTP User-Agent: він стосується навчання майбутніх Gemini та grounding у зазначених продуктах Google. На включення й ранжування в Google Search цей token не впливає. Перелік Google.

Applebot обходить сайти. Applebot-Extended сам сторінки не обходить: це керування використанням уже зібраних даних для навчання. Його заборона не дорівнює виключенню з пошуку Apple. Довідка Applebot.

Чотири кроки підготовки файлу

1. Перевірити доступ до документів

Оберіть важливу послугу, опис продукту й інструкцію. Звірте HTTP-відповідь, правила robots.txt, перенаправлення й видимість основного тексту. Якщо WAF відхиляє звернення, з’ясуйте причину за журналами. Не вимикайте захист повністю заради одного імені бота: заголовок User-Agent можна підробити.

Старий файл robots.txt не обов’язково помилковий. Заборону в групі одного бота не слід автоматично переносити на всі інші групи. Cookie-банер також не доводить блокування: він може керувати рекламними подіями, не приховуючи публічного тексту. Перевіряють фактичну поведінку конкретного URL.

2. Відібрати зміст і визначити мову

Почніть, наприклад, із десяти документів, які допомагають зрозуміти продукт і обрати послугу. Десять — зручний розмір першої ревізії, не вимога формату. Приберіть дублікати й застарілі пропозиції, призначте відповідального за оновлення.

Мова власника не визначає мову покупців. Українська версія може пояснювати роботу з агентством, а документація продукту має відповідати користувачам самого продукту. Якщо є кілька мов, позначте їх в описах, не змішуючи різні комерційні умови.

3. Скласти короткий Markdown-огляд

Нижче приклад структури з наявними RU-адресами. Це зразок змісту, а не інструкція автоматично змінити файл робочого сайту.

# Canem Errant

> Marketing agency in Vienna. Russian-language service information.

## Services
- [GEO diagnostics](https://canemerrant.com/ru/services/geo-audit/): Scope and process.

## Guides
- [GEO guide](https://canemerrant.com/ru/blog/geo-kak-popast-v-otvety-ai-poiska/): Search visibility and measurement.
- [AI visibility check](https://canemerrant.com/ru/blog/kak-proverit-vidimost-kompanii-v-ai-poiske/): Questions and observation log.

Звичайна адреса — /llms.txt; v2 допускає й підкаталог, наприклад /docs/llms.txt, для відповідного розділу. Ім’я файлу зберігає розширення .txt, а зміст використовує Markdown. Посилання на Markdown-копії додавайте лише там, де такі копії справді існують і підтримуються.

4. Перевірити посилання й вартість підтримки

Кожне посилання має відкривати обіцяний документ. Пояснення не має заявляти функцію продукту, якої немає в самому матеріалі. За зміни ціни, умов або інтерфейсу оновлюють пов’язані копії: інакше зручний каталог поширює застарілі відомості.

llms-full.txt трапляється як додаткове повне текстове вивантаження. Оцініть потребу інструмента, обсяг, права й частоту оновлення. Якщо споживача немає, підтримувати ще одну копію всієї документації може бути зайвою роботою. Це не обов’язкова перепустка до пошуку.

Як захистити платні й внутрішні матеріали

Окремо визначте, що компанія публікує для покупців і що зберігає для клієнтів або співробітників. Передплатні звіти, персональні дані, внутрішні дослідження й відомості замовників не мають потрапляти до огляду за інерцією.

robots.txt не є захистом від несанкціонованого доступу. Закритим матеріалам потрібні авторизація й фактичний контроль видачі змісту. Публічний список заборонених шляхів може сам розкривати їх існування. Обмеження robots.txt.

Відкриття маркетингового тексту не означає дозволу надсилати дані відвідувача до рекламних систем. Стратегія first-party data і Google Consent Mode стосуються окремої роботи з подіями та згодою. Їх перевіряють за використаними інструментами; додавання llms.txt саме по собі нічого не доводить щодо дотримання цих вимог.

Два навчальні сценарії

Документація B2B-продукту. Публічні можливості, інтеграції й обмеження. Команда складає огляд і перевіряє, чи знаходить обраний агент актуальну інструкцію. Перевірка включає конкретне запитання, URL і правильність відповіді. Доступний файл ще не означає зростання заявок.

Платні інженерні звіти. Відкрита частина описує тему, метод і умови передплати; повний звіт потребує авторизації. Каталог веде на публічний опис. Компанія окремо вирішує питання навчання моделей і перевіряє захист змісту. robots.txt не замінює доступ за передплатою.

Це приклади ухвалення рішення, а не клієнтські кейси з підтвердженим зростанням трафіку. В обох випадках витрати включають перевірку, редагування й подальшу підтримку, навіть якщо сам текстовий файл не потребує платного сервісу.

Що перевірити цього тижня

1. Розібрати доступ. Зафіксувати три важливі URL, призначення ботів і фактичні обмеження. Виправляти лише підтверджену перешкоду для потрібного публічного змісту.
2. Підготувати чернетку. Скласти огляд документів, перевірити посилання й назвати інструмент, який його використовуватиме. Якщо такого інструмента немає, спочатку розв’язати очевиднішу проблему сайту.
3. Визначити предмет перевірки. Порівняти повторюваний набір запитань до й після погодженої правки. Окремо врахувати правильність відповіді, посилання, перехід і заявку; не приписувати зміну одному файлу без підстав.

Поширені запитання

Чим llms.txt відрізняється від robots.txt?

llms.txt описує проєкт і документи. robots.txt задає правила обходу для ботів, які його підтримують. Каталог не скасовує заборону доступу й не замінює серверного захисту.

Чи обов’язковий файл для появи в ChatGPT?

Немає підтвердженої універсальної вимоги llms.txt. Для Search OpenAI описує OAI-SearchBot. Можливість прочитати документ і рішення використати його у відповіді — різні етапи.

Чи потрібно дозволяти GPTBot заради пошуку?

Пошуком і навчанням в OpenAI керують окремо. Рішення щодо навчання ухвалюйте за правами й бізнес-моделлю, а доступ OAI-SearchBot перевіряйте для пошукового використання.

Чи поліпшує llms.txt SEO й чи замінює sitemap.xml?

Google Search ігнорує llms.txt. sitemap.xml зберігає своє завдання виявлення URL; звичайні вимоги доступності й змісту залишаються. Підтримку каталогу іншим агентом оцінюють окремо.

Де розміщувати файл і яке потрібне розширення?

Стандартна адреса — /llms.txt; актуальна пропозиція допускає файл у підкаталозі. Ім’я — llms.txt, зміст — Markdown. Важлива область документів, яку він описує.

Чи можна посилатися на піддомени й зовнішні документи?

Можна включати потрібні посилання, ясно позначивши джерело й призначення. Перевірте доступність і право публікації. Посилання на зовнішній профіль не робить його зміст доведеним фактом вашого сайту.

Чи захистить llms.txt зображення й звіти від копіювання?

Ні. Він не обмежує доступу. Для закритого змісту потрібен реальний захист, для публічного — окреме рішення щодо прав і використання. Не публікуйте конфіденційних відомостей у файлі.

Чи потрібно відкривати всіх ботів одразу?

Спочатку визначте потрібну функцію й публічні документи. Правила різних постачальників відрізняються; загальний дозвіл не є обов’язковою умовою видимості. Перевіряйте результат за конкретними зверненнями й запитаннями.

Для першого зовнішнього сигналу доступна попередня GEO-перевірка. Якщо потрібно розібратися в повторюваній проблемі доступу або точності відповідей, обговоріть GEO-діагностику з обмеженим обсягом і зрозумілим результатом.