Що таке llms.txt і як його додати?
llms.txt — це карта ваших ключових сторінок для ШІ-моделей, але він є лише у ~10% із 300k доменів. Розбираємо формат, куди його класти й чим він відрізняється від robots.txt.
llms.txt — це файл у звичайному Markdown за адресою /llms.txt, який дає ШІ-моделям та агентам коротку куровану карту ваших найважливіших сторінок. Jeremy Howard запропонував його 3 вересня 2024 року (llmstxt.org). Логіка проста. Цілий сайт рідко вміщується в контекстне вікно моделі, а сирий HTML, повний навігації та шуму верстки, погано читається машиною. Тому замість того, щоб змушувати асистента обходити сайт і вгадувати, ви вручаєте йому чистий короткий список того, що прочитати першим.
Це не офіційний стандарт рівня robots.txt. Це відкрита конвенція, і ця відмінність важлива для того, як ним варто користуватися.
Ключові висновки
- llms.txt — це запропонована конвенція, а не затверджений стандарт. Jeremy Howard опублікував її у вересні 2024 року (llmstxt.org).
- Формат — Markdown: назва в
H1, summary в один рядок, потім розділиH2з курованими посиланнями. Строго обов'язковий лишеH1.- Його вже віддають реальні платформи, зокрема OpenAI, Stripe, Cloudflare і Mintlify, який автоматично генерує
llms.txtтаllms-full.txtдля документації (Mintlify).- Це не прийом для ранжування. Google каже, що спеціальні ШІ-файли взагалі не потрібні (Google Search Central), а дослідження ~300 000 доменів не знайшло явного зв'язку з цитуванням у ШІ (Search Engine Journal).
- Ставтеся до нього як до недорогого шару виявлюваності, особливо для документації, API, тарифів і політик. aiSiteReady віддає власний
/llms.txtі перевіряє ваш у скануванні.
Яку проблему насправді розв'язує llms.txt?
llms.txt відповідає на вузьку проблему, яку специфікація формулює прямо. Моделі дедалі частіше спираються на веб-контент, але їхні контекстні вікна обмежені, а перетворення складної HTML-сторінки на чистий і надійний текст лишається шумним і неточним (llmstxt.org). Файл не покликаний дзеркалити весь сайт. Він покликаний дати моделі коротку куровану точку входу до ваших найцінніших матеріалів.
Саме тому формат — Markdown, а не XML. Markdown читаний і людьми, і моделями, але водночас достатньо передбачуваний для звичайного парсингу. Інша ключова ідея — момент. llms.txt задуманий для тієї миті, коли користувач про щось запитує й асистенту потрібно вирішити, які сторінки взяти в контекст. Це не окремий протокол для навчання моделей.
Сценарії застосування ширші, ніж самі лише API-доки. Сама специфікація перелічує документацію бібліотек, сайти компаній і особисті сторінки, інтернет-магазини з товарами та політиками, освітні ресурси. Корисна рамка: llms.txt — це не стільки «SEO-файл для ШІ», скільки курована карта найцінніших знань вашого сайту.
Який вигляд має хороший llms.txt?
Коректний файл іде у фіксованому порядку. Він відкривається H1 з назвою сайту чи проєкту, необов'язковим blockquote із summary, потім необов'язковими абзацами або списками. Після цього йдуть розділи H2, де кожен рядок — markdown-посилання з необов'язковим описом після двокрапки (llmstxt.org). Строго кажучи, обов'язковий лише H1, але корисний файл майже завжди включає summary та куровані розділи. Особливий розділ ## Optional позначає посилання, які агент може пропустити заради коротшого контексту.
Ось скорочений фрагмент нашого файлу — того, що aiSiteReady віддає за адресою /llms.txt (він англійською: такий конвенційний формат):
# aiSiteReady
> aiSiteReady scans a public website and returns an Agent Readiness
> Score (0–100) that shows whether AI agents and AI search engines can
> discover, read, govern, and transact with the site.
## What it checks
- **Discoverability** — robots.txt, sitemap, Link headers, structured data.
- **Content accessibility** — Markdown negotiation, /llms.txt, server-rendered content.
- **Bot governance** — AI-bot access rules, content-usage directives, rate-limit hints.
## Pages
- [Home / scanner](https://example.com/): Start a free scan
- [Privacy policy](https://example.com/privacy): What we store, and for how long
## More
- [llms-full.txt](https://example.com/llms-full.txt): A fuller machine-readable summary
Прочитайте його згори вниз — і ролі стають зрозумілі. H1 — це ідентичність. Blockquote — стиснутий контекст, який асистент читає першим. Кожен ## — логічний кластер знань, а кожен рядок - [Заголовок](url): опис — конкретна точка входу. Опис робить роботу, пояснюючи моделі, чому посилання варто відкрити.
Багато команд документації тепер віддають і супутник llms-full.txt, який вбудовує сам вміст сторінок для агентів, що хочуть отримати все одним запитом. Тримайте описи короткими й чесними. Щойно файл перетворюється на неранжований звалище, він перестає бути картою й знову стає шумом.
Куди його класти і як ним користуються асистенти?
Безпечна відповідь — /llms.txt у корені сайту. Це шлях, описаний у специфікації, і той, що шукає аудит Lighthouse у Chrome (Chrome for Developers). Рекомендації Vercel щодо «читаності для агентів» також допускають /.well-known/llms.txt або /docs/llms.txt. Вони радять віддавати файл як text/plain, а перелічені URL робити з розширенням .md або .mdx, а не .html (Vercel).
Це вже не уявний експеримент. Stripe публікує /llms.txt, який підказує агентам, як отримати Markdown-версію будь-якої сторінки документації (Stripe). Mintlify автоматично генерує і llms.txt, і llms-full.txt для кожного проєкту документації, який він хостить (Mintlify). OpenAI і Cloudflare віддають власні.
Асистенти використовують файл у момент запиту. Коли користувач запитує про ваш продукт, агент може взяти /llms.txt, побачити, які сторінки важливі, і взяти їх у контекст замість сліпого обходу. Lighthouse тепер вбудував це в аудит готовності до агентів, позначаючи помилки сервера під час читання файлу та ставлячи N/A, коли файлу просто немає.
Чим llms.txt відрізняється від robots.txt і sitemap.xml?
Вони живуть у трьох різних шарах, тому жоден не замінює інший. robots.txt — це контроль обходу: він повідомляє краулерам, які URL їм можна запитувати. Це невідповідний інструмент, щоб сховати сторінку: Google зазначає, що robots.txt ненадійно прибирає URL із результатів. sitemap.xml — це плоский інвентар ваших канонічних сторінок без описів. llms.txt — ні те, ні інше. Це короткий семантичний гід, який каже, які сторінки найважливіші та в якому порядку їх читати.
| Файл | Чим керує | Для чого | Не для цього |
|---|---|---|---|
robots.txt | Яким краулерам можна запитувати які URL | Політика обходу для ботів | Сховати сторінку (потрібен noindex) |
sitemap.xml | Плоский інвентар канонічних URL | Допомогти пошуковикам знайти ваші URL | Сказати, що найважливіше |
llms.txt | Які сторінки важливі та в якому порядку | ШІ-дружня карта читання | Блокування чи ранжування |
Тож правило просте, але його варто повторити. Для політики обходу — robots.txt. Щоб прибрати сторінку з пошуку — noindex. Для виявлення URL — sitemap. Для ШІ-дружньої карти читання — llms.txt. Плутанина між ними — найчастіша помилка в матеріалах про GEO, і через неї від файлу чекають блокування чи ранжування, хоча він не робить ні того, ні іншого.
Які помилки з llms.txt трапляються найчастіше?
Найчастіша — називати його «robots.txt для ШІ». Зручно з погляду маркетингу й технічно неправильно: llms.txt не задає правил обходу й не замінює ні noindex, ні bot-specific директиви.
Друга — обіцяти, що сам лише файл підвищить ваші Google AI Overviews чи цитованість у ШІ. Тут позиція Google пряма: «Вам не потрібно створювати нові машиночитані файли, ШІ-текстові файли чи розмітку, щоб з'являтися в цих функціях» (Google Search Central). Незалежні заміри підтверджують обережність. Аналіз майже 300 000 доменів знайшов llms.txt приблизно у 10% з них і без явного впливу на те, як часто ШІ-системи цитують сайт (Search Engine Journal).
Решта помилок — практичні. Не посилайтеся на HTML-only сторінки, биті URL, приватні документи чи порожні секції. Не звалюйте сотні неприоритизованих посилань, відтворюючи sitemap без його формальної користі. І якщо ви справді хочете, щоб асистенти читали ваш контент, пам'ятайте: опублікувати файл недостатньо. OpenAI рекомендує не блокувати його пошуковий краулер у robots.txt, а ШІ-функції Google досі залежать від звичайної обхідності. Файл показує дорогу; пройти нею дозволяють уже ваші правила для ботів.
Як перевірити, що ваш llms.txt працює?
Перевіряйте у три шари. Перший — сам файл: він має відкриватися за своїм URL і віддавати чисту відповідь, в ідеалі 200 з text/plain або text/markdown. Другий — шлях агента до вашого контенту: переконайтеся, що потрібні боти не заблоковані, що є sitemap і що основний контент читається без запуску JavaScript. Третій — уся картина цілком, у вигляді оцінки, щоб знати, з чого почати.
Цей останній шар і робить aiSiteReady. Він перевіряє ваш сайт так, як це зробив би асистент. llms.txt — лише одна з приблизно 15–20 перевірок із виявлюваності, доступності контенту, керування ботами, протоколів і комерції. Ви отримуєте оцінку Agent Readiness Score від 0 до 100, блокери, які коштують вам найбільше балів, і конкретні виправлення. Точні перевірки та ваги описані на сторінці методології, а llms.txt належить до виявлюваності — поруч із robots.txt і вашим sitemap.
Запустіть безкоштовне сканування, щоб побачити, чи можуть ChatGPT, Perplexity, Claude та ШІ-поверхні Google знайти ваш llms.txt, прочитати контент і дотриматися ваших правил для ботів. А потім почніть із найвпливовіших прогалин.
IMozz створює aiSiteReady — сканер лише для читання, який перевіряє, чи можуть ШІ-агенти прочитати сайт. Він віддає власні /llms.txt і /llms-full.txt як робочі приклади.