📌 LLMS.txt, AI crawlery a budoucnost dohledatelnosti: jak správně otevřít (nebo zavřít) e-shop AI nástrojům?

Ještě nedávno stačilo řešit hlavně Googlebot, SeznamBot, Bingbot, sitemapu a robots.txt. E-shopař věděl, že když chce být vidět ve vyhledávačích, musí web zpřístupnit klasickým crawlerům, mít indexovatelné kategorie, kvalitní obsah, produktová data a rozumné SEO.

Dnes do hry vstupují AI nástroje. ChatGPT, Gemini, Perplexity, Claude, Copilot, Apple Intelligence, AI Overviews nebo různí nákupní asistenti mění způsob, jak lidé hledají informace. Zákazník už nemusí napsat jen „dětská autosedačka 15 kg“. Zeptá se: „Jakou autosedačku vybrat pro čtyřleté dítě, když máme menší auto a často jezdíme po městě?“

A právě tady začíná nové téma: jak zajistit, aby AI nástroje váš e-shop vůbec znaly, rozuměly mu, dokázaly z něj čerpat a zároveň vám nebraly obsah způsobem, který nechcete?

Do slovníku SEO specialistů se dostává `llms.txt`, AI crawlery, GEO, AEO, robots.txt pro umělou inteligenci, Google-Extended, GPTBot, PerplexityBot, ClaudeBot nebo Applebot-Extended. Zní to technicky, ale pro e-shop je otázka jednoduchá: chcete být v AI odpovědích vidět, nebo chcete AI nástroje od svého obsahu držet dál?

Co je llms.txt

`llms.txt` je navrhovaný soubor, který se umisťuje do kořenové složky webu podobně jako `robots.txt` nebo `sitemap.xml`. Jeho myšlenka je jednoduchá: dát jazykovým modelům přehledný návod, co je na webu důležité, jaký obsah má reprezentovat značku a kde najdou klíčové informace.

Typicky může obsahovat:

• stručný popis webu,
• odkazy na nejdůležitější stránky,
• odkazy na kategorie, poradny nebo dokumentaci,
• informace o značce,
• odkazy na obchodní podmínky, dopravu, reklamace a kontakt,
• případně pravidla, jak má AI obsah používat.

Důležité je říct nahlas: `llms.txt` zatím není univerzálně respektovaný standard jako sitemap.xml. Není to kouzelný soubor, který zajistí, že vás ChatGPT, Gemini nebo Perplexity začnou citovat. Je to spíš návrh a praktická pomůcka pro budoucnost strojově čitelného webu.

Pro e-shop má ale i tak smysl. Ne proto, že by okamžitě přinesl návštěvnost, ale proto, že vás nutí pojmenovat, které stránky jsou pro AI, zákazníky i vyhledávače opravdu důležité.

Jak se llms.txt liší od robots.txt a sitemap.xml

Tyto tři soubory si lidé často pletou. Každý má ale jinou roli.

• robots.txt říká crawlerům, kam smí nebo nesmí lézt.
• sitemap.xml ukazuje vyhledávačům seznam URL, které mají znát.
• llms.txt má AI modelům vysvětlit, co je na webu důležité a jaký obsah dává nejlepší kontext.

Robots.txt je dopravní značka. Sitemap.xml je mapa webu. Llms.txt je stručný průvodce pro AI asistenta.

Pokud chcete být v AI dohledatelní, nestačí jen někam přidat nový soubor. Musíte mít zároveň kvalitní obsah, čistou strukturu, indexovatelné stránky a důvěryhodná produktová data.

Proč to má e-shop řešit právě teď

AI vyhledávání mění nákupní cestu. Dřív zákazník otevřel Google, prošel výsledky, klikl na kategorii, přečetl článek a porovnal produkty. Dnes může část rozhodování proběhnout přímo v AI rozhraní.

Uživatel se zeptá:

• „Jaký kočárek vybrat do města?“
• „Jaký vysavač je vhodný na chlupy od psa?“
• „Jaký dárek koupit dvouletému dítěti?“
• „Jak vybrat školní batoh pro prvňáka?“
• „Které e-shopy mají dobré recenze na dětské zboží?“

AI nástroj může odpovědět bez klasického seznamu deseti modrých odkazů. Může doporučit typ produktu, zmínit značky, citovat zdroje, poslat uživatele na konkrétní web nebo ho naopak udržet v odpovědi.

Budoucnost dohledatelnosti nebude jen o pozici ve vyhledávači. Bude i o tom, jestli se váš e-shop stane důvěryhodným zdrojem pro AI odpovědi.

Co jsou AI crawlery

AI crawler je robot, který navštěvuje webové stránky kvůli AI systémům. Může mít různé účely. Některý sbírá data pro trénování modelů, jiný pro vyhledávání, další načítá stránku na základě konkrétního dotazu uživatele.

Tohle rozlišení je zásadní. Ne každý AI crawler dělá totéž.

1. Crawlery pro trénování modelů

Tyto crawlery sbírají veřejný obsah, který může být použit pro budoucí trénování nebo zlepšování modelů. Majitel webu často řeší, jestli chce obsah pro tento účel povolit.

Typický příklad:

• GPTBot,
• Google-Extended,
• ClaudeBot,
• Applebot-Extended,
• CCBot.

2. Crawlery pro AI vyhledávání a odpovědi

Tyto crawlery pomáhají AI nástrojům najít, indexovat nebo citovat webové zdroje v odpovědích. U nich může blokace znamenat nižší šanci, že se e-shop objeví jako zdroj v AI výsledku.

Typický příklad:

• PerplexityBot,
• Claude-SearchBot,
• DuckAssistBot,
• některé vyhledávací části Bing/Copilot ekosystému.

3. Uživatelsky spuštěné fetchery

Některé nástroje načítají stránku až ve chvíli, kdy se uživatel zeptá nebo vloží odkaz. To je jiný režim než automatické plošné crawlery. Například OpenAI u `ChatGPT-User` uvádí, že jde o uživatelsky iniciované akce a pravidla robots.txt se na ně nemusí vztahovat stejným způsobem jako na automatické crawlery.

Pro e-shop je největší chyba házet všechny AI boty do jednoho pytle. Některé chcete pustit, protože přinášejí dohledatelnost. Jiné můžete chtít omezit, protože slouží hlavně k trénování modelů.

Robots.txt: pořád základ, ale ne neprůstřelný zámek

`robots.txt` je soubor, kterým web dává crawlerům instrukce. Například:

User-agent: *
Disallow: /kosik/
Disallow: /prihlaseni/
Sitemap: https://www.example.cz/sitemap.xml

Pro klasické SEO je robots.txt pořád důležitý. U AI crawlerů ale platí opatrnost. Slušné crawlery ho respektují, problematické nebo anonymní scrapery nemusí. Google sám uvádí, že robots.txt není bezpečnostní mechanismus. Pokud nechcete, aby někdo viděl citlivý obsah, nemá být veřejně dostupný.

Robots.txt není zámek na dveřích. Je to cedule „sem prosím nechoďte“.

Pro e-shop to znamená:

• neblokujte důležité kategorie a produkty omylem,
• citlivé části webu chraňte přihlášením, ne jen robots.txt,
• AI boty řešte podle účelu, ne plošně,
• sledujte logy a reálné chování crawlerů,
• u větších e-shopů řešte WAF, CDN a bot management.

Jak AI crawlery otevřít

Pokud chcete být dohledatelní v AI nástrojích, obecně nechcete blokovat crawlery, které slouží k vyhledávání, citacím, odpovědím a indexaci. Chcete jim dát přístup k veřejnému, kvalitnímu a obchodně smysluplnému obsahu.

Pro e-shop to znamená otevřít hlavně:

• hlavní kategorie,
• důležité produktové stránky,
• nákupní poradny,
• FAQ,
• blogové články,
• stránky o dopravě, reklamacích a vrácení zboží,
• kontakt,
• informace o značce,
• recenze a důvěryhodnostní prvky.

AI nástroje potřebují kontext. Pokud máte jen produkt, cenu a tlačítko do košíku, dáváte jim málo materiálu k pochopení.

Příklad otevřenějšího robots.txt pro e-shop

User-agent: *
Disallow: /kosik/
Disallow: /objednavka/
Disallow: /prihlaseni/
Disallow: /registrace/
Disallow: /admin/
Allow: /

Sitemap: https://www.example.cz/sitemap.xml

Tohle je zjednodušený příklad. V praxi je potřeba respektovat konkrétní strukturu Shoptetu, parametrické URL, filtry, stránkování a interní technické cesty.

Jak AI crawlery zavřít

Některé e-shopy naopak nechtějí, aby jejich obsah sloužil pro trénování AI modelů. Může jít o unikátní poradny, vlastní návody, datové katalogy, prémiový obsah, know-how nebo obsah, do kterého firma investovala hodně peněz.

V takovém případě lze do robots.txt přidat pravidla pro konkrétní boty.

Příklad blokace vybraných AI trénovacích crawlerů

User-agent: GPTBot
Disallow: /

User-agent: Google-Extended
Disallow: /

User-agent: ClaudeBot
Disallow: /

User-agent: Applebot-Extended
Disallow: /

User-agent: CCBot
Disallow: /

Tato pravidla říkají vybraným crawlerům, že nemají web procházet. Neznamená to ale automaticky, že každý systém na světě pravidla dodrží, a už vůbec to nechrání obsah, který je veřejně dostupný běžnému uživateli.

Pokud je něco obchodně citlivé, nepatří to na veřejnou URL bez ochrany.

Nezablokujte si omylem budoucí návštěvnost

Plošné blokování všech AI botů může vypadat bezpečně, ale má háček. AI vyhledávání se postupně stává novou vrstvou dohledatelnosti. Pokud zablokujete vše, můžete se odříznout od budoucí návštěvnosti, citací a doporučení.

Rozumnější je rozdělit boty podle účelu:

• Vyhledávací a citační boty spíše povolit.
• Trénovací boty podle strategie povolit nebo blokovat.
• Agresivní nebo neidentifikované scrapery řešit technicky přes logy, WAF a bezpečnostní pravidla.
• Citlivé části webu chránit přihlášením nebo serverovou autorizací.

U e-shopu je obvykle lepší nechat AI nástroje vidět veřejný prodejní a poradenský obsah, ale chránit interní, duplicitní, technické nebo citlivé části.

Které části e-shopu otevřít AI nástrojům

AI nástroje se budou hodit hlavně tam, kde zákazník potřebuje poradit. Proto má smysl zpřístupnit obsah, který vysvětluje sortiment a pomáhá s výběrem.

Kategorie

Kategorie jsou pro e-shop zásadní. AI musí pochopit, co prodáváte, pro koho je kategorie určená, jaké jsou hlavní rozdíly mezi produkty a na co si dát při výběru pozor.

Dobrá kategorie by měla mít:

• jasný název,
• krátký užitečný úvod,
• přehledné členění sortimentu,
• filtry, které dávají smysl,
• interní odkazy na poradny,
• FAQ,
• produkty s kvalitními daty.

Kategorie bez kontextu je pro AI jen seznam položek. Kategorie s poradenskou hodnotou je zdroj.

Produktové stránky

Produktová stránka by měla odpovídat na otázky, které zákazník řeší před nákupem. U důležitých produktů doplňte parametry, rozměry, materiály, kompatibilitu, použití, výhody, omezení, recenze a časté otázky.

AI nástroj pak snáze pochopí, komu produkt doporučit a v jaké situaci dává smysl.

Poradna a blog

Blogové články jsou pro AI dohledatelnost velmi důležité. Ne však články psané jako SEO vata. Fungují články, které reálně vysvětlují výběr, rozdíly, chyby a praktické situace.

Příklady dobrých témat:

• Jak vybrat autosedačku podle věku a váhy dítěte
• Jaký kočárek do města a jaký do terénu
• Jak vybrat vysavač na zvířecí chlupy
• Jak poznat kvalitní dětské boty
• Jak vybrat matraci podle tvrdosti a polohy spánku

AI nástroje nechtějí jen klíčová slova. Chtějí odpovědi.

Co naopak AI nástrojům zavírat

Ne všechno na e-shopu má být volně procházené. Některé části jsou pro AI i klasické vyhledávače zbytečné nebo rizikové.

• košík,
• objednávkový proces,
• přihlášení,
• registrace,
• interní vyhledávání,
• administrace,
• URL s osobními údaji,
• duplicitní filtrové kombinace,
• testovací stránky,
• parametrické URL bez SEO hodnoty.

U Shoptetu bývá potřeba hlídat hlavně filtry, stránkování, vyprodané produkty, duplicitní URL a technické stránky, které nemají být indexovatelné.

Jak může vypadat llms.txt pro e-shop

Llms.txt by měl být stručný, přehledný a užitečný. Nemá suplovat celý web. Má AI nástroji ukázat, které stránky reprezentují e-shop nejlépe.

Příklad jednoduchého llms.txt

# Example.cz

> Český e-shop se specializací na dětské potřeby, kočárky, autosedačky, hračky a vybavení pro rodiče.

## Důležité stránky
- O nás: https://www.example.cz/o-nas/
- Kontakt: https://www.example.cz/kontakt/
- Doprava a platba: https://www.example.cz/doprava-a-platba/
- Reklamace a vrácení zboží: https://www.example.cz/reklamace/

## Hlavní kategorie
- Kočárky: https://www.example.cz/kocarky/
- Autosedačky: https://www.example.cz/autosedacky/
- Hračky: https://www.example.cz/hracky/
- Dětský pokoj: https://www.example.cz/detsky-pokoj/

## Poradna
- Jak vybrat kočárek: https://www.example.cz/blog/jak-vybrat-kocarek/
- Jak vybrat autosedačku: https://www.example.cz/blog/jak-vybrat-autosedacku/
- Jak vybrat hračku podle věku dítěte: https://www.example.cz/blog/jak-vybrat-hracku-podle-veku/

## Pravidla použití
Obsah je určen pro informování zákazníků a citování se zdrojem. Produktové ceny a dostupnost se mohou měnit, aktuální informace jsou vždy na produktových stránkách.

Dobrý llms.txt není dlouhý seznam všech URL. Je to výběr nejdůležitějších zdrojů.

Má llms.txt SEO efekt?

Přímo pro klasické SEO zatím neexistuje jistý důkaz, že by samotný `llms.txt` zlepšoval pozice ve vyhledávání. Google ho nepoužívá jako standardní SEO signál a velké AI systémy ho zatím nerespektují jednotně.

Přesto může mít nepřímou hodnotu:

• pomáhá vybrat nejdůležitější stránky webu,
• nutí e-shop zpřehlednit obsah,
• může sloužit budoucím AI nástrojům,
• pomáhá interně definovat zdroje pravdy,
• doplňuje sitemapu a robots.txt,
• může pomoci při GEO/AEO optimalizaci.

Llms.txt berte jako přípravu na budoucnost, ne jako náhradu SEO.

GEO, AEO a SEO: nové zkratky, starý základ

S příchodem AI vyhledávání se objevují nové zkratky. GEO znamená Generative Engine Optimization. AEO znamená Answer Engine Optimization. Klasické SEO ale nezmizelo.

Ve skutečnosti se tyto disciplíny překrývají:

• SEO řeší viditelnost ve vyhledávačích,
• AEO řeší odpovědi na konkrétní otázky,
• GEO řeší viditelnost v generativních AI odpovědích.

Pro e-shop to prakticky znamená:

• pište jasné odpovědi,
• strukturovaně vysvětlujte produkty,
• používejte FAQ,
• budujte tematickou autoritu,
• mějte kvalitní produktová data,
• pracujte s recenzemi,
• ukažte zkušenost a důvěryhodnost,
• nepište obecnou AI vatu.

AI dohledatelnost není trik pro soubor v rootu. Je to důsledek toho, že je váš web srozumitelný, důvěryhodný a užitečný.

Strukturovaná data: jazyk, kterému rozumí stroje

Pokud chcete, aby AI a vyhledávače lépe chápaly e-shop, řešte strukturovaná data. U e-shopu jsou důležitá hlavně produktová, organizační a obsahová data.

Hlídejte hlavně:

• Product schema,
• Offer schema,
• AggregateRating,
• Review,
• Organization,
• BreadcrumbList,
• FAQPage tam, kde dává smysl,
• Article nebo BlogPosting u článků.

Strukturovaná data nezaručí citaci v AI odpovědi. Pomáhají ale strojům pochopit, co je produkt, cena, dostupnost, recenze, značka, autor nebo kategorie.

Jak optimalizovat obsah pro AI crawlery

AI nástroje potřebují jasný, konzistentní a ověřitelný obsah. U e-shopu to znamená přestat psát texty jen pro vyhledávací fráze a začít psát pro rozhodování zákazníka.

Pište konkrétně

Špatně:

Vyberte si z naší široké nabídky kvalitních produktů za skvělé ceny.

Lépe:

Do města se hodí lehčí kočárek s otočnými předními koly, menší šířkou konstrukce a snadným skládáním jednou rukou.

Odpovídejte na otázky

AI často pracuje s otázkami. Kategorie i články by měly obsahovat odpovědi na dotazy zákazníků:

• Pro koho je produkt vhodný?
• Kdy zvolit levnější variantu?
• Kdy se vyplatí dražší model?
• Na co si dát pozor?
• Jaké parametry rozhodují?
• Jaké chyby lidé dělají při výběru?

Uvádějte omezení

Skvělý obsah neříká jen výhody. Říká i limity. AI nástroje často preferují zdroje, které pomáhají objektivně rozhodnout.

Stránka, která férově vysvětlí, kdy produkt není vhodný, může působit důvěryhodněji než stránka, která všechno jen chválí.

Jak měřit AI crawlery

V Google Analytics neuvidíte všechno. AI crawler nemusí přijít jako běžný uživatel a nemusí spustit měřicí kód. Proto je potřeba dívat se i do serverových logů, CDN, bezpečnostních nástrojů nebo hostingu.

Sledujte hlavně:

• jaké user-agenty web navštěvují,
• které URL crawlují,
• jak často chodí,
• zda respektují robots.txt,
• zda nevytěžují server,
• zda se nedívají na citlivé nebo zbytečné části webu,
• zda se po otevření AI crawlerům mění návštěvnost z AI nástrojů.

U větších e-shopů se vyplatí řešit Cloudflare, CDN logy, WAF pravidla a bot management. U menších e-shopů stačí začít kontrolou robots.txt, sitemap, Bing Webmaster Tools, Google Search Console a základních logů.

Cloudflare, WAF a aktivní blokace

Robots.txt je pasivní instrukce. Pokud potřebujete aktivně blokovat agresivní nebo nepoctivé scrapery, řeší se to na úrovni serveru, CDN nebo bezpečnostní vrstvy.

Cloudflare a podobné služby umí:

• rozlišovat ověřené boty,
• blokovat známé AI crawlery,
• omezovat rychlost požadavků,
• chránit citlivé části webu,
• sledovat chování botů,
• aplikovat WAF pravidla.

Pokud vám AI crawler zatěžuje e-shop, robots.txt nemusí stačit. Potřebujete technické omezení provozu.

Doporučená strategie pro Shoptet e-shop

Pro většinu Shoptet e-shopů bych nedoporučil extrémní strategii „povolit vše“ ani „zakázat vše“. Lepší je řízený přístup.

1. Nechte dostupný veřejný prodejní obsah

Kategorie, produkty, poradny a důvěryhodnostní stránky by měly být pro vyhledávače a relevantní AI nástroje dostupné. Právě z nich může vzniknout budoucí dohledatelnost.

2. Blokujte technické a citlivé části

Košík, objednávkový proces, přihlášení, interní vyhledávání a administrace nemají být pro crawlery zajímavé.

3. Rozlišujte trénování od dohledatelnosti

Můžete povolit AI vyhledávací boty, ale blokovat některé trénovací boty. Tím se snažíte zachovat šanci na citace a odpovědi, ale omezit využití obsahu pro trénování modelů.

4. Připravte llms.txt jako navigaci

Do `llms.txt` dejte hlavní kategorie, poradny, důležité informační stránky a krátký popis e-shopu. Nečekejte zázrak, ale berte to jako součást přípravy na strojově čitelný web.

5. Zlepšete obsah kategorií a poradny

Bez kvalitního obsahu není co AI nástrojům nabídnout. Zvlášť u e-shopů je potřeba doplnit rozhodovací obsah, ne jen produktový katalog.

Praktický checklist pro AI připravenost e-shopu

• Má web správně nastavený robots.txt?
• Nejsou omylem blokované důležité kategorie nebo produkty?
• Je dostupná sitemap.xml?
• Má e-shop kvalitní kategorie s užitečným obsahem?
• Mají produkty dost parametrů, popisů, recenzí a strukturovaných dat?
• Existuje poradna s odpověďmi na reálné otázky zákazníků?
• Má web FAQ u důležitých témat?
• Je jasné, které AI crawlery chcete povolit a které blokovat?
• Máte připravený `llms.txt` s nejdůležitějšími zdroji?
• Sledujete logy crawlerů?
• Chráníte citlivé části webu skutečnou autorizací?
• Máte měření návštěvnosti z AI nástrojů, kde je to možné?

Nejčastější chyby e-shopů

1. Plošně zablokují všechny AI boty

Krátkodobě to může působit bezpečně. Dlouhodobě se tím ale e-shop může odříznout od nové vrstvy dohledatelnosti.

2. Neřeší rozdíl mezi trénovacím a vyhledávacím botem

Blokovat crawler pro trénování modelů je jiná věc než blokovat bot, který pomáhá zobrazovat zdroje v AI odpovědích.

3. Spoléhají na llms.txt jako na zázračné SEO

Llms.txt může být užitečný doplněk, ale bez kvalitního webu, obsahu a indexace nic nezachrání.

4. Mají slabé produktové informace

AI nástroj těžko doporučí produkt, u kterého chybí rozměry, použití, kompatibilita, materiál nebo jasný popis.

5. Neumí měřit crawler provoz

Když nevidíte logy, nevíte, kdo web prochází, jak často a co na něm dělá.

Budoucnost dohledatelnosti: méně kliků, větší důraz na důvěru

AI vyhledávání pravděpodobně sníží počet některých informačních kliků. Uživatel dostane část odpovědi přímo v rozhraní. Zároveň ale poroste hodnota značek a webů, které se stanou důvěryhodným zdrojem.

Pro e-shop to znamená změnu myšlení. Nestačí honit pozice na jednotlivá klíčová slova. Je potřeba budovat tematickou autoritu. Když prodáváte dětské zboží, Google i AI nástroje by měly chápat, že umíte poradit s výběrem kočárku, autosedačky, hraček i výbavy pro rodiče.

Budoucnost SEO bude víc o srozumitelnosti, autoritě, datech a zkušenosti než o izolovaných klíčových slovech.

Otevřít, nebo zavřít?

Pro většinu e-shopů je nejlepší odpověď: otevřít chytře.

Otevřete AI nástrojům veřejné stránky, které mají obchodní a informační hodnotu. Zavřete košík, objednávku, interní technické části a citlivý obsah. U trénovacích crawlerů si nastavte vlastní pravidla podle toho, jestli chcete obsah poskytovat modelům, nebo ho chránit. Připravte `llms.txt`, ale nespoléhejte na něj jako na magický soubor.

Nejdůležitější práce se pořád děje na samotném e-shopu. Kategorie musí dávat smysl. Produkty musí mít kvalitní data. Poradna musí odpovídat na reálné otázky. Web musí být technicky čitelný. Značka musí působit důvěryhodně.

AI crawlery nejsou jen hrozba. Jsou to noví návštěvníci vašeho webu. Otázka je, jestli jim ukážete chaos, nebo dobře připravený e-shop, kterému mohou rozumět.

Tomáš Zahálka - SEO & PPC Specialista

O autorovi článku: Marketingový specialista zaměřený na SEO a PPC reklamu pro Shoptet e-shopy, investor, bloger seriálu Jak se staví e-shop Dudlu a cestovatel, který spojuje marketing s poznáváním zemí jako Írán, USA, Sýrie, Japonsko, Afghánistán, Island, Mauretánie a Zéland.

LinkedIn Twitter / X YouTube Facebook

Kontaktovat autora

⏫ Potřebujete zlepšit pozice v SEO a hledáte zpětné odkazy? Spojte síly s Dudlu! ⏫