Site pronto para IA: llms.txt, crawlers no robots.txt e dados estruturados

Os dois artigos anteriores falaram de SEO técnico e de como escrever para ser citado. Este fecha a série com a parte de infraestrutura: o que precisa estar no servidor para que sistemas de IA consigam acessar, entender e citar o seu site.

Quem são os robôs de IA

Cada empresa tem mais de um robô, com funções diferentes. Os principais, segundo a documentação de cada uma:

Empresa	User-agent	Para que serve
OpenAI	GPTBot	Coleta para treinamento de modelos
OpenAI	OAI-SearchBot	Índice da busca do ChatGPT
OpenAI	ChatGPT-User	Visitas feitas a pedido de um usuário
Anthropic	ClaudeBot	Coleta para treinamento de modelos
Anthropic	Claude-SearchBot	Busca do Claude
Anthropic	Claude-User	Visitas feitas a pedido de um usuário
Perplexity	PerplexityBot	Índice de busca da Perplexity
Google	Google-Extended	Token de controle de uso no Gemini (não é um robô separado)
Apple	Applebot-Extended	Token de controle de uso em treinamento
Common Crawl	CCBot	Base aberta usada por muitos modelos

A distinção que importa é treinamento × busca. Bloquear treinamento é uma decisão sobre o uso do seu conteúdo; bloquear busca é abrir mão de ser citado.

robots.txt: decida e declare

Para um portfólio ou site de serviços, em que ser encontrado é o objetivo, eu libero os robôs de busca e deixo a decisão sobre treinamento explícita:

# Busca com IA: liberado (queremos ser citados)
User-agent: OAI-SearchBot
User-agent: Claude-SearchBot
User-agent: PerplexityBot
Allow: /

# Treinamento: decisão do dono do site
User-agent: GPTBot
User-agent: ClaudeBot
User-agent: Google-Extended
User-agent: CCBot
Allow: /

# Todo o resto
User-agent: *
Allow: /

Sitemap: https://dominio.com.br/sitemap.xml

Troque Allow por Disallow no segundo bloco se não quiser que o conteúdo entre em treinamento. Duas observações:

• robots.txt é um pedido, não uma trava. As grandes empresas declaram que respeitam, mas não é controle de acesso.
• Agentes acionados por um usuário (ChatGPT-User, Claude-User) seguem regras próprias, descritas na documentação de cada empresa.

Cloudflare: o bloqueio que você não ligou

Se o seu site passa pela Cloudflare, vale abrir o painel. Desde julho de 2025 a Cloudflare oferece, e em domínios novos ativa por padrão, o bloqueio de crawlers de IA. É uma boa proteção para quem não quer ser coletado, mas pode tirar silenciosamente o seu site das respostas de busca com IA. Confira em Security → Bots e alinhe com o que está no robots.txt.

HTML que um robô consegue ler

Crawlers de IA, em geral, não executam JavaScript. Eles baixam o HTML e extraem o texto. Para eles, uma SPA que monta o conteúdo no navegador é uma página vazia.

O que eu garanto:

• Conteúdo pré-renderizado (SSG ou SSR). Todo texto precisa estar no HTML final.
• HTML semântico: <article>, <nav>, <main>, títulos em ordem, listas de verdade, tabelas com <th>.
• Nada importante dentro de imagem. Texto em imagem não é lido; use alt descritivo quando a imagem carrega informação.
• Resposta rápida do servidor. Robôs têm timeout; páginas lentas são abandonadas.

llms.txt: o mapa do site para modelos

O llms.txt é uma proposta de setembro de 2024, de Jeremy Howard (llmstxt.org): um arquivo Markdown na raiz do site com o nome do projeto, um resumo e links para as páginas que importam. A ideia é dar a um modelo, numa leitura só, o contexto que ele levaria dezenas de páginas para montar.

Sendo honesto sobre o estado atual: nenhum grande provedor de IA se comprometeu publicamente a ler o llms.txt para busca ou ranking. Onde ele já é útil é em agentes, assistentes de programação e ferramentas que montam contexto a partir de documentação. Como o custo é quase zero, eu publico.

O formato é simples:

# Adryan Cosmo

> Desenvolvedor web full-stack. Sites e produtos digitais
> com IA aplicada.

## Artigos

- [SEO técnico em 2026](https://dominio.com.br/pt/blog/seo-tecnico-checklist/): checklist de rastreamento, indexação e Core Web Vitals
- [GEO](https://dominio.com.br/pt/blog/geo-motores-generativos/): como ser citado por motores generativos

## Projetos

- [MindUni](https://github.com/CosmoAdryan/minduni): app de saúde mental para universitários

Neste site, o arquivo é gerado no build a partir dos próprios artigos e projetos, então nunca fica desatualizado. Você pode ver o resultado em /llms.txt.

Dados estruturados: o que dizer explicitamente

Modelos tentam responder “quem disse isso, quando e com que autoridade?”. O JSON-LD responde sem ambiguidade. O mínimo que eu publico:

• Person (ou Organization) em todas as páginas, com name, jobTitle, url, knowsAbout e sameAs apontando para GitHub e LinkedIn. É isso que conecta o site aos seus outros perfis.
• BlogPosting em cada artigo, com headline, author, datePublished, dateModified, image e inLanguage.
• BreadcrumbList para mostrar onde a página está na hierarquia do site.
• FAQPage quando há perguntas e respostas reais no conteúdo.

{
  "@context": "https://schema.org",
  "@type": "BlogPosting",
  "headline": "Site pronto para IA: llms.txt, crawlers no robots.txt e dados estruturados",
  "author": { "@type": "Person", "name": "Adryan Cosmo", "url": "https://dominio.com.br" },
  "datePublished": "2026-10-14T00:00:00.000Z",
  "dateModified": "2026-10-14T00:00:00.000Z",
  "inLanguage": "pt"
}

Valide com o Teste de pesquisa aprimorada e o validador do schema.org.

Checklist de site pronto para IA

• Robôs de busca com IA liberados no robots.txt
• Decisão sobre robôs de treinamento tomada e declarada
• Regras de bots da Cloudflare (ou do seu CDN) alinhadas com o robots.txt
• Conteúdo principal no HTML do servidor, sem depender de JavaScript
• HTML semântico, títulos em ordem, nada importante só em imagem
• /llms.txt gerado no build
• JSON-LD de Person com sameAs e de BlogPosting com datas
• Resumo e FAQ nos conteúdos principais (técnicas de GEO)

Nada aqui é mágico, e nenhuma dessas práticas substitui conteúdo bom. Mas é a diferença entre um site que a IA consegue ler e citar e um site que ela simplesmente não vê.