O arquivo robots.txt é um dos elementos fundamentais do SEO Técnico. Ele ajuda os mecanismos de busca a entenderem quais áreas do seu site podem ou não ser acessadas pelos robôs de rastreamento, como o Googlebot.
Apesar de ser um arquivo simples, uma configuração incorreta pode impedir que páginas importantes sejam indexadas ou permitir o rastreamento de conteúdos que não deveriam aparecer nos resultados de busca.
Neste guia, você vai entender o que é robots.txt, como ele funciona, quais regras utilizar e quais erros evitar.
O que é robots.txt?
O robots.txt é um arquivo de texto localizado na raiz de um site que informa aos mecanismos de busca quais páginas, diretórios ou arquivos podem ser rastreados.
Ele utiliza o padrão chamado Robots Exclusion Protocol, permitindo que administradores controlem o comportamento dos crawlers.
O arquivo normalmente fica disponível neste endereço:
https://seudominio.com.br/robots.txt
Exemplo:
User-agent: * Disallow: /wp-admin/ Allow: /wp-admin/admin-ajax.php Sitemap: https://seudominio.com.br/sitemap.xml
Por que o robots.txt é importante para SEO?
Os mecanismos de busca utilizam robôs para navegar pela internet, encontrar páginas e adicionar conteúdos ao índice.
O robots.txt ajuda a direcionar esse rastreamento, evitando desperdício de recursos e melhorando a eficiência do Googlebot.
Ele é importante para:
- Controlar áreas administrativas;
- Evitar rastreamento de páginas irrelevantes;
- Organizar o orçamento de rastreamento (crawl budget);
- Facilitar a comunicação com buscadores;
- Complementar uma estratégia de SEO Técnico.
Confira também: Guia Completo de SEO Técnico para Sites .
Como o robots.txt funciona?
O arquivo utiliza regras simples para informar aos robôs quais caminhos devem ser acessados ou bloqueados.
Os principais comandos são:
User-agent
Define qual robô receberá a regra.
User-agent: *
O símbolo * significa todos os mecanismos de busca.
Exemplo específico:
User-agent: Googlebot
Disallow
Indica quais páginas ou diretórios não devem ser rastreados.
Exemplo:
Disallow: /admin/
Nesse caso, os robôs não devem acessar a pasta admin.
Allow
Permite liberar uma exceção dentro de uma área bloqueada.
Exemplo:
Disallow: /wp-admin/ Allow: /wp-admin/admin-ajax.php
Sitemap
Indica onde está localizado o Sitemap XML do site.
Sitemap: https://seudominio.com.br/sitemap.xml
O Sitemap e o robots.txt trabalham juntos dentro de uma estratégia de SEO Técnico.
Veja também: Sitemap XML: como funciona e por que é importante .
Exemplo de robots.txt para WordPress
Uma configuração comum para sites WordPress:
User-agent: * Disallow: /wp-admin/ Disallow: /wp-includes/ Disallow: /wp-content/plugins/ Allow: /wp-admin/admin-ajax.php Sitemap: https://seudominio.com.br/sitemap.xml
Essa configuração impede o acesso a áreas internas, mas mantém o funcionamento necessário do site.
Robots.txt bloqueia a indexação?
Essa é uma dúvida comum.
O robots.txt controla principalmente o rastreamento, não a indexação.
Uma página bloqueada pelo robots.txt ainda pode aparecer no Google caso existam links externos apontando para ela.
Para impedir que uma página seja indexada, normalmente utiliza-se:
- Meta tag noindex;
- Cabeçalho HTTP X-Robots-Tag;
- Remoção da página.
Robots.txt x Sitemap XML: qual a diferença?
| Robots.txt | Sitemap XML |
|---|---|
| Indica o que deve ser evitado no rastreamento | Indica quais páginas devem ser encontradas |
| Controla acesso dos robôs | Ajuda na descoberta de URLs |
| Focado em rastreamento | Focado em indexação |
Erros comuns no robots.txt
1. Bloquear o site inteiro sem querer
Um erro comum é utilizar:
User-agent: * Disallow: /
Essa regra impede que todo o site seja rastreado.
2. Bloquear páginas importantes
Bloquear áreas com conteúdo relevante pode impedir que páginas apareçam no Google.
Antes de adicionar regras, avalie se aquela URL realmente deve ficar fora dos mecanismos de busca.
3. Usar robots.txt como ferramenta de segurança
O robots.txt não protege informações privadas.
Qualquer pessoa pode acessar:
https://seudominio.com.br/robots.txt
Para proteger dados sensíveis utilize autenticação, permissões de acesso ou bloqueios no servidor.
Como testar o robots.txt?
Existem ferramentas que ajudam a validar o arquivo:
Boas práticas para robots.txt
- ✅ Mantenha o arquivo simples e organizado;
- ✅ Inclua o Sitemap XML;
- ✅ Evite bloquear páginas importantes;
- ✅ Teste alterações antes de publicar;
- ✅ Não utilize para esconder informações privadas;
- ✅ Revise após mudanças no site.
Robots.txt em sites WordPress
Em projetos WordPress, o robots.txt deve ser configurado considerando:
- Área administrativa;
- Plugins instalados;
- Arquivos internos;
- Páginas de busca;
- Conteúdos duplicados.
Uma configuração correta melhora a eficiência do rastreamento e contribui para uma estratégia completa de SEO.
Conclusão
O robots.txt é um pequeno arquivo com grande impacto na estrutura técnica de um site.
Quando configurado corretamente, ele ajuda os mecanismos de busca a entenderem melhor seu site, melhora a eficiência do rastreamento e evita problemas de indexação.
Um site otimizado combina:
- Robots.txt bem configurado;
- Sitemap XML atualizado;
- Performance front-end;
- Core Web Vitals monitorados;
- Boa arquitetura de informação.
Continue aprendendo sobre SEO Técnico: