Gerador de robots.txt
Crie um arquivo robots.txt para controlar o acesso de rastreadores a áreas específicas do seu site.
- Defina regras de Allow e Disallow
- Adicione a URL do sitemap
- Baixe ou copie o arquivo gerado
- Processamento somente no seu navegador
Configuração e saída do robots.txt
O user-agent ao qual as regras se aplicam. Use * para todos os rastreadores.
Regras de Disallow
Caminhos aos quais os rastreadores não devem acessar. Use um caminho por campo.
Regras de Allow
Caminhos específicos que os rastreadores podem acessar. Use um caminho por campo.
URL completa do seu arquivo sitemap.xml.
Este gerador funciona localmente no seu navegador. Seus dados nunca são enviados a nenhum servidor.
O que é robots.txt?
O arquivo robots.txt é um arquivo de texto colocado no diretório raiz do seu site que fornece instruções aos rastreadores da web sobre quais áreas do site eles podem ou não acessar.
Como usar robots.txt
Coloque o arquivo robots.txt na raiz do seu domínio (por exemplo, https://exemplo.com/robots.txt). O arquivo se aplica a todo o domínio e aos subdiretórios, salvo indicação em contrário.
Entendendo as diretivas
- User-Agent: Especifica a qual rastreador as regras se aplicam (* significa todos os rastreadores)
- Disallow: Impede que rastreadores acessem caminhos ou arquivos específicos
- Allow: Permite explicitamente o acesso a caminhos específicos (muitas vezes usado com curingas)
- Sitemap: Informa a localização do seu arquivo sitemap.xml
Limitações importantes
Robots.txt não é um mecanismo de segurança nem de controle de acesso. Ele não impede acesso não autorizado ao conteúdo e não deve ser usado para proteger arquivos sensíveis. Bots mal-intencionados podem ignorar robots.txt, e os mecanismos de busca ainda podem indexar páginas bloqueadas se elas receberem links de outras fontes.
Boas práticas
- Use robots.txt para gerenciar o orçamento de rastreamento, não a privacidade ou segurança
- Teste seu arquivo robots.txt com ferramentas do Search Console
- Seja específico com os caminhos para evitar bloqueios não intencionais
- Lembre-se de que bloquear o rastreamento ≠ impedir a indexação
Perguntas frequentes
robots.txt garante que as páginas não serão indexadas?
Não. Os mecanismos de busca ainda podem indexar uma página bloqueada por robots.txt se outras páginas apontarem para ela. Para impedir a indexação, use a meta tag noindex ou o cabeçalho X-Robots-Tag.
robots.txt pode ocultar conteúdo privado?
Não. Robots.txt é acessível publicamente e não deve ser usado para proteger conteúdo privado ou sensível. Use autenticação e controles de acesso adequados.
Como testo meu arquivo robots.txt?
Você pode usar ferramentas do Search Console fornecidas pelos mecanismos de busca para testar como os rastreadores interpretam seu arquivo robots.txt.