Ir para o conteúdo

Testador e Gerador de robots.txt

Cole um robots.txt e teste se uma URL específica é rastreável, com a regra exata que decide o resultado — ou gere um novo a partir de um formulário.

Privacidade: a ferramenta nunca busca seu site automaticamente — você cola o conteúdo do robots.txt manualmente, e tudo é processado no seu navegador.

robots.txt controla rastreamento, não indexação. Uma URL bloqueada por Disallow ainda pode aparecer no Google (sem título/descrição) se houver links externos apontando para ela. Para impedir indexação de fato, use a meta tag noindex na própria página, não o robots.txt.

robots.txt

Cole um robots.txt para testar contra um path.

O que é robots.txt

robots.txt é um arquivo de texto na raiz de um site (/robots.txt) que diz a crawlers como Googlebot e Bingbot quais partes do site eles podem ou não rastrear. Cada combinação de protocolo, domínio e porta precisa do próprio arquivo — o robots.txt de https://exemplo.com não vale para https://blog.exemplo.com.

Como a precedência entre Allow e Disallow funciona

Quando duas regras se aplicam à mesma URL, vence a mais específica — a que tem o padrão com mais caracteres, seja ela Allow ou Disallow. Em caso de empate exato, Allow vence (o Google chama isso de "regra menos restritiva"). Não é a ordem em que as regras aparecem no arquivo.

A pegadinha do "noindex" dentro do robots.txt

Até 2019, o Google aceitava informalmente uma diretiva noindex: dentro do robots.txt. Esse suporte foi oficialmente descontinuado em 1º de setembro de 2019 — hoje essa linha simplesmente não faz nada. Se você precisa impedir a indexação de uma página, use a meta tag noindex no HTML dela ou o header HTTP X-Robots-Tag.

Perguntas frequentes