Cole um robots.txt e teste se uma URL específica é rastreável, com a regra exata que decide o resultado — ou gere um novo a partir de um formulário.
Privacidade: a ferramenta nunca busca seu site automaticamente — você cola o conteúdo do robots.txt manualmente, e tudo é processado no seu navegador.
robots.txt controla rastreamento, não indexação. Uma URL bloqueada por Disallow ainda pode aparecer no Google (sem título/descrição) se houver links externos apontando para ela. Para impedir indexação de fato, use a meta tag noindex na própria página, não o robots.txt.
robots.txt
Cole um robots.txt para testar contra um path.
O que é robots.txt
robots.txt é um arquivo de texto na raiz de um site (/robots.txt) que diz a crawlers como Googlebot e Bingbot quais partes do site eles podem ou não rastrear. Cada combinação de protocolo, domínio e porta precisa do próprio arquivo — o robots.txt de https://exemplo.com não vale para https://blog.exemplo.com.
Como a precedência entre Allow e Disallow funciona
Quando duas regras se aplicam à mesma URL, vence a mais específica — a que tem o padrão com mais caracteres, seja ela Allow ou Disallow. Em caso de empate exato, Allow vence (o Google chama isso de "regra menos restritiva"). Não é a ordem em que as regras aparecem no arquivo.
A pegadinha do "noindex" dentro do robots.txt
Até 2019, o Google aceitava informalmente uma diretiva noindex: dentro do robots.txt. Esse suporte foi oficialmente descontinuado em 1º de setembro de 2019 — hoje essa linha simplesmente não faz nada. Se você precisa impedir a indexação de uma página, use a meta tag noindex no HTML dela ou o header HTTP X-Robots-Tag.
Perguntas frequentes
Não diretamente. robots.txt controla apenas o RASTREAMENTO — se o Googlebot pode ou não buscar o conteúdo da página. Uma URL bloqueada por Disallow ainda pode aparecer nos resultados de busca (sem título/descrição, geralmente como "Nenhuma informação disponível para esta página") se houver links externos apontando para ela, porque o Google descobre a existência da página por esses links, sem precisar rastreá-la. Para impedir indexação de fato, use a meta tag noindex na própria página, o header HTTP X-Robots-Tag, ou remova a página.
O Google suportou essa diretiva de forma informal por anos, mas anunciou o fim desse suporte em julho de 2019, efetivo a partir de 1º de setembro de 2019 — hoje "noindex:" dentro de robots.txt não tem efeito nenhum no Googlebot. Use a meta tag <meta name="robots" content="noindex"> no <head> da página, ou o header HTTP X-Robots-Tag, que são os mecanismos oficiais e ainda suportados.
Porque são contraditórios na prática: se o Disallow impede o Googlebot de rastrear a página, ele nunca chega a ver a tag noindex que está no HTML dela — a página pode continuar indexada (sem snippet) exatamente pelo motivo explicado acima. Se o objetivo é remover a página do índice, deixe-a rastreável (sem Disallow) até o Google processar o noindex, e só bloqueie o rastreamento depois.
Vence a regra mais específica — a que tem o padrão mais longo (mais caracteres), independente de ser Allow ou Disallow. Em caso de empate exato de comprimento, Allow vence. Não é "ordem no arquivo" nem "Allow sempre vence" — é por isso que o modo Testar desta ferramenta mostra a regra concorrente ao lado da vencedora, para você ver exatamente o motivo da decisão.
Não. Você cola o conteúdo manualmente no modo Testar. Isso é uma decisão deliberada de privacidade e segurança: buscar uma URL informada pelo usuário exigiria um servidor fazendo a requisição, o que abre risco de SSRF — mesma decisão de escopo já tomada no Gerador de Meta Tags Open Graph deste portal. Nada do que você cola sai do seu navegador.