Você já ouviu falar em robots.txt?
Gostamos de facilitar a vida de nossos leitores e clientes…
Por isso vamos mostrar alguns métodos interessantes sobre como criar um robots txt de forma precisa e rápida.
A técnica que vou te apresentar é uma das minhas favoritas. É um atalho SEO legítimo que você pode começar a usar de imediato e facilmente.
Irá melhor seu SEO fazendo uso de uma parte essencial de todo site que não costuma ser abordada. E ainda por cima fácil de usar.
É o arquivo robots.txt (também conhecido como protocolo ou padrão de exclusão de robôs).
Muitas pessoas ainda nem conhecem esse tipo de arquivo simples… mas que faz uma grande diferença em seu projeto de seo
Esse simples arquivo de texto criado no bloco de notas (.txt) é parte de todo site na internet.
É feito para trabalhar com ferramentas de busca, mas é, incrivelmente, um upgrade para seu SEO.
Já tive muitos clientes tentando de tudo para melhorar seus SEO. Quando faço uma edição do arquivo de texto (robots.txt) , eles custam a acreditar que algo tão simples possa mudar o jogo.
Entretanto, existem muitos métodos de melhorar SEO que não são difíceis ou tomam tempo, e esse é um deles.
Você nem precisa ter nenhuma experiência técnica para aproveitar as vantagens do robots.txt. Se você tem acesso ao código-fonte do seu site, você pode aproveitar e fazer algumas alterações que vamos te explicar aqui.
É só seguir comigo quando estiver pronto…
Vou te mostrar como modificar o seus arquivos robots.txt para que as ferramentas de busca passem a amar o seu site ainda mais.
Uma forma eficiente de gerar tráfego para seu site a longo prazo é usando SEO. Se você quer aumentar o tráfego do seu site e atrair mais usuários qualificados e clientes, clique aqui e receba o Guia Completo de SEO.
Veja também: Como aumentar a velocidade de seu site
Por que o arquivo robots.txt é importante?
É sempre bom saber porque o arquivo robots.txt tem tanta importância.
Também conhecido como protocolo ou padrão de exclusão de robôs, é um arquivo de texto que avisa aos robôs da internet (quase sempre ferramentas de busca) quais páginas do seu site rastrear e quais não rastrear.
Tudo isso feito de forma simples!
Digamos que uma ferramenta de busca (um bot do google por exemplo) está prestes a visitar um site. Antes de chegar na página procurada, vai checar o arquivo robots.txt para instruções do que ele pode fazer em seu site.
Existem tipos diferentes de arquivos robots.txt, vamos saber mais sobre cada um.
Por exemplo, a ferramenta de busca vai encontrar este exemplo de arquivo:
Esse é o esqueleto básico de um arquivo robots.txt.
O asterisco depois de “user-agent” indica que o arquivo robots.txt se aplica a todo tipo de robô da internet que visita o site.
A barra depois de “Disallow” informa ao robô para não visitar nenhuma das páginas do site.
Talvez você esteja se perguntando porque alguém iria querer impedir a visita de robôs da internet a seus sites.
Afinal de contas, um dos principais objetivos de SEO é atrair os mecanismos e ferramentas de buscas para o seu site e aumentar o seu ranqueamento.
E é aí que o secreto desse atalho de SEO aparece.
É possível que você tenha muitas páginas em seu site, certo? Mesmo que você ache que não, dê uma checada. Provavelmente você irá se surpreender.
Se uma ferramenta de busca rastrear o seu site, vai rastrear cada uma das páginas. Até mesmo sua página de login administrativo (acredito eu que você não irá querer isso).
E se você tem muitas páginas, o robô dos mecanismos de pesquisa vai tomar mais tempo para verificar o seu site, o que pode ter um efeito negativo no seu ranqueamento.
Isso é porque o Googlebot (o robô da ferramenta de busca do Google) tem um “limite de rastreamento”.
Esse limite pode ser resumido em duas partes. E a primeira é o limite da taxa de rastreamento. Veja aqui a explicação do Google.
A segunda parte é demanda de rastreamento.
Limite de rastreamento é, basicamente, o “número de URLs que o Googlebot pode e quer rastrear”.
O ideal é auxiliar o Googlebot a gastar o seu limite de rastreamento da melhor maneira possível. Em outras palavras, rastrear as suas páginas de maior valor.
Existem alguns fatores que irão, de acordo com o Google, “afetar negativamente o rastreamento e indexação de um site”. Mas vamos focar no arquivo.
Vamos voltar para o robots.txt…
Se você criar a página robots.txt corretamente, você pode avisar aos robôs das ferramentas de busca (e especialmente ao Googlebot) quais páginas ele deve evitar.
Considere as implicações.
Se você avisa aos robôs das ferramentas de busca que elas devem rastrear apenas seu conteúdo mais útil, os robôs irão rastrear e indexar somente esse conteúdo.
Veja aqui como o Google explica:
“É bom evitar sobrecarregar o seu servidor com o rastreador do Google ou desperdiçar limite de rastreamento com páginas sem importância do seu site.”
Ao usar robots.txt da maneira correta, você pode avisar aos robôs das ferramentas de busca como gastar bem o limite de rastreamento. E é por isso que o arquivo robots.txt é tão útil no contexto de SEO.
Curioso para conhecer mais do poder do robots.txt? Ótimo! Vamos falar mais sobre abaixo.
Continue…
(aproveite e não esqueça de deixar seu comentário abaixo se este artigo está sendo útil pra você).
Encontrando o seu arquivo robots.txt
Existe um jeito fácil de dar só uma olhada rápida em seus arquivos robots.txt.
E é um método que funciona para qualquer site. Dá para espiar arquivos de outros sites e ver como estão fazendo.
É só digitar a URL base do site na barra de endereços do navegador (como seopro.expert, facebook.com, etc.) e adcionar /robots.txt ao final.
Uma das três situações seguintes vai acontecer:
1) Você vai achar um arquivo robots.txt.
2) Você vai achar um arquivo vazio
3) Você vai achar um 404.
Verifique o arquivo robots.txt do seu próprio site.
Simples: endereçodoseusite.com.br/robots.txt
Se encontrar um arquivo vazio ou um 404, é bom consertar.
Caso encontre um arquivo válido, está com as configurações padrões de quando o seu site foi criado.
Gosto especialmente desse método de procurar pelos arquivos robots.txt em outros sites. Depois de aprender as técnicas desse arquivo, esse pode ser um exercício vantajoso.
Agora vamos ver como modificar os seus arquivos robots.txt.
Encontrando o seu arquivo robots.txt
Depois de inserir o seu robots, a partir daqui vai ficando mais tranquilo!
O próximo passo vai depender de você ter ou não arquivo robots.txt. (Confira usando o método descrito acima).
Caso não tenha um, vai precisar criar do zero. Abra um editor de texto simples, como o Notepad/bloco de notas (Windows) ou TextEdit (Mac).
Use apenas um editor de texto simples.
Caso use programas como o Microsoft Word, códigos adicionais podem ser inseridos no texto.
Editpad.org é uma ótima opção gratuita, e é essa que vou usar neste artigo.
De volta ao robots.txt. Se você tem um arquivo robots.txt, vai precisar localizá-lo no diretório central do seu site.
Caso não esteja acostumado a buscar um código-fonte, talvez tenha um pouco de dificuldades em localizar a versão editável do seu arquivo robots.txt.
Normalmente, você vai encontrar o seu diretório central entrando no site da sua conta de servidor e indo até o gerenciador de arquivos ou a seção FTP de seu site ( em muitos casos você encontra entrando em public_html, mas isso pode variar de servidor para servidor).
Você verá algo parecido com isto:
Para começar é bem simples. Encontre e abra os seus arquivos robots.txt para editá-los. Delete todo o texto, mas mantenha os arquivos.
Atenção: caso esteja usando WordPress, talvez veja um arquivo robots.txt ao ir em seusite.com/robots.txt, mas não vai encontra-lo em seus arquivos.
Isso é porque o WordPress cria um arquivo robots.txt virtual caso não existe robots.txt no diretório central.
Caso isso aconteça, você vai precisar criar um novo arquivo robots.txt.
Criando um novo arquivo robots.txt
Você pode criar um novo arquivo robots.txt usando o editor de texto simples de sua preferência (e somente um editor de texto simples como o bloco de notas irá funcionar bem).
Se você já tem um arquivo robots.txt, certifique-se de deletar o texto (mas não o arquivo).
Primeiro, você vai precisar conhecer melhor a sintaxe usada num arquivo robots.txt.
Google tem um boa explicação aqui de algumas noções básicas de termos robots.txt.
Vou mostrar como criar um simples arquivo robots.txt, depois, vamos aprender como customizá-lo para SEO.
Para começar, inicie configurando o termo user-agent. Vamos configurar para que possa se aplicar a todos os robôs da internet.
Para fazer isso, é só usar um asterisco depois do termo user-agent, assim:
A seguir, na linha abaixo do “user-agente:* digite “Disallow:”, e mais nada depois disso.
Já que não há nada depois de “disallow”, os robôs da internet vão rastrear todo o seu site. Por enquanto, tudo em seu site está ao alcance deles.
O seu arquivo robots.txt deve estar assim no momento depois de toda configuração feita até agora:
Parece muito simples, mas essas duas linhas já estão fazendo muito.
Você também pode linkar para o seu sitemap XML, mas não é obrigatório. Caso queria, é só digitar:
Acredite ou não, mas isso é um arquivo básico de texto robots.txt.
Vamos avançar para o próximo nível e transformar esse pequeno arquivo em uma turbina SEO.
Otimizando robots.txt para SEO
Como você otimiza robots.txt depende do conteúdo que você tem em seu site. Existem mil maneiras de tirar vantagens de robots.txt.
Vou falar das mais comuns aqui.
Continue aprendendo…
(Tenha em mente que você não deve usar robots.txt para bloquear páginas de ferramentas de busca. Isso está proibido.)
Um dos melhores usos de arquivo robots.txt é a maximização do limite de rastreamento de ferramentas de busca, ao avisá-las para ignorar partes do seu site que não são vistas pelo público.
Por exemplo, se você visitar o arquivo robots.txt para este site (seopro.expert), vai ver que a página de login não está ao alcance dos mecanismos (wp-admin).
Já que essa página é usada apenas para entrar no site, os robôs não precisam perder tempo com ela.
(Caso você tenha WordPress, pode usar essa mesma linha para desabilitar.)
Você pode usar um diretório (ou comando) parecido para impedir robôs de rastrear páginas específicas. Depois de “disallow”, digite a parte da URL que vem depois de .com.br. Coloque-a entre duas barras.
Caso não queira que um robô rastreie a página http://seusite.com.br/pagina/, é só digitar isto:
Está em dúvida sobre quais tipos de páginas excluir da indexação? Observe estes exemplos comuns:
Conteúdo duplicado necessário. Conteúdo duplicado não ajuda (mas também não atrapalha, é ignorado, mas existem alguns casos em que é necessário e aceitável.
Por exemplo, se você tem uma versão para impressão de uma página, tecnicamente, você tem conteúdo duplicado. Nesse caso, é só avisar aos robôs para não rastrear uma dessas versões (geralmente, a que está pronta para impressão).
Isso também vale para páginas de teste que possuem o mesmo conteúdo, mas designs diferentes.
Páginas de agradecimento (de obrigado). Páginas de agradecimento ou conhecidas como página de “obrigado”, são algumas das favoritas dos profissionais de marketing porque apontam para um novo contato.
…Correto?
Na verdade, algumas páginas de agradecimento são acessíveis pelo Google. Com isso, as pessoas podem acessar essas páginas sem passar pelo processo de captura de contatos, o que não é uma boa notícia.
Ao bloquear as suas páginas de agradecimento (páginas de “obrigado”), você garante que apenas contatos qualificados estejam vendo as páginas.
Digamos que a sua página de agradecimento esteja no link: https://seusite.com/obrigado/. Em seu arquivo robots.txt, o bloqueio dessa página fica assim:
Já que não existem regras universais para quais páginas desabilitar, o seu arquivo robots.txt será único em seu site.
É bom conhecer também esses outras opções de configuração como estas: noindex e nofollow.
Sabe esse config disallow que estamos usando? Não impede a página de ser indexada.
Na teoria, você pode desabilitar uma página, mas ela ainda pode ser indexada.
De maneira geral, é melhor evitar.
Por isso que você precisa do diretivo noindex. Trabalha com o diretivo disallow para garantir que robôs não visitem ou indexem certas páginas.
Caso não queira indexar certas páginas (como as preciosas páginas de obrigado), você pode usar os diretivos disallow e noindex:
Agora, essa página não vai aparecer nas SERPs.
Por último, o diretivo nofollow. É o mesmo que um link nofollow. Resumindo, avisa aos robôs para não rastrear os links de uma página.
Mas o diretivo nofollow tem que ser implementado de outro jeito, porque não faz parte do arquivo robots.txt.
Entretanto, o diretivo nofollow ainda instrui robôs da internet, então parte do mesmo conceito. A única diferença é onde está localizado.
Encontre o código-fonte da página a ser modificada e certifique-se de estar entre as tags <head>.
Depois, copie a linha:
<meta name=”robots” content=”nofollow”>
Vai ficar assim:
Certifique-se de não estar colocando essa linha entre outras tags além das tags <head>.
Essa é uma outra opção para páginas de “obrigado”, já que robôs da internet não irão rastrear links para páginas que chamam novos contatos ou outros conteúdos exclusivos.
Caso queira adicionar os diretivos noindex e nofollow, use esta linha de código:
<meta name=”robots” content=”noindex,nofollow”>
Os robôs da internet verão os dois diretivos ao mesmo tempo.
Teste Final
Por último, teste o arquivo robots.txt para checar se tudo está funcionando da maneira perfeita.
O Google tem uma ferramenta de teste gratuita como parte das ferramentas de Webmaster.
Primeiro, entre em sua conta Webmasters clicando em “Entrar” no canto superior direito.
Selecione a sua propriedade (o seu site) se necessário.
Depois basta clicar neste link:
https://www.google.com/webmasters/tools/robots-testing-tool
(aqui você deve selecionar a propriedade e ele irá fazer o rastreamento)
Você vai ver robots.txt do seu site.
Caso tenha algum código na caixa ou algum erro, delete e coloque o seu novo arquivo robots.txt em seu servidor de acordo com as orientações do google (o google irá mostrar um popup informando os passos).
Veja mais detalhes aqui
Depois de reenviar, Clique “Test” na parte inferior direita da tela.
Se o texto “Teste” mudar para “Permitido”, o seu robots.txt é válido.
Agora, você está armado com um arquivo poderoso, logo mais verá um aumento na visibilidade de busca.
Conclusão
Ao configurar o seu arquivo robots.txt da maneira correta, você não está só melhorando o seu SEO. Também está ajudando seus visitantes.
Se robôs dos mecanismos de busca gastaram o limite de rastreamento de maneira correta, eles vão organizar e expor o seu conteúdo nas SERPs da melhor maneira possível, o que significa que você irá ficar mais visível.
Também não é preciso muito esforço para configurar seu arquivo robots.txt. Geralmente, é apenas uma configuração, e você pode fazer as outras pequenas mudanças quando necessário.
Se está começando o seu primeiro ou seu décimo site, o uso de robots.txt faz uma grande diferença. Recomendo experimentar caso ainda não tenha feito isso antes.
Gostou do nosso artigo? Deixe seu comentário abaixo e aproveite e nos siga nas redes sociais: Facebook, Twitter, Pinterest e Instagram
