Histórico da Página

...

Este arquivo será enviado automaticamente na instalação do Portal RM, conforme demonstrada na estrutura de pastas abaixo:

...

Validade do arquivo Robots.txt

O arquivo robots.txt deve seguir algumas regras de validação para funcionar corretamente, algumas, de maior importância estão definidas abaixo:

Deve existir na pasta raiz do site, não sendo válido para subdiretórios

Os rastreadores buscaram o arquivo robots.txt diretamente na raiz do site, assim sendo, caso não esteja localizado corretamente, não funcionará:

• Certo: http://meusite.com/robots.txt
• Errado: http://meusite.com/Corpore.Net/robots.txt 

Distinção entre Maiúsculas e Minúsculas

Os rastreadores irão diferenciar maiúsculas e minúsculas durante a leitura do robots.txt, então é importante compreendermos que os seguintes exemplos são totalmente distintos dentro do contexto dos rastreadores:

• http://meusite.com/Corpore.Net
• http://meusite.com/Corpore.net
• http://meusite.com/corpore.net
• http://meusite.com/corpore.Net

Distinção entre diferentes escritas de um possível mesmo site

Os rastreadores irão diferenciar escritas de sites e subdomínios durante a leitura do robots.txt, então é importante compreendermos que os seguintes exemplos são totalmente distintos dentro do contexto dos rastreadores:

• http://example.com/
• http://shop.www.example.com/
• http://www.shop.example.com/

...

Meu Portal RM continua sendo indexado. E agora?

...

Nesse caso, o que fazer?

...