Histórico da Página

O Portal RM poderá bloquear A partir da versão 12.1.35, o Portal RM bloqueará sua indexação em buscadores/rastreadores como o Google por padrão. Esta medida de segurança vem para assegurar que informações confidenciais não sejam exibidas em buscas do Google por exemplo.

...

Este arquivo será enviado automaticamente na instalação do Portal RM, conforme demonstrada na estrutura de pastas abaixo:

...

Adicionando uma permissão de indexação

Caso seja necessário, é possível que apenas subdiretórios específicos da sua aplicação sejam permitidos. Dessa forma, mesmo que o diretório-pai esteja bloqueado, os diretórios que foram explicitamente liberados ainda poderam ser encontrados e indexados pelos rastreadores. O exemplo abaixo define bem esse comportamento, onde o bloqueio ocorre no diretório FrameHTML, porém o caminho /FrameHTML/web/app/Edu/PortalEducacional foi explicitamente liberado, utilizando a diretiva Allow, e dessa forma, pode ser indexado:

E testando:

Image Added

Validade do arquivo Robots.txt

O arquivo robots.txt deve seguir algumas regras de validação para funcionar corretamente, algumas, de maior importância estão definidas abaixo:

Deve existir na pasta raiz do site, não sendo válido para subdiretórios

Os rastreadores buscaram o arquivo robots.txt diretamente na raiz do site, assim sendo, caso não esteja localizado corretamente, não funcionará:

• Certo: http://meusite.com/robots.txt
• Errado: http://meusite.com/Corpore.Net/robots.txt 

Distinção entre Maiúsculas e Minúsculas

Os rastreadores irão diferenciar maiúsculas e minúsculas durante a leitura do robots.txt, então é importante compreendermos que os seguintes exemplos são totalmente distintos dentro do contexto dos rastreadores:

• http://meusite.com/Corpore.Net
• http://meusite.com/Corpore.net
• http://meusite.com/corpore.net
• http://meusite.com/corpore.Net

Distinção entre diferentes escritas de um possível mesmo site

Os rastreadores irão diferenciar escritas de sites e subdomínios durante a leitura do robots.txt, então é importante compreendermos que os seguintes exemplos são totalmente distintos dentro do contexto dos rastreadores:

• http://example.com/
• http://shop.www.example.com/
• http://www.shop.example.com/

...

Meu Portal RM continua sendo indexado. E agora?

...

Nesse caso, o que fazer?

...