Páginas filhas
  • Robots.txt e Indexação em Buscadores/Rastreadores

Versões comparadas

Chave

  • Esta linha foi adicionada.
  • Esta linha foi removida.
  • A formatação mudou.

...

Este arquivo será enviado automaticamente na instalação do Portal RM, conforme demonstrada na estrutura de pastas abaixo:


...

Adicionando uma permissão de indexação

Caso seja necessário, é possível que apenas subdiretórios específicos da sua aplicação sejam permitidos. Dessa forma, mesmo que o diretório-pai esteja bloqueado, os diretórios que foram explicitamente liberados ainda poderam ser encontrados e indexados pelos rastreadores. O exemplo abaixo define bem esse comportamento, onde o bloqueio ocorre no diretório FrameHTML, porém o caminho /FrameHTML/web/app/Edu/PortalEducacional foi explicitamente liberado, utilizando a diretiva Allow, e dessa forma, pode ser indexado:

Informações

User-agent: *
Disallow: /FrameHTML

User-agent: *
Allow: /FrameHTML/web/app/Edu/PortalEducacional

E testando:

Image Added

Validade do arquivo Robots.txt

...