Objetivo
Este guia visa mostrar como configurar o arquivo robots.txt.
Detalhes técnicos
Conforme informado no guia de boas práticas de segurança, é importante configurar o arquivo robots.txt. Esse arquivo é constituído por regras que controlam quais arquivos os rastreadores podem acessar em um site.
A partir da atualização 1.7.1-211207 o arquivo robots.txt é instalado por padrão na plataforma, no diretório [instalação_fluig]/repository/wcmdir, o qual já encontra-se configurado para bloquear todos os agentes de rastreamento de arquivos. É recomendável alterar esse arquivo, incluindo todas as configurações necessárias para ser indexado.
Caso a utilização do arquivo robots.txt seja via configuração de proxy, o usuário poderá continuar usando via proxy ou mover a configuração ou o arquivo existente para o diretório [instalação_fluig]/repository/wcmdir robots.txt.
Por questões de segurança é recomendável que a configuração permita liberar somente as páginas que realmente devem ser indexadas.
Permitir o rastreamento dos arquivos
Caso queira permitir o rastreamento dos arquivos no seu site por todos os agentes, deve-se alterar o arquivo robots.txt para:
User-agent: * Allow: /
Lembrando que o procedimento acima não é recomendado, pois torna de conhecimento público a existência do seu site, expondo algumas informações de acesso. Para mais informações de como configurar o arquivo robots.txt, acesse aqui.
Visão Geral
Import HTML Content
Conteúdo das Ferramentas
Tarefas