ER SERBA003-932 Entidades compartilhadas entre apps

Informações Gerais

Objetivo

No TOTVS Smart Analytics algumas dimensões e fatos são compartilhadas por mais de um app e, desta forma, quando é executado o processo de ETL para um projeto no qual tenha sido instalado mais de um app, os graph das entidades compartilhadas são executados mais de uma vez. O objetivo deste requisito é alterar o mecanismo de execução dos graphs do TOTVS Smart Analytics para que entidades compartilhadas entre apps sejam executadas uma única vez, independentemente do número de apps instalados no projeto. 

Definição da Regra de Negócio

Para alteração no mecanismo de execução dos graphs do TOTVS Smart Analytics será necessário alterar o Agent e o processo de ETL. 

Agent 

O Agent deverá gerar um arquivo denominado APP.csv que será compactado junto com os demais arquivos de dados no aquivo TOTVSSMARTANALYTICS.[zip|tar.gz]. O conteúdo inserido no arquivo APP.csv será a lista de apps instalados no projeto para qual o Agent for executado e devem ser recuperador por meio da GoodData REST API. Caso seja necessário executar apps específicos que tenham sido instalados no projeto, pode ser utilizado o parâmetro gdc.etl.app, da seguinte forma:

gdc.etl.app.comercial= TRUE

gdc.etl.app.financeiro= TRUE

Quando o app MAIN estiver instalado no projeto, os seguintes apps devem ser inseridos automaticamente no conteúdo do arquivo APP.csv 

• COMERCIAL
• CONTROLADORIA
• CRM
• LOGISTICA
• EDUCACIONAL
• FINANCEIRO
• SERVICOS
• MATERIAIS
• PRODUCAO
• RH
• VAREJO
• SAUDE
• VAREJO_SUPERMERCADOS
• JURIDICO
• HOTELARIA

ETL

O arquivo dimension_parameters.txt será alterado para que seja incluído o nome do graph relacionado com cada dimensão, da seguinte forma:

areas|AREA|COMERCIAL|LOAD_DIMENSION_TABLE_AREA

O arquivo purge_parameters.txt será renomeado para fact_parameteres.txt. No arquivo fact_parameteres.txt será incluído o nome do graph relacionado com cada fato, da seguinte forma:

fato_hl4|data|years|2|HL4|VENDAS|COMERCIAL|LOAD_FACT_TABLE_HL4

Todos os graphs que utilizam a arquivo purge_parameters.txt deverão utilizar o arquivo fact_parameteres.txt. 

Todos os graphs que utilizam os arquivos dimension_parameters.txt e fact_parameteres.txt serão modificados devido a alteração na estrutura dos arquivos. 

O diretório jobs consequentemente, deve ser removido, e o graph MAIN_JOB será o único meio para execução do processo de ETL. 

O graph MAIN_JOB será alterado para que funcione de forma dinâmica e direcionada pelo conteúdo dos arquivos dimension_parameters.txt e fact_parameters.txt, da seguinte forma:

1. O arquivo APP.csv será lido e recuperará os apps que devem ser processados. 
2. Os arquivos dimension_parameters.txt e fact_parameters.txt serão lidos e utilizados para filtrar apenas as entidades relacionadas com os apps contidos no arquivo APP.csv. 
3. Os graphs duplicados serão removidos da lista de entidades. 
4. Os graphs das dimensões serão executados. 
5. Os graphs das fatos serão executados.