ER AGRPIMS01-50 - Extratores GoodData

Informações Gerais

   Legenda: 1 – Inovação 2 – Manutenção (Os demais campos devem ser preenchidos para ambos os processos). 

Objetivo

Modelar (design) e implementar uma estratégia para extração de dados dos módulos/produtos do segmento Agroindústria da TOTVS e envio de tais dados para a plataforma de indicadores GoodData.

Tal necessidade se originou, inicialmente, devido à obrigatoriedade de que, ao se utilizar a plataforma GoodData, a(s) base(s) de dados dos clientes dever/deveriam disponibilizar uma interface (porta de comunicação) externa à rede. Dessa maneira, todos os projetos GoodData, por padrão, buscam/buscariam dados diretamente no ambiente do cliente (servidor da base de dados disponibilizada para acesso externo).

Definição da Regra de Negócio

Tecnologias adotadas

Esta seção elenca as tecnologias e recursos tecnológicos adotados para a proposição, modelagem e implementação da plataforma Agro Agent.

• Plataforma Java: versão 8 da plataforma Java.

• Gerenciamento de dependências e builds com Apache Maven: versão 3.0.4 da plataforma Maven.

• Recursos JDBC (em Inglês, Java Database Connectivity): conexão e execução de instruções DML inicialmente homologada para o RDBMS dos produtos Oracle.

• Geração de pacotes resultantes da extração de dados: geração de arquivos CSVs e ZIPs como resultado da execução dos extratores configurados. Após a extração dos dados por meio das instruções DML, os resultados são armazenados em arquivos CSVs que, posteriormente, são encapsulados em arquivos ZIPs que serão submetidos ao GoodData (Web).

• Envio de pacotes resultantes da extração de dados: autenticação na plataforma GoodData (Web) e o envio dos arquivos ZIPs (contendo os arquivos CSVs resultantes da extração de dados).

• Geração de LOGs: dependência do componente Log4J para geração de arquivos de LOGs e de mensagens de auditoria da plataforma Agro Agent.

• Interface com WebDAV da plataforma GoodData (Web): dependência do componente “Sardine” para a autenticação no diretório de upload da plataforma GoodData (Web) e a manipulação dos pacotes resultantes da extração de dados (arquivos ZIPs) submetidos ao processo de atualização dos indicadores GoodData.

• Quartz Scheduler: agendamento de processos por expressão CRON para execução paralela (em background) dos processo de extração. Após configurados os componentes extratores, não se torna mais necessário interagir por interface gráfica. Dessa forma, a aplicação será responsável pela execução ininterrupta das extrações e envios de dados.

A figura abaixo ilustra uma representação arquitetural da plataforma Agro Agent, com base nas premissas, elementos arquitetônicos e fluxo/processo da estratégia proposta.

• Descrição de propriedades para arquivo 'dimensoes.properties'

gdc.upload > Define se, após extração, os dados serão enviados à plataforma GoodData (valores true ou false)

gdc.username > Nome de usuário para autenticação/autorização na plataforma GoodData
gdc.password > Senha de usuário para autenticação/autorização na plataforma GoodData
gdc.etl.send_credentials > Envio de credenciais de autenticação (por padrão, true)

gdc.upload_url > URL com caminho do projeto e diretório de upload da plataforma GoodData
gdc.etl.process_url > URL com caminho do projeto e ID de processo para extração e envio de dados da plataforma GoodData
gdc.etl.graph > Nome do arquivo .grf (graph ou grafo) que contém as regras para leitura dos arquivos ZIP e CSV após processo de extração
gdc.upload_archive > Padrão ou formato de nome para arquivo final de extração ZIP/CSV (por exemplo, dimensoes-${yyyyMMddHHmmss}.zip)

tmp_dir > Caminho do diretório temporário para extração de dados (se necessário)

# JDBC CONFIG #

jdbc.connections > IDs (ou nomes) dos objetos de conexão com a(s) base(s) de dados utilizada(s) na extração

JDBC0.driver > Drive (nome canônico para Java) de conexão com a base de dados
JDBC0.driver_path > Caminho físico do arquivo .jar (biblioteca Java) de conexão com a base de dados
JDBC0.username > Nome de usuário de conexão com a base de dados
JDBC0.password > Senha de usuário de conexão com a base de dados
JDBC0.url > URL (JDBC) para conexão com a base de dados

# DATA CONFIG #

data.componente.sql > SQL para extrator
data.componente.sql.file > Nome final do arquivo CSV de extração
data.componente.jdbc > ID de conexão JDBC para extração de dados

• Descrição de propriedades para arquivo 'schedules.properties'

data.schedules > Nome dos processos agendados (por padrão, um processo/schedule para cada extrator)
data.schedules.count > Quantidade de processos agendados configurados

data.dimensoes.enable > Define se o processo agendado está habilitado ou desabilitado
data.dimensoes.id > ID gerado (único - não repetível) para processo agendado (número sequencial ou randômico)
data.dimensoes.name > Nome do processo agendado (por padrão, assume-se o nome do arquivo '.properties' de extração
data.dimensoes.group > Grupo do processo agendado (por padrão, assume-se o nome do arquivo '.properties' de extração
data.dimensoes.cron > Expressão CRON que define o tempo/parâmetro temporal para execução do processo agendado

• Exemplo de arquivo "dimensoes.properties" (extração de dados para dimensões de Componente, Equipamento e Fornecedor)

++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++

##############################
### GoodData configuration ###
##############################

gdc.upload=false

# Credentials
[email protected]
gdc.password=999_!@#_ABC
gdc.etl.send_credentials=true

# Target
gdc.upload_url=https://secure-di.gooddata.com/project-uploads/99999/
gdc.etl.process_url=https://analytics.totvs.com.br/gdc/projects/99999/dataload/processes/99999-99999
gdc.etl.graph=GoodDataAgro/graph/dimensoes.grf
gdc.upload_archive=dimensoes-${yyyyMMddHHmmss}.zip

# The agent creates a working subfolder using mktempdir
tmp_dir=/tmp

#################################
### Source data in a database ###
#################################

###############
# JDBC CONFIG #
###############

jdbc.connections=JDBC0

# TOTVS (JDBC/ORACLE)
JDBC0.driver=oracle.jdbc.driver.OracleDriver
JDBC0.driver_path=C:/Users/GD/GoodDataAgent/drivers/oracle/ojdbc7.jar
JDBC0.username=USER_DB
JDBC0.password=PWD_DB
JDBC0.url=jdbc:oracle:thin:@10.0.0.123:1521:ORCL

###############
# DATA CONFIG #
###############

data.componente.sql=SELECT CD_COMPO, DE_COMPO, CD_UNIMED FROM COMPONEN UNION SELECT -1 CD_COMPO, ' ' DE_COMPO, ' ' CD_UNIMED FROM DUAL ORDER BY CD_COMPO
data.componente.sql.file=componente.csv
data.componente.jdbc=JDBC0

data.equipamento.sql=SELECT CD_EQUIPTO, FG_TP_EQUIP, CD_MODELO, CD_CATEG_OPER, CD_TP_RECURSO FROM EQUIPTOS ORDER BY CD_EQUIPTO
data.equipamento.sql.file=equipamento.csv
data.equipamento.jdbc=JDBC0

data.fornecedor.sql=SELECT CD_FORNEC, DE_FORNEC FROM FORNECS ORDER BY CD_FORNEC
data.fornecedor.sql.file=fornecedor.csv
data.fornecedor.jdbc=JDBC0

++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++

• Exemplo de arquivo "schedules.properties" (configuração de processos agendados para extratores)

++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++

##############################
### GoodData schedules ###
##############################

data.schedules=dimensoes
data.schedules.count=1

data.dimensoes.enable=true
data.dimensoes.id=6805703680679205899
data.dimensoes.name=dimensoes
data.dimensoes.group=dimensoes
data.dimensoes.cron=0/15 * * * * ?

++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++

Esta seção elenca as tecnologias e recursos tecnológicos adotados para a proposição, modelagem e implementação da plataforma Agro Agent.

Opcional

Protótipo de Tela

• Representação visual do Graph (grafo) do projeto GoodData com componente de CSV/ZIP

O uso de extratores demanda mudanças nas versões padrões (originais) dos graphs (grafos) fornecidos no projeto de indicadores GoodData - TOTVS Agroindústria. Para isto, todos os componentes de execução de consultas SQLs devem ser desabilitados e o componente 'CSV Reader' utilizado, conforme apresentado na figura abaixo. Desta forma, após a extração, o graph (grafo) irá utilizar os arquivos ZIP e CSV para integração dos dados com a plataforma GoodData.

No componente 'CSV Reader' (figura abaixo), a propriedade 'File URL' deve ser configurada com base no formato 'zip:(${gdc_agent_zip_url})#talhao.csv' (onde 'talhao' representa o nome do arquivo CSV configurado nos arquivos .properties de extração).

Opcional

Fluxo do Processo

<Nesta etapa incluir representações gráficas que descrevam o problema a ser resolvido e o sistema a ser desenvolvido. Exemplo: Diagrama - Caso de Uso, Diagrama de Atividades, Diagrama de Classes, Diagrama de Entidade e Relacionamento e Diagrama de Sequência>. 

Opcional

Dicionário de Dados

Arquivo ou Código do Script: AAA – Negociação Financeira / *Versao=CP.2014.12_03*/

(Opcional)

Grupo de Perguntas

<Informações utilizadas na linha Protheus>.

Nome: FINSRF2

(Opcional)

Consulta Padrão

<Informações utilizadas na linha Protheus>

Consulta: AMB

(Opcional)

Estrutura de Menu

<Informações utilizadas na linha Datasul>.

Procedimentos

Programas

Cadastro de Papéis

<O cadastro de papéis é obrigatório para os projetos de desenvolvimento FLEX a partir do Datasul 10>.

<Lembrete: o nome dos papeis em inglês descrito neste ponto do documento, devem ser homologados pela equipe de tradução>.