Processo Incremental

Visão Geral

O processo utilizando Banco Incremental consiste na alteração da ferramenta de ETL para tratar somente as informações incluídas, alteradas e excluídas desde a última extração de informações do produto EMS. Acarretando em uma redução no volume de dados processado a cada execução do ETL.

O processo do Banco Incremental pode ser aplicado para a seguinte lista de Assuntos:

A parametrização do processo incremental é feita por assunto, portanto, é possível aplicá-la somente aos assuntos que possuem um volume grande de dados para tratamento pelo ETL.

Pré-requisitos

• Produto EMS2 na release 2.04 ou superior.

• Servidor de RPW instalado e configurado. É indispensável a funcionalidade de RPW para a instalação do Banco Incremental. Caso os senhores não possuam o RPW configurado, favor entrar em contato com nosso suporte da área de tecnologia.

• BI instalado na última versão disponível, marcando todas as opções de atualização de bancos de dados (Observação: clientes que possuem customizações do banco Stage atentar para que a atualização do banco irá alterar as definições das tabelas deste banco para as suas configurações padrões do produto). Consultar no Release notes do BI se a funcionalidade foi liberada.

• Deverá ser criado um banco de dados Progress com o nome de EMSINC. Os scripts para a criação das tabelas necessárias para o banco EMSINC deveram ser solicitadas por meio de ticket para a equipe de expedição de Mídias do Produto Padrão. Este banco deverá ser conectado juntamente com os demais bancos do produto EMS2/EMS5 e principalmente pelas sessões Progress executadas pelo processo extração do BI.
  
  

Configuração

Para configuração do Processo Incremental, deve-se primeiramente realizar a configuração das rotinas que sincronizam os dados do ERP TOTVS que estão disponíveis no Banco Incremental por meio da seguinte sequência de programas. Para maiores informações, consultar o manual de referência dos programas abaixo no EMS.

cdp/cd2400 - Parametrizar Tab Banco de Dados Incremental
Permite informar quais tabelas serão sincronizadas para o banco incremental, de acordo com assunto desejado, as seguintes tabelas do ERP TOTVS deverão ser selecionadas.

cdp/cd2401 - Manutenção Tabelas Sincronização
Permite parametrizar informações adicionais sobre as tabelas que serão sincronizadas para o banco incremental. Além da estrutura de tabelas pai/filho que deverá ser sincronizada conforme a tabela acima. Somente serão sincronizadas para o banco incremental as tabelas com marcadas com a opção: Sincronização Ativa. Logo que o programa for iniciado, algumas tabelas já estarão pré-cadastradas, possibilitando ao usuário cadastrar outras tabelas que desejar. A princípio, a extração das tabelas “emitente” e “item” será completa, ou seja, extrairá todo o conteúdo e não somente o incremento do mesmo. No programa cdp/cd2405, pode ser parametrizado os dias retroativo que são os dias que serão contados antes da data da sincronização com o efeito de extrair dados de dias anteriores, atualizando-os. Neste programa também estão os dados detalhados de cada sincronização.

cdp/cd2402 - Sincronização Banco Dados Incremental

Realiza o agendamento de um pedido de execução no servidor RPW para sincronização dos dados do ERP TOTVS para o Banco Incremental. O processo de execução do ETL deve ser agendado para executar após a conclusão do pedido agendado no RPW.

Depois do processo de configuração do ERP TOTVS, é necessário realizar as configurações nos processos de Extração e Carga (ETL) do produto BI.

Processo de Extração
Deve ser alterado os arquivos de configuração de conexão dos bancos Progress (.pf) para conectar o banco incremental juntamente com os demais bancos do produto ERP TOTVS.
Para os itens das tarefas de extração das tabelas relacionadas aos assuntos que se deseja configurar o processo incremental, a opção Processo Incremental deve ser marcado.

Processo de Carga
Para os itens das tarefas de carga das tabelas relacionadas aos assuntos que se deseja configurar o processo incremental, a opção Processo Incremental deve ser marcada.