Árvore de páginas

Versões comparadas

Chave

  • Esta linha foi adicionada.
  • Esta linha foi removida.
  • A formatação mudou.

...

  • I19 - Controle Mensagens de Insights: Tabela utilizada para Controle de Recebimento e Status de Mensagens de Insights provenientes do Smartlink, para serem utilizadas em futuros processamentos de Regras de Negócios de Insight;
  • I20 - Configurações de Insights: Tabela utilizada para armazenamento das configurações de Processamento de Insights;
  • I21 - Insights Unificada: Tabela unificada utilizada para armazenamento do produto do processamento das regras de negócios de insights;


Deck of Cards
idtableStructure
Card
labelControle Mensagens de Insights

Nesta nova estrutura, existirá a possibilidade de monitorar o recebimento de mensagens e seu conteúdo real através da tabela I19, onde as mensagens serão armazenadas para análise e posterior processamento/re-processamento, liberando assim a thread do consumer do Smartlink para posteriores recebimentos, solicitando baixa quantidade de recurso e tempo de execução para o simples recebimento de mensagens de insights.


CampoTipoTamanhoTítuloDescrição
I19_FILIALCaracter8FilialFilial do Sistema
I19_UIDMSGCaracter36Message UUIDID da Mensagem (UUID)
I19_TIDMSGCaracter36Transact. IDID da Transação da Mensagem
I19_TENANTCaracter36Tenant UUIDID do Rac Tenant
I19_INSIGTCaracter30Tipo InsightTipo de Insight
I19_PAYLODMemoXXPayload MensConteúdo da Mensagem
I19_DTRECVCaracter30Dt. Recebim.Data de Recebimento
I19_STRECVCaracter3Status Rece.Status do Recebimento
I19_DTSCHDCaracter30Dt. Agend.Data do Último Agendamento
I19_DTPROCCaracter30Dt. Process.Data do Último Processamento
I19_STPROCCaracter3Status Proc.Status do Último Processamento
I19_LSTPRVCaracter6Ult. Vers. PÚltima Versão da Configuração de Processamento
I19_LSTPRMMemoXXUlt. Pr. MsgMensagens de Processamento
Card
labelConfigurações de Insights

Com a criação da tabela I20, poderão ser armazenados os tipos de Insights que serão processados pelo cliente Protheus e suas respectivas classes de processamento das Regras de Negócio, as quais deverão ser desenvolvidas em ADVPL/TLPP e adicionadas ao repositório, facilitando assim o desenvolvimento de novos insights. Estas configurações podem ser controladas também por um versionamento, o que facilita o rastreio de alterações no decorrer do tempo para cada tipo de Insight.


CampoTipoTamanhoTítuloDescrição
I20_FILIALCaracter8FilialFilial do sistema
I20_INSIGTCaracter30InsightTipo de Insight
I20_VERSAOCaracter6Versao InsigVersão da Configuração
I20_CLSPRCCaracter254Classe Proc.Classe de Processamento da Regra de Negócio
I20_PRIORILógico1PrioritarioIndica se Insight é Prioritário
I20_HASKEYLógico1Calc. ChaveIndica se Insight Calcula Chave de Busca
I20_HASFILLógico1Calc. FiltroIndica se Insight Calcula Filtro de Pesquisa
I20_STATUSCaracter1Status Conf.Status da Configuração, Ativo = 1
I20_DTCREACaracter30Dt. CriacaoData de Criação da Configuração
I20_DTALTCaracter30Dt. Altera.Data de Alteração da Configuração
I20_TABLESCaracter254Aliases UtilTabelas para abertura de ambiente, referente a Regra de Negócio (ex. SA1,SB1)
Card
labelInsights Unificada

A tabela I21 é uma implementação de tabela unificada de Processamento de Insights, ela poderá ser adotada pelas classes de Regras de Negócio para armazenamento do produto resultante do processamento aplicado a uma mensagem de Insight. Esta tabela suporta o armazenamento de dados diversos formatos através de um campo MEMO (inclusive JSON) e possui campos  facilitadores de busca e filtro bem como campos para data inicial e final (todos usados de forma opcional na utilização da classe de regra de negócio).


CampoTipoTamanhoTítuloDescrição
I21_FILIALCaracter8FilialFilial do Sistema
I21_BRANCHCaracter8Filial InsigCampo de controle de Filiais abrangidas pelo Insight (não controlada pelo sistema)
I21_UIDINSCaracter36Id. InsightID da linha de Insight
I21_UIDMSGCaracter36Id MensagemID da mensagem de origem do Insight (I19)
I21_INSIGTCaracter30InsightTipo de Insight
I21_MODULOCaracter20Modulo InsigModulo do Insight
I21_PAYLODMemoXXPayload Ins.Conteúdo do Insight
I21_KEYCaracter240Chave BuscaCampo de Chave unica de busca a ser gerada pelo processamento da Regra de Negócios referente ao Insight (opcional)
I21_FILTERCaracter240FiltroCampo de Valor de Filtro de busca a ser preenchido pelo processamento da Regra de Negócios referente ao Insight (opcional)
I21_DTDEData8Data DeCampo de Valor de Data Inicial de busca a ser preenchido pelo processamento da Regra de Negócios referente ao Insight (opcional)
I21_DTATEData8Data AteCampo de Valor de Data Final de busca a ser preenchido pelo processamento da Regra de Negócios referente ao Insight (opcional)
I21_DTPROCCaracter30Dt. Process.Data do último processamento
I21_VSPROCCaracter6Vers. Proce.Última versão de configuração de processamento (I20)
I21_STATUSCaracter3StatusStatus do último processamento
I21_DESCSTCaracter50Desc. StatusDescrição do status de último processamento
I21_DTREPRCaracter30Dt. Reproce.Data do último re-processamento
I21_VSREPRCaracter6Vers. Repro.Versão do último re-processamento


Vantagens da Estrutura Sugerida:

...

A estrutura de execução de um aplicativo de Front-End do Protheus Insights será remodelada e terá a adição de uma biblioteca de serviços REST que farão parte da biblioteca de Insights (ADVPL) disponibilizada pela equipe de BA.

Estas alterações visam remover a limitação imposta pela utilização do WebChannel como meio de comunicação e bem como habilitando a utilização de Insights On-Line de uma forma simples.

Uma biblioteca desenvolvida para o framework Angular será implementada para intermediar a comunicação com os serviços disponibilizados pelo disponibilizados pelo back-end Protheus de uma forma modular e simples.

06.

...

Arquitetura Carol

Esta seção está em desenvolvimento e será atualizada em breve.

07. Data Models Carol

...

Image Added


Glossário

Customer Organization: Ambiente de administração geral que agrupa as várias Tenants de clientes.

Unified Tenant: Ambiente Unificado que recebe os dados de todos os clientes e faz o processamento dos insights.

Staging Area: Área de preparação, ou zona de aterrissagem, é uma área de armazenamento intermediária usada para armazenamento dos dados brutos, antes do processamento. 

Protheus Connector: Conector responsável pelo recebimento dos dados de clientes (Tabelas Protheus).

Insights Connector: Conjunto de conectores responsáveis por receber os dados de insights. Cada insight possui o seu conector. 

AI Process: Conjunto de Carol Apps (Batch e Online) responsáveis pelo processamento dos insights.

Materialized views: As visualizações materializadas são visualizações pré-computadas que periodicamente armazenam em cache os resultados de uma consulta para aumentar o desempenho e eficiência. 

Batch Apps: Aplicativos responsáveis pelo processamento dos insights com execução agendada.

Service Account: Conta de serviço utilizada para comunicação com os serviços do GCP.

Data Validation: Batch App responsável pela validação dos dados.

BQ ML: Tecnologia utilizada para criar e executar modelos de machine learning (ML) usando consultas do GoogleSQL. 

Vertex AI: Plataforma de desenvolvimento de IA unificada e totalmente gerenciada.

Workflow: Aplicativo utilizado para orquestração dos serviços de machine learning. 

Terraform: Ferramenta de infraestrutura como código usada para provisionar recursos e permissões para vários serviços do Google Cloud, incluindo a Vertex AI.

Online App: API REST utilizada para processamento de insights Online (e.g., IA Generativa e predições online). Não deve ser utilizada para leitura de dados do Big Query, devido a baixa performance.

DTA: Interface para os serviços de IA Generativa

Alerts Management: Módulo de alertas da plataforma Carol que possibilita a monitorização de eventos na esteira de dados da plataforma. 

Pipelines: Pipelines SQL utilizados para processamento dos dados e geração dos golden records.

Data Models:  Estrutura e regras de dados que transformam staging tables em Golden Records;

Data Sync: Solução que tem como principal objetivo enviar registros armazenados em Data Models para bancos de dados de baixa latência e alta disponibilidade (como por exemplo o PostgreSQL).

Looker Studio: Ferramenta on-line para criação de relatórios e painéis informativos personalizáveis a partir de banco de dados, possui integração com o Big Query.

Totvs Apps: Plataforma de software para as aplicações cloud native da TOTVS.


07. Data Model (Unified Insights)

Tabela única responsável por armazenar os dados de todos os insights.

CampoTipoTítuloDescrição
branchStringBranchEmpresa | Unidade de Negócio | Filial dos dados de origem do insight
company_groupStringCompany GroupCompany Group dos dados de origem do insight
insightStringInsightIdentificador do Insight
tenantidStringTenant IdTenant Id dos dados de origem do insight
keyStringKeyChave de negócio do insight
jsoncontentStringJson ContentJson contendo os dados do insight