Árvore de páginas

BIG QUERY

Melhorias (4)


ResolvidoVersões CorrigidasMóduloTicketTítuloNotaDocumento Técnico (URL)

24/Mar/22 3:42 PM

1.1.58

SQL_ORCHESTRATION

DAPL-237

Ler novo formato de partição no esquema avro

Adicionada característica que atualiza o processo de leitura do esquema avro permitindo a leitura do novo formato de partição com o campo unitTime em vez de granularidade evitando risco de falha na criação de tabelas.


24/Mar/22 4:03 PM


SQL_ORCHESTRATION

DAPL-200

Melhorar descrição do erro 404 para o endpoint "create_temporary_key"

Implementado ajuste na mensagem de erro 404 para que informe ao usuário que ele não tem um projeto provisionado ao solicitar uma conta de serviço temporária.


28/Mar/22 5:48 PM

1.1.58,
1.1.11

SQL_ORCHESTRATION,

SQL_QUERY_APY

DAPL-144

Suportar dados estatísticos para as tabelas

Adicionada característica que permite retornar os metadados de uma tabela em um ambiente, além do total de registros e tamanho ocupado em armazenamento através do uso de endpoints.


16/Mar/22 2:32 PM

1.1.54

SQL_ORCHESTRATION

DAPL-50

Particionar e clusterizar tabelas durante o provisionamento

Adicionada característica que permite alterar/recriar uma tabela durante o provisionamento baseada na definição de partição / cluster contida no esquema avro para atender a arquitetura centrada em aplicativos que faz uso de uma tenant unificada.



CAROL PLATFORM

Melhorias (11)


DataVersãoMóduloIssueTítuloNotaDocumento Técnico (URL)

14/Mar/22 4:34 PM

3.64.0

CAROL_APP

CAPL-1006

Atualização do arquivo de manifesto armazenado no Github

Adicionada característica que permite ao administrador do ambiente em uma tenant unificada ou de desenvolvimento enviar as alterações para o arquivo de manifesto no GitHub com o seu posterior carregamento na Plataforma Carol (no nível de aplicativo) por meio de um endpoint com a visualização destas mudanças na interface.


21/Mar/22 12:49 PM

3.64.0

CAROL_APP

CAPL-948

Especificar ambientes que processarão dados usando pipelines SQL

Adicionada característica que permite ao desenvolvedor do Carol App e administrador do ambiente (dono do app) especificar os ambientes que processarão dados usando pipelines SQL, além de poder removê-las/inativá-las por meio de chamadas a endpoints específicos.


21/Mar/22 8:34 AM

3.64.0

CAROL_DATA_SUBSCRIPTION

CAPL-851

Visualizar respostas de mensagens de subscrição de dados na tela inicial do ambiente

Adicionada característica que permite aos usuários visualizarem indicadores e estatísticas na tela inicial do ambiente relacionadas ao sucesso ou falha nas respostas das mensagens de subscrição de dados quando associados a modelos de dados para que possam rastrear a causa raiz das falhas e decidir pelo reenvio destes registros.


24/Mar/22 1:15 PM

3.64.0

CAROL_SQL_PROCESSING

CAPL-1093

Processar e limpar + processar pipelines SQL

Adicionadas características que permitem ao proprietário ou desenvolvedor do aplicativo processar ou limpar + processar dados oriundos de pipelines do seu ambiente unificado ou de desenvolvimento. Para o processamento de dados também é possível definir uma linha do tempo específica. Os resultados serão salvos por meio de um endpoint para todos os tipos de armazenamento disponíveis (BigQuery, Real Time, CDS) para o modelo de dados especificado que tenha uma subscrição.


24/Mar/22 1:26 PM

3.64.0

CAROL_SQL_PROCESSING

CAPL-1092

Visualizar o código de um pipeline SQL específico

Adicionada característica que permite ao proprietário ou desenvolvedor do aplicativo visualizar o código de um pipeline SQL específico (modo apenas leitura) podendo navegar até o commitID responsável por enviar o pipeline ao GitHub.


24/Mar/22 11:35 AM

3.64.0

CAROL_SQL_PROCESSING

CAPL-1007

Visualizar os pipelines SQL na plataforma

Adicionada característica que permite ao proprietário ou desenvolvedor do aplicativo a visualização dos pipelines SQL (arquivo manifesto importado do GitHub) na plataforma Carol em modo somente leitura.


24/Mar/22 11:27 AM

3.64.0

CAROL_SQL_PROCESSING

CAPL-1000

Conectar Carol App ao GitHub e informar arquivo de manifesto do pipeline

Adicionada característica que permite ao desenvolvedor conectar o Carol App ao GitHub e informar o arquivo de manifesto do pipeline para processamento de dados via SQL. Esta funcionalidade permite a incluir, atualizar e remover os detalhes do GitHub e do manifesto com estes detalhes (informações de conexão) apresentadas no cabeçalho do aplicativo.


15/Mar/22 12:06 PM

3.64.0

CAROL_SQL_PROCESSING

CAPL-975

Plugin VS Code

Adicionada característica que permite aos administradores da tenant ter uma melhor experiência com a versão funcional de um Carol Plugin para o VS Code como um editor de consultas simples e de pipelines em SQL incluindo a adição do recurso de preenchimento automático já existente na plataforma Carol.


17/Mar/22 2:59 PM

3.64.0

CAROL_SQL_PROCESSING

CAPL-919

Configurar Pipeline SQL baseado no manifesto

Adicionada característica que permite ao proprietário do aplicativo ler o manifesto a partir do GitHub, armazenar a configuração do pipelines SQL na plataforma Carol em uma tenant unificada e criar tarefas agendadas com base nas informações definidas no manifesto.


16/Mar/22 3:07 PM

3.64.0

CAROL_SQL_PROCESSING

CAPL-902

Informar o motivo da rejeição de um pipeline salvando em todos os tipos de armazenamento

Adicionada característica que permite a qualquer usuário definir, visualizar e compreender o motivo da rejeição de um registro classificado como rejeitado dentro da página Explore. Os resultados contendo os motivos da rejeição serão salvos em todos os tipos de armazenamento disponíveis, sendo que nem todo registro rejeitado tem obrigatoriamente um motivo da sua rejeição.

DP - SQL Data Processing

16/Mar/22 3:03 PM

3.64.0

CAROL_SQL_PROCESSING

CAPL-898

Adicionar nova tarefa de inserção de registros rejeitados no processo de ingestão para o BigQuery

Adicionada característica que inclui ao processo de ingestão de dados uma nova tarefa para a inserção de registros rejeitados no BigQuery, além da revisão deste processo na camada CDS sem acarretar na perda dos detalhes do registro.


Correções (13)


DataVersãoMóduloIssueTítuloNotaDocumento Técnico (URL)

25/Mar/22 12:45 PM

3.64.0

CAROL_ACTIVITY_MANAGEMENT

CAPL-1031

Tarefa SQL travada por 20 minutos

Corrigido comportamento no qual uma tarefa SQL ficava travada durante a execução no direct runner antes de processar os dados.


18/Mar/22 10:20 AM

3.64.0

CAROL_ACTIVITY_MANAGEMENT

CAPL-578

Agendamento para consolidação de dados não está funcionando

Corrigido comportamento no agendamento para consolidação de dados de tabelas staging que não estava funcionando.


14/Mar/22 4:27 PM

3.64.0

CAROL_APP

CAPL-979

Falha na atualização da configuração em uma tarefa agendada em um Carol App

Corrigido o comportamento na execução de tarefas agendadas, quando o usuário, ao efetuar alterações nas configurações de um Carol App, esta não é refletida na execução da tarefa agendada mantendo nos detalhes da tarefa a configuração anterior à alteração promovida.


17/Mar/22 2:58 PM

3.64.0

CAROL_APP

CAPL-916

Processo de agendamento em lote não é executado

Corrigido comportamento no qual um agendamento em lote não é executado no tempo especificado na sua configuração.


23/Mar/22 10:07 AM

3.64.0

CAROL_DATA_SUBSCRIPTION

CAPL-1141

Registro Golden que não existe sendo adicionado na assinatura de dados

Corrigido comportamento na assinatura de dados no qual eram enviados registros golden que não existiam na Carol. A implementação desta correção garante o recebimento de apenas um registro na assinatura diferenciando entre golden e rejeitado através de um sinalizador booleano.


25/Mar/22 7:31 AM

3.64.0

CAROL_DATA_SUBSCRIPTION

CAPL-1140

Mensagens com ACK e nova tentativa de envio ao consumidor na subscrição de dados

Corrigido o comportamento durante o processo de subscrição de dados (pub/sub) que acarretava num grande aumento no número de mensagens para nova tentativa de envio de dados processados (ACK) ao consumidor. O reflexo deste cenário era a entrega das mensagens fora da sua ordem de publicação.


16/Mar/22 8:36 PM

3.64.0

CAROL_DATA_SUBSCRIPTION

CAPL-1114

Tarefa SQL não está enviando dados para uma assinatura de dados específica

Corrigido comportamento no qual uma tarefa SQL não estava enviando dados para uma assinatura de dados específica. Implementação efetuada no cache do modelo de dados no Redis para sempre atualizar o cache do CDS quando a assinatura for alterada.


15/Mar/22 3:48 PM

3.64.0

CAROL_EXPLORE

CAPL-1111

A consulta nomeada não está retornando o código no editor

Corrigido comportamento no qual ao salvar uma consulta nomeada e abri-la no editor, a mesma não apresentava o seu código.


16/Mar/22 12:48 PM

3.64.0

CAROL_EXPLORE

CAPL-1110

Campo descrição não é exibido na consulta nomeada quando está vazio

Corrigido comportamento que não apresentava no JSON de uma consulta nomeada, campos que possuem seu valor vazio.


18/Mar/22 3:52 PM

3.64.0

CAROL_MAPPING_&_CLEANSE_RULE

CAPL-1130

Campo de endereço não permite adicionar conjuntos de mapeamento

Corrigido o comportamento no qual a criação de um conjunto de mapeamento dentro do campo endereço não era permitida quando mapeado para o modelo de dados padrão da empresa.


24/Mar/22 8:45 AM

3.64.0

CAROL_MAPPING_&_CLEANSE_RULE

CAPL-1089

Alterações em campos não são refletidas em tempo real na página de mapeamento

Corrigido comportamento quando o usuário alterava o nome genérico da função JavaScript ou adicionava/removia campos, e estas alterações não estavam atualizando em tempo real na página de mapeamento.


21/Mar/22 1:36 PM

3.64.0

CAROL_MAPPING_&_CLEANSE_RULE

CAPL-500

Remover uma função está removendo a variável compartilhada com outra função

Corrigido o comportamento na página de regras de mapeamento e limpeza, no qual o usuário, ao remover uma função acarretava também na remoção das variáveis em comum com outras funções mantidas na interface.


25/Mar/22 11:06 AM

3.64.0

CAROL_PLATFORM

CAPL-1072

Token de autorização não está sendo revogado

Corrigido comportamento que não revogava um token de autorização quando este atingia o tempo de expiração.