Histórico da Página

...

1. Diariamente no horário das 03:10 da madrugada, uma lambda é disparada para coletar as informações de algumas tabelas, e  popular a DailyReport. Os dados já estão sumarizados com counts, sums, etc;
2. Essa mesma lambda, pega os dados gerados na DailyReport, exporta para CSV e faz upload, para o Google Cloud Storage.
3. Já no Google Big Query , existe um Data Transfer configurado para rodar diariamente as 04:00 da madrugada, que pega os dados do CSV do Google Cloud Storage, e joga para a Tabela DailyReport.
4. Com esses dados presentes em tabelas do Big Query, criamos os dashboards apontando para essa fonte de dados.

Higienização de DadosDiariamente

       Diariamente um cron é executado para higienizar dados das tabelas ApiError, DailyReport, OrdemCommand, OrderConsumption, OrderEvent e OrderStatus, todas limpando registros com mais de 1 dia.

...

                   Adicionalmente neste mesmo cron é executado um script que verifica para integrações activePolling = true, caso a integração tenha ficado mais de um dia sem sucesso no polling ( Tabela                                         ProviderMerchant.last.SuccessPolling) ela será desativada. Obs.: O polling ocorre a casa 30 segundos.

03.  Polling Model

...