Monitoramento de dados

Ao realizar chamadas às APIs de Enriquecimento da Plataforma de Dados, dois campos são obrigatórios:

1. Datasets: lista de todos os conjuntos de dados desejados.
2. Q: parâmetros de consulta necessários para o processamento de cada dataset. Exemplo: o parâmetro doc é obrigatório para datasets de pessoas.

Todas as particularidades dos parâmetros devem ser verificadas durante a escolha dos dados a serem utilizados.

É possível definir o monitoramento de campos específicos dentro de cada dataset.

A seleção de campos deve ser feita de maneira cuidadosa, visto que alguns campos possuem alta frequência de atualização, mas podem não representar uma mudança significativa no dataset como um todo, o que pode gerar custos inesperados.

O monitoramento de campos específicos pode ser feito de duas formas:

1. Utilizando a Seleção de Campos: permite limitar a resposta da API apenas aos campos estritamente necessários ao processo, otimizando o tráfego de dados e reduzindo a latência das requisições.
2. Utilizando olisten: permite monitorar campos específicos sem abrir mão de receber todos os dados possíveis do dataset.

Esta é a forma mais direta de habilitar o monitoramento.

Para isso, informe a opção no momento da chamada à API de enriquecimento por meio do campo Subscribe, juntamente com o SubscriptionHooks, que define o mecanismo de envio das atualizações.

É possível inscrever-se para monitoramento a partir do <Glossary>QueryID</Glossary> de uma chamada realizada anteriormente.

Neste caso, os datasets e parâmetros desejados são extraídos do registro original.

O parâmetro Datasets pode ser enviado na requisição para editar as configurações extraídas do QueryId. Isso permite selecionar apenas datasets específicos para monitoramento ou sobrescrever as configurações de campos a serem monitorados, por meio do parâmetro listen.

Não é permitido alterar filtros, ordenação, limite ou seleção de campos.

É possível habilitar o monitoramento para múltiplos documentos de uma só vez por meio da API de Processamento em Lote.

Esse processo permite maior agilidade e reduz a carga de trabalho necessária para a ativação do monitoramento.

Para realizar o processamento, é necessário possuir um arquivo de entrada com os parâmetros de cada chamada, separados por linhas, acessível por meio dos diferentes métodos aceitos pela API, conforme descrito aqui.

Este é o mecanismo mais simples e ágil para receber atualizações, pois dispensa infraestrutura complexa.

Ao receber o e-mail, será fornecido um link para download de um arquivo compactado, em formato ZIP e protegido por senha. A senha também estará contida na mensagem, juntamente com o total de atualizações.

Recomendado para recebimento consolidado das atualizações em periodicidade predefinida, como diária, semanal ou mensal.

As informações são enviadas por meio das credenciais definidas na chamada, tipicamente para um servidor SFTP ou FTP.

Este mecanismo exige o desenvolvimento de uma API, ou Web Service, dedicada para o recebimento dos dados.

Se houver alguma mudança, os dados completos são enviados individualmente para cada dataset.

A estrutura JSON enviada segue os mesmos padrões de retorno das APIs de Enriquecimento.

Para envios por E-mail ou Arquivos, FTP/SFTP, o formato de saída primário é um arquivo compactado, em formato ZIP.

1. Arquivo Principal: o arquivo principal é gerado no formato ZIP, com o padrão de nomenclatura ID_USER_DOMAIN_DATE.ZIP.

2. Arquivos CSV: neste formato, o arquivo ZIP conterá diversos arquivos CSV, Comma Separated Values, para diferentes conjuntos de dados.

   Esse formato permite fácil visualização e tratamento dos dados atualizados. Um dataset pode necessitar de um ou mais arquivos para compreender todos os seus dados em formato tabular.

   Além dos arquivos com dados atualizados, também são entregues os seguintes arquivos:

   1. Dicionário de Dados.csv: descreve em detalhes cada coluna de dados.
   2. NOME-API_Atualizações.csv: contém as principais alterações encontradas para cada registro monitorado.
   3. Arquivo Completo.xlsx: arquivo de Excel com os dados de todos os arquivos CSV separados em abas. Ideal para uma pré-visualização manual dos dados.

3. Arquivos JSONL: nesta configuração, o arquivo ZIP conterá, individualmente, os dados de atualização para cadadataset monitorado.

   Cada dataset monitorado será referente a um arquivo com a extensão TXT. Exemplo: ID_USER_DOMAIN_DATE_DATASET.TXT.

   Dentro desses arquivos JSONL, cada linha corresponderá a um objeto JSON. Esse objeto JSON replica exatamente a estrutura de dados fornecida pela API de enriquecimento para o respectivo dataset, como basic_data ou kyc.

   Esse formato é ideal para permitir o reaproveitamento das estruturas e tratamentos já realizados para os retornos das APIs de enriquecimento.

4. Configuração de Formato: é possível configurar o formato do arquivo de saída para os envios de monitoramento por meio do endpoint /monitoramento/definirUsuario.

   O campo OutputFileFormat define o formato como CSV ou JSONL. O padrão é CSV.

Para o mecanismo de Webhook, os dados são enviados diretamente em JSON.

O envio é feito de maneira individual, de modo que, se o monitoramento for referente a múltiplos datasets, apenas o dataset alterado será enviado por vez.

Essa regra evita a redundância de dados que não sofreram alterações.

A estrutura JSON enviada segue os mesmos padrões de retorno das APIs de Enriquecimento da BigData Corp.

Para um dataset de Pessoas, assumindo a chamada inicial de enriquecimento, a estrutura de retorno JSON será idêntica àquela esperada de uma requisição de enriquecimento bem-sucedida, mas limitada ao dataset que sofreu a atualização.