A Plataforma de Dados da BigDataCorp foi desenvolvida para oferecer acesso simples, seguro e escalável a um ecossistema extenso de informações públicas. Por trás de APIs padronizadas e simples, clientes contam com uma infraestrutura robusta de coleta, tratamento e distribuição de dados, continuamente atualizada e monitorada.  

1️⃣ Captura dos dados

A BigDataCorp realiza a captura contínua de dados públicos e abertos provenientes de diversas fontes, como registros oficiais, diários, sites e bases públicas online. Esses dados são coletados, com o conteúdo original (HTMLs, PDFs, etc) armazenado para referência futura.

Além dos dados capturados, contamos com dados provenientes do. ecossistema de parceiros, além de datasets criados a partir de inferências e modelos internos.  

2️⃣ Processamento e qualidade

Após a coleta, os dados passam por etapas de organização e estruturação, onde tratamos e padronizamos os dados, aplicando diferentes métodos e algoritmos para garantir a sua qualidade. Nessa fase, aplicamos técnicas de engenharia e ciência de dados para:

• Normalizar formatos e campos;
• Eliminar duplicidades e inconsistências;
• Conectar informações à pessoas e empresas;
• Realizar inferências e enriquecimentos (por exemplo, estimar o faturamento de uma empresa ou o gênero da pessoa);
• Garantir a rastreabilidade e a transparência de cada origem.

Com esse processo, o resultado é uma base confiável, coerente e consistente.

3️⃣ Organização em Datasets e APIs

Os dados tratados são então organizados em datasets. Os datasets são grupos de atributos que tem características e finalidades semelhantes, e que servem para resolver problemas específicos.

Os datasets são, por sua vez, disponibilizados em APIs de acordo com o tipo de entidade (como pessoas, empresas ou produtos) e o contexto de utilização (consultas sob-demanda ou datasets de parceiros) de que tratam.

📘

Saiba mais sobre nossas APIs e datasets disponíveis em APIs disponíveis.

4️⃣ Acesso via API

Toda a interação com a Plataforma ocorre por meio de APIs RESTful, com autenticação segura e respostas em formato JSON.
Essa abordagem permite que você integre facilmente os dados da BigDataCorp à sua operação, obtendo informações em tempo real e sob demanda.  

5️⃣ Segurança e conformidade

A nossa Plataforma opera baseada nas melhores práticas de segurança e nas leis de privacidade vigente. Todos os dados comercializados têm origem pública, e a BigDataCorp atua em conformidade com a Lei Geral de Proteção de Dados (LGPD) e boas práticas de governança da informação.

📘

Saiba mais sobre sobre Ética e Privacidade na BigDataCorp.

6️⃣ Atualização contínua e evolução

A BigDataCorp aprimora continuamente seus processos e fontes, incorporando novas tecnologias, datasets e mecanismos de inferência. Isso garante que a Plataforma permaneça atual, escalável e cada vez mais precisa.