Arquitetura e Engenharia de Dados

A arquitetura de dados orienta como os dados são coletados, integrados, aprimorados, armazenados e entregues para que a empresa tenha visão de detalhes sobre seus dados, além de tornar os dados disponíveis, precisos e completos para que possam ser usados na tomada de decisões de negócios. 

A Engenharia de Dados tem como objetivo fornecer fluxo de dados padrão e organizado para permitir modelos baseados em dados, como modelos de ML e análise de dados. Esse fluxo de dados pode passar por várias organizações e equipes. 

O objetivo de qualquer arquitetura de dados é mostrar à infraestrutura da empresa como os dados são adquiridos, transportados, armazenados, consultados e protegidos, sendo assim crítica para o sucesso de um negócio, além de ser a base de qualquer estratégia de dados e guiar a implementação da mesma para a empresa. 

A Engenharia de dados é associada a análises e tarefas de armazenamento de dados de outras fontes, então há o processamento desses dados transformando-os e limpando-os para serem utilizados em outros processos, desde a visualização de dados, análise de negócios, entre outros. 

Ela requer um entendimento completo de tecnologias, ferramentas, execução mais rápida de conjuntos de dados complexos com confiabilidade. 

É assim então responsável pelo projeto, manutenção, extensão e suporte de construção de pipelines de dados.

Repositório de Dados

Repositório de dados também é conhecido como biblioteca de dados ou arquivo de dados. É uma grande infraestrutura de banco de dados que coletam, gerenciam e armazenam conjuntos de dados para análise, compartilhamento e relatórios de dados 

Segurança de Dados

Segurança de dados é o processo de proteção de dados contra acesso não autorizado e corrupção de dados em todo o seu ciclo de vida. A segurança de dados inclui criptografia de dados, hashing, tokenização e práticas de gerenciamento de chaves que protegem os dados em todos os aplicativos e plataformas 

Data Quality

A qualidade dos dados, ou Data Quality, é uma medida de quão adequado um conjunto de dados é para atender às necessidades específicas de uma organização.  
 
A maneira como você define a qualidade dos dados varia de acordo com os requisitos do negócio. Um conjunto de dados pode ser visto como de alta qualidade por uma empresa, mas não para outra, por exemplo. 

ETL

A tradução de ETL (Extract – Transform – Load) é extração, transformação e carregamento. 
Esse processo passa pelas seguintes fases:

• Extração 
Extrai os dados de sua fonte original, seja outro banco de dados ou um aplicativo; 

• Transformação
Trata os dados fazendo a limpeza, deduplicação e tratamento para atender as necessidades do negócio. 

• Carregamento 
Que é onde os dados são inseridos (carregados) no banco de dados de destino.

As etapas exatas nesse processo podem diferir entre uma ferramenta ETL ou outra, mas o resultado é o mesmo.