Skip to main content

Data lake e warehouse

Data lake​

  • Data lake

Introduzido no início de 2010, um Data Lake é um repositório centralizado projetado para armazenar grandes quantidades de dados brutos, independentemente de sua origem ou formato.

Ao contrário dos sistemas tradicionais, não discrimina – estruturado, semiestruturado ou não estruturado; todos os dados são bem-vindos.

A ideia?

Ter uma única fonte de verdade, pronta para ser analisada quando necessário.

Aqui está uma jornada passo a passo por um Data Lake:

1️⃣ 𝗗𝗮𝘁𝗮 𝗜𝗻𝗴𝗲𝘀𝘁𝗶𝗼𝗻: Em primeiro lugar, recolhemos dados de diversas fontes:

  • 📜 Logs: registros de diagnóstico.
  • 🌐 Mídias Sociais: Capturando sentimentos em tempo real.
  • ☁️ Nuvem: Um reservatório de recursos escaláveis.
  • 🔄 ERP/CRM: O epicentro das operações do seu negócio.
  • 📂 Flat Files e 🗃️ OLTP: Simplicidade e transações em tempo real.

2️⃣ 𝗘𝗧𝗟 𝗣𝗿𝗼𝗰𝗲𝘀𝘀: Assim que os dados entram no sistema, o processo ETL (Extrair, Transformar, Carregar) entra em ação. É aqui que os dados são limpos, transformados e preparados para análise.

3️⃣ 𝗦𝘁𝗼𝗿𝗮𝗴𝗲 𝗮𝗻𝗱 𝗠𝗮𝗻𝗮𝗴𝗲𝗺𝗲𝗻𝘁: O Data Lake possui zonas distintas:

  • 🔶 𝗕𝗿𝗼𝗻𝘇𝗲 𝗭𝗼𝗻𝗲: local de descanso inicial dos dados brutos.
  • 🔷 𝗦𝗶𝗹𝘃𝗲𝗿 𝗭𝗼𝗻𝗲: O estágio de transformação onde os dados são limpos e estruturados.
  • 🥇 𝗚𝗼𝗹𝗱 𝗭𝗼𝗻𝗲: Aqui, os dados são refinados, confiáveis e prontos para consumo.

🛡️ 𝗦𝗲𝗰𝘂𝗿𝗶𝘁𝘆: Garantindo a integridade e proteção dos dados. 🔍 𝗦𝗲𝗮𝗿𝗰𝗵: Encontre com eficiência os dados que você precisa. 🌐 𝗚𝗼𝘃𝗲𝗿𝗻 𝗭𝗼𝗻𝗲: Onde residem as políticas de gerenciamento de dados para manter a qualidade e a conformidade dos dados.

🔽 𝗗𝗮𝘁𝗮 𝗖𝗼𝗻𝘀𝘂𝗺𝗽𝘁𝗶𝗼𝗻: A fronteira final onde os dados encontram seu destino – seja em análises, modelos de aprendizado de máquina ou relatórios de negócios.

Lembre-se de que a essência de um Data Lake não está apenas em seu armazenamento, mas na eficácia com que podemos transformar dados brutos em insights acionáveis.

alt text

Data Warehouse​

alt text