IT Solutions Estudo de caso

Apoio ao cliente na migração de dados em altíssimo volume para o Snowflake.

PERFIL DO CLIENTE:
Empresa líder no setor de exploração de óleo e gás.

Desafios:

Uma grande empresa de petróleo e gás enfrentou desafios significativos ao tentar migrar uma ampla gama de dados, incluindo operações, telemetria, logs e formulários, provenientes de várias fontes, como OracleDB, SQLServer, SAP e dezenas de APIs de terceiros, para um lago de dados Snowflake.

Os principais desafios incluíam gerenciar o volume e a variedade de dados, garantir consistência e velocidade na transferência de dados e oferecer suporte tanto para a ingestão de dados em lotes quanto para a quase em tempo real.

Solução:

A Dexian, especialista em soluções de dados, entregou uma solução abrangente para enfrentar esses desafios complexos:

Migração de Tubulações Baseada em Airflow: A Dexian utilizou o poderoso Apache Airflow para criar, agendar e monitorar fluxos de trabalho de migração de dados. Desenvolveram operadores personalizados que se conectaram às diversas fontes de dados, estruturando os dados em um processo de ingestão padronizado.

Equipe e Expertise: A Dexian disponibilizou uma equipe altamente qualificada composta por engenheiros de dados e desenvolvedores SQL especializados em Snowflake. Eles foram fundamentais na garantia da qualidade dos dados, implementando tubulações de validação de dados, migrando visualizações calculadas e realizando verificações rigorosas nas visualizações migradas.

Resultados & Benefícios:

• Migração Bem-sucedida de Tubulações de Alta Prioridade: Mais de 30 tubulações de alta prioridade foram migradas com sucesso, garantindo a transferência perfeita de dados críticos para o lago de dados Snowflake.
• Redução de Custos: A migração para o Snowflake permitiu que a empresa resolvesse os custos associados à execução e manutenção do AWS Lambda e Step Functions (Glue) para todas as tubulações migradas.
• Ao aproveitar a experiência da Dexian e utilizar as capacidades do Snowflake, a empresa de petróleo e gás conseguiu superar os desafios da migração de dados e alcançar uma plataforma de dados otimizada e eficiente