DATA LAKE: suas funcionalidades e aplicações

Denis Henrique Pazini da Silva; Miriam Francieli Paes; Eder Carlos Salazar Sotto; Liriane Soares de Araújo

doi:10.31510/infa.v21i1.1960

Autores

Denis Henrique Pazini da Silva Fatec Catanduva https://orcid.org/0009-0008-7549-6967
Miriam Francieli Paes Fatec Catanduva https://orcid.org/0009-0005-1689-5464
Eder Carlos Salazar Sotto Faculdade de Tecnologia de Taquaritinga – SP – Brasil
Liriane Soares de Araújo Fatec Catanduva https://orcid.org/0000-0003-1504-5845

DOI:

https://doi.org/10.31510/infa.v21i1.1960

Palavras-chave:

Data lake, Banco de dados, Dados brutos

Resumo

Em uma era onde a voracidade por dados é insaciável, o conceito de Data Lake emerge como um reservatório robusto e inovador para a retenção e análise de informações. Inspirado por pesquisas pioneiras de autores como James Dixon em seu blog em 2010, fundador da Pentaho, e Thomas H. Davenport, renomado especialista em análise de dados, o Data Lake se destaca como uma abordagem disruptiva no cenário do gerenciamento de dados. Este artigo tem como objetivo explorar esse conceito, examinando a arquitetura flexível e expansível proposta por Dixon e as principais abordagens tradicionais ao preservar a integridade dos dados brutos independente de sua fonte ou formato, tudo em um único local, considerando a escassez de literatura ainda existente por ser um assunto novo. Ao abordar sobre o Lago de Dados (Data Lake), pretende-se abranger não apenas sua estrutura, mas também suas implicações que esse ambiente de armazenamento de dados brutos pode ter nas pesquisas científicas, mostrando ainda o que é o Data Lake, a fim de contribuir para a compreensão desse conceito.

Downloads

Métricas

Visualizações em PDF

52

|

Referências

AMAZON WEB SERVICES. Estudo de Caso: Coca-Cola. Disponível em: https://aws.amazon.com/pt/solutions/case-studies/innovators/coca-cola/. Acesso em: 27 fev. 2024.

AMAZON WEB SERVICES. Estudo de Caso: Coca-Cola Andina. Disponível em: https://aws.amazon.com/pt/solutions/case-studies/coca-cola-andina-case-study/. Acesso em: 27 fev. 2024.

Amazon Web Services. Data Lakes and Analytics: Data Lakes. Disponível em: https://aws.amazon.com/pt/big-data/datalakes-and-analytics/datalakes/. Acesso em: 12 mar. 2024.

Amazon Web Services. (s.d.). AWS CloudTrail: Guia do usuário. Recuperado de https://docs.aws.amazon.com/pt_br/aescloudtrail/latest/userguide/cloudtrail-user-guide.html. Acessado em: 12 mar.2024.

Cutting, D., & Cafarella, M. (2015). Data Lakes: The Definitive Guide. Data Lake Management: Challenges and Opportunities. Disponível em: http://www.vldb.org/pvldb/vol12/p1986-nargesian.pdf. DOI: https://doi.org/10.14778/3352063.3352116

Dixon, J. (2010). Pentaho, Hadoop, and Data Lakes. Disponivel em: https://jamesdixon.wordpress.com/2010/10/14/pentaho-hadoop-and-data-lakes.

Fang, H. (2015). Managing Data Lakes in Big Data Era: What's a data lake and why has it become popular in data management ecosystem. In The 5th Annual IEEE International Conference on Cyber Technology in Automation, Control and Intelligent Systems, June 8-12, 2015, Shenyang, China. DOI: https://doi.org/10.1109/CYBER.2015.7288049

GIL, Antônio Carlos. Como elaborar projetos de pesquisa. 1991. Atlas.

Inmon, B., & Linstedt, D.. Data Lake Architecture: Designing the Data Lake and Avoiding the Garbage Dump. 2017. Technics Publications.

IPSense. Estudo de Caso: AWS Neighborly Data Lake. Disponível em: https://www.ipsense.com.br/estudo-de-caso-aws-neighborly-data-lake/. Acesso em: 27 fev. 2024.

Khine, P.P.. Data lake: a new ideolçogy in big data era. Disponivel em: https://doi.org/10.1051/itmconf/20181703025. Acessado em: 12 mar. 2024. DOI: https://doi.org/10.1051/itmconf/20181703025

Medium. Como Criamos Nosso Data Lake Utilizando a AWS. Disponível em: https://medium.com/building-soulkey/como-criamos-nosso-data-lake-utilizando-a-aws-e8cd96618929. Acesso em: 12 mar. 2024.

Miloslavskaya, N., & Tolstoy, A. Application of Big Data, Fast Data and Data Lake Concepts to Information Security Issues. In 2016 4th International Conference on Future Internet of Things and Cloud Workshops. DOI: https://doi.org/10.1109/W-FiCloud.2016.41

Serra, J., & Anton, B. (2018). "Data Lake Architecture." Disponível em: https://www.itm-conferences.org/articles/itmconf/pdf/2018/02/itmconf_wcsn2018_03025.pdf.

Singh, A. (2019). Architecture of Data Lake. Revista Internacional de Pesquisa Científica em Ciência da Computação, Engenharia e

Tecnologia da Informação (IJSRCSEIT), 5(2), 411-414. Disponível em: https://doi.org/10.32628/CSEIT1952121. Acesso em 27 fev. 2024. URL da revista: http://ijsrcseit.com/CSEIT1952121.

Singh, A. & Ahmad, S. Architecture of Data Lake. International Journal of Scientific Research in Computer Science, Engineering and Information Technology, 2019, vol. 5. Diponivel em: https://doi.org/10.32628/CSEIT1952121. Acessado em: 12 mar. 2024. DOI: https://doi.org/10.32628/CSEIT1952121

Wider, P. & Nolte, H. Toward data lakes as central building blocks for data management and analysis. Disponível em: https://www.frontiersin.org/articles/. Acessado em: 12 mar. 2024.