Repositorio
Institucional

Aillapan, Gabriel

A Secure-by-Design Approach to Big Data Analytics Using Databricks and Format-Preserving Encryption

MDPI

APPLIED SCIENCES-BASEL

en

Managing and analyzing data in data lakes for big data environments requires robust protocols to ensure security, scalability, and compliance with privacy regulations. The increasing need to process sensitive data emphasizes the relevance of secure-by-design approaches that integrate encryption techniques and governance frameworks to protect personal and confidential information. This study proposes a protocol that combines the capabilities of Databricks and format-preserving encryption to improve data security and accessibility in data lakes without compromising usability or structure. The protocol was developed using a design science methodology, incorporating findings from a systematic literature review and validated through expert feedback and proof-of-concept experiments in banking environments. The proposed solution integrates multiple layers, data ingestion, persistence, access, and consumption, leveraging the processing capabilities of Databricks and format-preserving encryption to enable secure data management and governance. Validation results indicate the protocol is effectiveness in protecting sensitive data, with promising applicability in regulated industries. This work contributes to addressing key challenges in big data security and lays the groundwork for future developments in data governance and encryption techniques.La gestión y el análisis de datos en lagos de datos para entornos de big data requieren protocolos robustos que garanticen la seguridad, la escalabilidad y el cumplimiento de las normativas de privacidad. La creciente necesidad de procesar datos sensibles subraya la relevancia de los enfoques de seguridad desde el diseño, que integran técnicas de cifrado y marcos de gobernanza para proteger la información personal y confidencial. Este estudio propone un protocolo que combina las capacidades de Databricks y el cifrado que preserva el formato para mejorar la seguridad y la accesibilidad de los datos en lagos de datos sin comprometer la usabilidad ni la estructura. El protocolo se desarrolló mediante una metodología de diseño científico, incorporando los hallazgos de una revisión sistemática de la literatura y validado a través de la retroalimentación de expertos y experimentos de prueba de concepto en entornos bancarios. La solución propuesta integra múltiples capas (ingesta, persistencia, acceso y consumo de datos), aprovechando las capacidades de procesamiento de Databricks y el cifrado que preserva el formato para permitir una gestión y gobernanza de datos seguras. Los resultados de la validación indican que el protocolo es eficaz para proteger los datos sensibles, con una aplicabilidad prometedora en industrias reguladas. Este trabajo contribuye a abordar desafíos clave en la seguridad de big data y sienta las bases para futuros desarrollos en gobernanza de datos y técnicas de cifrado.

artículo original

data lake

format-preserving encryption

big data

secure by design

Databricks

sensitive data protection

privacy-enhancing technologies

10.3390/app151910356

pdf

Ciencias de la Computación

Ciencias de la Información y Bioinformática

Otras Especialidades de las Ciencias de la Información y Computación

versión publicada

dorada

verde

acceso abierto

acceso abierto

WOS:001593447600001

A Secure-by-Design Approach to Big Data Analytics Using Databricks and Format-Preserving Encryption

artículo original

MDPI

APPLIED SCIENCES-BASEL

Chemistry, Multidisciplinary

Engineering, Multidisciplinary

Materials Science, Multidisciplinary

Physics, Applied

en

CC BY 4.0

Direccion de Investigacion, Universidad de La Frontera

Direccion de Investigacion, Universidad de La Frontera [PP24-0027]

pdf