데이터 처리 기술은 방대한 양의 데이터를 빠르게 수집, 저장, 분석, 처리하는데 필요한 핵심기술입니다.

관계형데이터베이스에서는 데이터를 테이블형태로 관리를 했었지요. 이러한 데이터가 많아지면서 테이블간의 관계가 형성이 되고, 데이터가 축적이 되면서 대용량데이터베이스라고 했었습니다.

요즘은 대용량데이터라고 하지 않고, 빅데이터라고 하지요. 빅데이터는 단순한 '큰 데이터' 라는 것이 아니고 '크기(Volume)', '속도(Velocity)', '다양성(Variety)', '정확성(Veracity)', '가치(Value)' 의 5V 특성을 갖고 있습니다.

빅데이터 처리의 핵심 기술

1) 데이터 수집 (Data Collection)

크롤링 도구 : Scrapy, Apache Nutch

센서/IoT 연계 : 실시간 데이터 수집

로그 수집기 : Fluentd, Logstash

2) 데이터 저장 (Data Storage)

분산 파일 시스템 : HDFS (Hadoop Distributed File System)

NoSQL 데이터베이스 : MongoDB, Cassndra

데이터 웨어하우스 : Amazon Redshift, Google BigQuery

3) 데이터 처리 (Data Processing)

배치 처리 : Apache Hadoop (MapReduce)

실시간 처리 : Apache Storm, Apache Flink

인메모리 처리 : Apache Spark

4) 데이터 분석 및 시각화 (Analysis & Visualization)

통계 분석 도구 : R, Python (pandas, numpy)

머신러닝 플랫폼 : TensorFlow, PyTorch, Scikit-learn

시각화 도구 : Tableau, Power BI, D3.js

5) 오케스트레이션 & 관리

워크플로우 관리 : Apache Airflow, Oozie

모니터링 : Prometheus, Grafana

빅데이터 처리시 고려해야 할 보안 요소 데이터 마스킹 및 가명처리 접근제어 및 권한 관리 데이터 무결성 및 감사 로그

빅데이터의 데이터 마스킹이나 가명처리를 제대로 하지 않아 발생한 보안사고가 종종 발생하였습니다.

대표적으로 넷플릭스가 사용자들이 평가한 영화 데이터 약 50만명 분량을 익명화(가명처리)한 뒤 넷플릭스 프라이즈 라는 머신러닝 알고리즘 경진대회에 공개를 했었죠.

이름, 이메일은 삭제 했지만, 사용자 고유 ID, 영화 평점, 평가일자 등을 그대로 남겨 놓은거예요. 일반적으로 고유 ID, 영화 평점 점수, 평가일자는 개인정보가 아니라고 생각하는 경우가 많습니다. 그러나, 평가일자와 평가점수를 다른 정보가 조합하면 재식별이 가능할 수 있어서 문제가 발생할 수 있습니다.

이러한 보안사고가 발생하는 이유는 가명정보라고 해서 개인 식별이 불가능한 것은 아닙니다. 다른정보와의 결합 또는 추가정보를 이용하여 원래의 정보로 복원 등 재식별 가능성이 존재합니다.

가명정보도 퍼즐처럼 모이면 누구인지 알아볼 수 있다.

우리는 이러한 보안사고가 발생하지 않으면서, 데이터 시대의 원유인 데이터를 잘 활용할 수 있어야 합니다. 가명정보를 처리하는 환경과 보안 사고에 대한 인식을 갖고 재식별 위험에 대비하고 또 대비해야 합니다.