예전에는 엑셀 파일 몇개로 충분히 관리하던 데이터가 지금은 매일 매일 엄청난 양의 데이터가 쏟아지는 시대에 우리가 살고 있지요! 이런 데이터를 수집, 저장, 분석, 공유까지 한꺼번에 처리해 주는 시스템을 빅데이터 플랫폼이라고 합니다. 요구하는 문제를 해결하기에 충분한 요소를 제공하는 환경과 편리한 사용자 인터페이스를 제공하고 있지요.

빅데이터 플랫폼 서비스 제공자는 데이터양이 많아지고, 많은 사용자 접속으로 인해 성능문제가 발생하지 않도록 충분한 관리기능을 제공해야 하며, 효율적인 운영을 위한 자원관리 기능을 제공합니다. 그리고 서비스 품질 관리를 위한 각종 지표들을 제공하고 있습니다.

공공데이터포탈이라든지 서울 열린데이터 광장을 빅데이터 플랫폼이라고 보시면 됩니다. 줄여서 BP라고 하는 사람들도 있지요.

공공데이터 포털(www.data.go.kr) 은 정부나 공공기관이 보유한 데이터를 국민 누구나 검색 열람 다운로드 할 수 있도록 제공하는 빅데이터 플랫폼입니다. 행정, 교통, 보건, 환경 등 다양한 주제의 데이터를 한 곳에 모아 놓았지요. 예를들어 서울시 미세먼지 정보라든지, 기상청 날씨 데이터, 교통사고 통계와 같은 데이터가 있습니다.

공공데이터 포털은 먼저 데이터가 무료이면서 누구나 접근이 가능하다는 점이 좋아요. 그리고 공공기관이 제공하는 신뢰도가 높은 데이터라는 점이 장점입니다. "서울시 따릉이 이용데이터", "인구 상권 건물 정보"등 창업준비에 필요한 정보가 있습니다.

데이터는 공유할수록 빛난다.

빅데이터 플랫폼은 데이터 분석을 넘어서 예측과 의사결정을 자동화할 수 있도록 AI와 결합되거나 엣지 컴퓨팅과의 연계를 통해 수집과 분석을 실시간으로 수행하게 됩니다. 이는 데이터 유통 시장이 확대되면서 본격적인 데이터 시대가 되는것지이죠.

빅데이터 플랫폼에서 제공하는 데이터는 모두 익명정보에 해당됩니다.

"익명정보"란 특정 개인을 식별할 수 없도록 처리된 정보를 의미합니다. 즉, 개인정보와 달리 추가정보와 결합해도 특정 개인을 알아낼 수 없는 정보입니다.

시간, 비용, 기술 등을 합리적으로 고려할 때 다른 정보를 사용하여도

더 이상 개인을 알아볼 수 없는 정보 - 익명정보

빅데이터 플랫폼에 올라온 데이터를 보다가 다른데이터와 결합하여 분석하면 좋겠다는 마음을 먹더라도 개인을 식별할 수 있는 정보가 없기 때문에 개인을 기준으로 결합하는것은 불가능합니다. 그래서, 가명처리를 해서 결합한다는것도 안되는것이지요. 그러나, 원데이터는 해당 기관이 보유하고 있기 때문에, 가명결합을 하여 과학적 연구를 진행하고자 하는데, 데이터 제공이 가능한지 데이터보유기관에 문의하게 되면 원데이터에서 결합이 가능한 가명정보를 제공받을수도 있습니다.

가명정보 결합을 하고자 한다면 데이터 보유 기관에 직접 문의하라.

가명정보 결합에서 가장 어려운 부분이 데이터를 보유한 기관이 어디인지를 찾고, 그 기관의 누구에게 연락을 해야 하는지를 알아내는것이 상당히 어렵습니다.

이러한 부분은 가명정보 컨설팅 전문업체(유피에스데이터)에 문의하시면 가명처리를 많이 해 보았기 때문에 데이터를 보유한 기관과 담당자 정보를 쉽게 알 수 있어서 가명 결합 진행에 도움이 될 수 있습니다.