총영사관 제2회 브라운백 세미나-빅데이터

매일 생성되는 테라바이트의 규모 정보 처리

최근 인간의 두뇌 수준과 맘먹는 인공지능(AI)으로 대표되는 소위 4차산업혁명시대가 도래하면서 매일 엄청난 양으로 생성되는 정보를 의미하는 빅데이터도 또 하나의 주요 단어로 부상했다. 그러나 정확하게 빅데이터가 무엇이고 이런 빅데이터를 어떻게 활용해야 할 지에 대해 아는 일반인들은 그리 많지 않다.

이런 지적 궁금증을 해결하기 위해 주밴쿠버총영사관(김건 총영사)는 제2회 브라운백 세미나로 UBC경영대학원(Sauder School of Business)의 이진무 교수를 초빙해 25일 오후 12시 총영사관 회의실에서 빅데이터에 대한 알아보는 의미 있는 시간을 가졌다.

이 교수는 빅데이터 분석에 대해 '하루에도 수 테라바이트나 생성되는 정보들을 분석해 의사결정에 응용하는 것'이라고 정의했다. 이 교수는 현재 데이터의 80-90%는 (마치 이메일이나 SNS 글처럼) 체계적으로 구성되어 있지 않다고 말하고 이런 무정형적 데이터를 특정한 주제별로 분류해 체계화 시키는 일이 바로 빅데이터 분석이라고 설명했다.

그런데 덱스트로 된 데이터는 전체 빅데이터 중 14.13%에 불과하고 사진이나 동영상 같은 이미지가 78.11%나 되기 때문에 최근에는 이런 이미지도 데이터화 하는 빅데이터 분석이 연구되고 있다고 말했다. 

이런 이미지를 분석하는 데에는 인공지능에서 사용되는 알고리즘인 딥러닝(deep learning, 심화학습법)이 동원된다. 즉 이미지 데이터를 분석해 해당 이미지 속에 사람이 있는 지 개나 고양이가 있는 지를 확률적으로 구별해 낸다. 또 나아가 해당 이미지를 접한 사람들의 데이터를 상호비교 분석해 어떤 이미지가 호감도가 높은 지를 알아내 이를 광고 마케팅에 응용하는 것이다. 

딥러닝은 처음에는 50년 전부터 머신러닝(machine learning)의 개념으로 연구돼 왔지만 실제 인간의 신경망인 뉴런과 같이 컴퓨터를 통해 구현 하는 데에는 당시 컴퓨터 처리 성능이 따라주지 못해 실제 완벽한 구현은 어려웠었다. 그러나 2006년 토론토 대학교의 제프리 힌튼 교수가 새로운 개념의 딥러닝 알고리즘을 제안하면서 단기간 내에 알파고와 같은 인간의 능력을 뛰어 넘는 인공지능을 만들어 낼 수 있게 됐다.

인공지능을 가능케한 딥러닝 알고리즘까지 빅데이터 분석에 동원하게 되면서 매일 생성되는 방대한 양의 데이터를 빠르고 합리적인 의사결정에 활용할 수 있게 됐다.

그러나 빅데이터는 방대하고 다양한 개인정보를 바탕으로 하고 있어 개인 프라이버시가 해킹 당했을 때는 큰 재앙이 될 수도 있는 양면성을 갖고 있다.

이에 대해 이 교수는 이를 방지하기 위해 다방면에서 연구와 진화가 이루어지고 있다고 밝혔다. 또 페이크 뉴스나 가짜 정보, 또는 의도적인 다량의 악성 댓글과 같이 빅데이터 분석에 오류를 일으키고 잘못된 여론이 형성되는 문제점에 대해 UBC경영대학원과 같은 학문기관 등에서 공학과 인문학적 공동 연구를 통해 해법을 찾아내는 연구를 동시에 하고 있다고 설명했다.

한편 김 총영사는 세미나 총평을 마치고, 올해 한 번 더 브라운 백 세미나를 할 계획인데 어떤 주제로 할 지 한인들의 의견을 수렴한다고 밝혔다. 이와 관련해 담당자 이메일(hryoo15@mofa.go.kr)로 의견을 개진할 수 있다.

표영태 기자