빅데이터 분석을 통한 가치 창출을 처음 시도하는 기업이라면 반드시 1단계 묘사분석과 2단계 진단분석의 단계를 밟은 후에 3단계 예측분석이나 4단계 처방분석으로 가야 한다. 특히 4단계를 수행하려면 반드시 3단계에서의 예측이 필수적이다.
인공지능의 두 번째 구현 방법이 바로 이 귀납적 추론기반이다. 이것을 ‘머신러닝’ 또는 ‘기계학습’이라고 한다.
머신러닝은 인간이 자주 쉽게 수행하는 이 귀납적 추론 방법을 컴퓨터에게 시켜서 인공지능을 구현하는 것이다. 즉, 지식 기반과 달리 컴퓨터에게 명제를 주는 대신, 사진 같은 데이터를 여러 개 반복적으로 보여줌으로써 컴퓨터가 자연스럽게 의자를 인지하고 개와 고양이를 구분할 수 있게 만드는 것이다.
빅데이터는 어떠한 가치를 만들어내고 실제로 우리 삶을 어떻게 변화시키고 있는가? 기획, 이노베이션, 제품 개발부터 제조, 생산, 영업 및 마케팅, AS까지 기업에서 빅데이터가 어떻게 활용되는지 살펴보자. 실로 빅데이터는 개인의 취향과 욕망, 기계 장비 속에서 일어나는 일을 비롯해 우리 일상에서 벌어지는 모든 것을 알고 있다.
우버가 택시와 다른 점은, 기사가 목적지 때문에 승차 거부를 할 수는 없지만 해당 승객에 대한 다른 기사들의 평점을 보고 승차 거부를 할 수 있다는 것이다. 이로써 소위 ‘진상 고객’을 피할 수 있다. 평가 시스템에 의한 자동적인 자정인 셈이다.
우리에게 품질에 대한 정확한 수치를 92점, 91점 등으로 제공한다. 반면 지역 주민에게 물어보면 좋다고 해도 어느 정도로 좋은 건지 사람마다 그 기준이 다를 것이다. 인간의 언어는 애매모호하기 때문에 한 사람의 "꽤 좋다"가 다른 사람의 "아주 좋다"보다 더 좋을 수 있기 때문이다.
이렇게 하는 것이 머리에 띠 두르고 결의대회를 열어 ‘재작업 제로의 원년이 되자!’라는 구호를 외치거나, 화장실 변기 위에 표어를 붙여놓는 것보다 훨씬 효과적이다.
문제의 원인을 데이터로부터 찾아 이를 제거하는 액션을 취해야만 우리가 원하는 문제 해결, 즉 가치 창출을 할 수 있다. 아무리 작은 문제라도 이렇게 해서 제거한 문제는 절대로 재발되지 않는다.
VIP는 돈이 많은 사람들이기 때문에 회비를 10만 원에서 9만 원으로 깎아주겠다는 것 정도에는 그다지 감동받지 않는다. 다만 감동받는 것은 바로 자신이 VIP라는 것을 ‘인정’받을 때다.
우리가 맛과 상관없이 단골집에 자주 가는 이유도 사실은 그런 인정받는 느낌 때문이다. 주인이 다른 손님과 다르게 나를 반기는 것을 좋아하는 것이다.
읽는 것을 안 좋아하는 아이는 아무리 집에 책을 많이 사다 놓아도 책 읽기 싫어하는 자기 엄마를 닮아서 절대로 책을 읽지 않는다
전 세계 모든 나라에는 중앙은행이라는 게 있다. 우리나라는 한국은행이, 일본은 일본은행이, 영국은 영국은행이 중앙은행이다. 유럽연합의 중앙은행은 유럽중앙은행이다. 다만 미국에는 중앙은행이 존재하지 않는다. 18세기에 중앙은행을 만들려는 대통령의 시도가 있었지만 자본가들에 의해 실패한 바 있다. 대신 미국은 연방준비제도federal reserve system라는 조금은 애매한 조직이 중앙은행 역할을 대체하고 있는데, 그곳 의장 임기는 몇 년밖에 되지 않아 벤 버냉키에서 재닛 옐런을 거쳐 지금은 제롬 파월이 맡고 있다.
알파고의 등장으로 인공지능과 빅데이터의 가치에 대한 인식이 많이 바뀌었다. 세상을 움직이는 인공지능과 데이터의 위력을 모두 알게 된 것이다. 이제 빅데이터를 인사이트로 변환시키는 애널리틱스는 무엇인지, 그 가운데 인공지능과 머신러닝은 무엇인지 살펴보자.
시각화, 우선 그림으로 그려야 한다 이제 애널리틱스 태스크에 대해 구체적으로 살펴보겠다. 먼저 시각화다. 시각화는 비즈니스 인텔리전스business intelligence라고도 하는데, 데이터를 그림으로 그려서 보여주는 것이다.
맥주와 기저귀의 연관성은? 두 번째 분석 태스크는 연관분석, 즉 연관성이 있는 것들을 찾는 것이다.
비슷한 것은 비슷한 것끼리 모아야 세 번째 태스크는 클러스터링, 즉 군집화다. 사람 또는 대상을 비슷한 것들끼리 묶는 방법이다.
비행기도 새가 되는 ‘튜링 테스트’ 위키피디아에 따르면, 인공지능이란 주변 상황을 인지하고 목표를 달성하는 행동을 하는 컴퓨터로 정의된다.
암묵적 지식은 명제화가 불가능하다 기호주의로 다시 돌아가면, 이들 학파는 현실적인 한계를 세 가지나 만나게 되었다. 첫째는 지식의 방대함이다.
두 번째 현실적 한계는 전문가들의 지식 자체가 비일관적이고 주관적이라는 것이다.
세 번째 한계이자 가장 강력한 한계는 암묵적 지식tacit knowledge, 암묵지에 대한 것이다. 우리가 할 줄은 알지만 어떠한 지식을 이용해서 하는지 체계적으로 설명할 수 없는 것을 암묵적 지식이라고 한다. 반대 개념인 명시적 지식explicit knowledge, 명시지는 공학 지식, 법률 지식, 의학 지식 등으로 결론에 이르는 과정이 명백하고 각 단계에서 사용한 지식이 분명한 것들이다.
인간지능을 따라 만든 인공지능 인공지능 구현의 두 번째 방법은 첫 번째 기호주의와는 극단적으로 다르다. 인간의 뇌는 지능이 있으니 이것이 어떻게 운용되는지 보고 따라서 해보자는 생각에서 출발했다. 인간지능을 따라 하는 인공지능인 셈이다.
얼마 되지 않은 데이터로 무언가를 단정 짓듯 말하는 것은 매우 위험하다. 때마침 데이터의 양이 어마어마해진 빅데이터 시대에 귀납적 추론은 그 어느 때보다도 확실히 경쟁력이 있다고 하겠다.
그런데 1990년대 초중반까지 엄청난 전성기를 누리던 연결주의는 결정적인 현실 문제에 부닥치면서 두 번째 겨울을 맞게 된다. 첫 번째 문제는, 연결주의 지식의 핵심은 데이터에서 오는 것인데 이론적으로 머신러닝하는 알고리즘은 개발되었지만 정작 데이터가 없다는 것이다.
단어의 속성tag이 무엇인지 판단하는 과정을 태깅tagging이라고 한다.
빅브라더는 조지 오웰의 소설 『1984』에 등장하는 전체주의 정부를 가리키는 말로서, 정보를 독점해서 사회를 통제하는 권력이나 사회체계를 뜻한다. 그런데 사실상 빅브라더는 빅데이터가 등장하기 훨씬 전부터 존재했다. 지금은 붕괴된 동독과 소련을 포함한 공산국가 대부분이 그와 같은 정보 독점을 통해 사회를 통제했던 것이다.
4차 산업혁명의 재료로써 엄청난 가치를 만들어내는 빅데이터. 이러한 가치를 만들기 위해 구체적으로 누가 어떤 역할을 수행해야 하고 어떤 순서로 일을 진행해야 하는가? 이 과정에서 기관이나 기업이 마주치는 걸림돌은 무엇이며 이를 어떻게 극복할 수 있는가? 실제 데이터를 제공해주는 개개인은 그 혁신의 과실을 따먹을 수 있는가? 이를 위해 어떠한 제도적 장치가 필요한가?
정리해보면 빅데이터 가치를 만드는 과정은 기획plan, 분석do, 확인check, 실행act의 총 4단계로 이루어진다. 기획은 가치→인사이트→데이터 순으로 계획을 만드는 단계, 분석은 데이터로 인사이트를 만드는 단계, 확인은 인사이트의 의미를 검증하는 단계, 끝으로 실행은 인사이트를 비즈니스 가치로 만드는 단계다. 실행이 끝나면 다시 새로운 기획이 자연스럽게 떠오르게 됨으로써 4단계는 반복된다.
좋은 기획은 수많은 브레인스토밍을 거쳐야 한다 기획을 잘하려면 어떤 점에 집중해야 하는가? 성공적인 기획의 3요소는 첫째 임팩트, 둘째 데이터, 셋째 분석이다. 따라서 무엇보다 가장 먼저 비즈니스 임팩트가 큰 가치를 찾아야 한다.
첫째, 기본 이론 및 알고리즘을 공부하고, 둘째, 실제 데이터를 가지고 컴퓨터를 활용해서 애널리틱스 방법론을 적용함으로써 인사이트를 도출하는 실습을 수행하며, 셋째, 비즈니스 문제 상황 및 원하는 가치가 주어졌을 때 어떻게 분석 문제로 변환시키는지 도상 훈련을 한다. 그리고 넷째, 각자의 업무 분야에서 중요한 가치를 줄 수 있는 가치-인사이트-데이터로 이어지는 기획을 수행한 후, 마지막 단계에서는 자신이 수립한 기획에 따라 실제 데이터를 확보하여 애널리틱스 방법으로 인사이트까지 도출하는 것이다.
공대생은 모두 코딩을 잘한다고 생각하지만 실제로 컴퓨터공학과나 산업공학과, 전기공학과 정도에서만 코딩을 배운다. 다른 학과 출신은 자신이 따로 독학하지 않았다면 코딩을 하지 못한다
공공데이터는 엄청난 가치의 무료 빅데이터 그렇다고 현실이 어둡기만 한 것은 아니다. 희망도 있다. 바로 공공데이터 활용이다. 공공데이터란 정부나 공공기관이 보유한 데이터를 말하는데 우리 정부는 수년 전부터 민간에서 사용할 수 있도록 데이터를 개방하고 있다. 공공데이터 포털(data.go.kr)에 가면 다양한 정부 데이터들이 개방돼 있다.
빅데이터 활성화를 위해서는 제도적 지원도 필요하다. 어디까지가 합법이고 어디까지가 불법인지에 대한 분명한 가이드라인, 그리고 이를 뒷받침하는 사회적 합의가 그것이다. 우리나라에는 개인정보보호법이 있는데 주로 유럽의 법률을 참조해서 만들었다. 유럽은 개인정보를 인권으로 바라보고 기본적으로 공개를 금하고 있다. 그렇다 보니 우리나라 개인정보보호법의 규제 강도는 세계에서 두 번째로 강했다.
네이버, 카톡, 구글, 페이스북, 인스타그램 모두가 무료 서비스다. 이렇게 유용한 서비스를 우리에게 무료로 제공하는 회사들은 정말 천사같이 보인다. 그런데 사실 그 천사들은 무료의 대가로 우리의 매우 사적인 데이터를 가져간다. 만일 내가 누구와 대화하는지, 어떤 단어를 검색하는지, 어떤 사진을 찍었는지 아무에게도 알리고 싶지 않다면 위에 언급한 서비스를 사용하지 말아야 한다. 우리는 공짜로 서비스를 받는 대신 우리의 데이터를 건네주고 있다. 사실상의 암묵적인 거래가 발생하고 있는 것이다.
토지를 차지하려면 엄청난 비용을 지불하거나 혁명을 일으켜서 토지 개혁을 하는 방법밖에 없다. 그러나 데이터는 한정된 자원이 아니다. 돈이 많든 적든, 힘이 세든 약하든 누구에게나 데이터를 가질 수 있는 가능성이 열려 있다. 마치 신대륙이 생긴 것과 마찬가지다. 지금의 이 기회를 잘 활용하면 당신도 데이터의 주인이 되지 못할 이유가 없다. 내가 꿈꾸는 세상을 만드는 기획, 바로 우리 자신이 할 수 있는 것이다. 어떠한가, 여러분도 한번 도전해보고 싶지 않은가?
|