‘딥러닝‘ 이라 불리는 최근의 발전의 토대가 되는 핵...

‘딥러닝‘ 이라 불리는 최근의 발전의 토대가 되는 핵심 기술은 역전파hback propagation라는 방식이다. 역전파는 사례를 통해 배운다. 자연 두뇌와 비슷한 방식으로 번거로운 모든 절차를 피하는 것이다. - P61

아이에게 ‘고양이‘라는 단어를 가르치고 싶다면 고양이를 볼 때마다 그단어를 말해 주면 된다. 머신러닝도 기본적인 원리는 같다. 머신러닝에고양이‘라는 라벨이 붙은 고양이 사진을 무수히 입력하고 또 고양이 라벨이 붙지 않은 고양이가 없는 사진을 무수히 입력한다. 그러면 기계는 고양이‘라는 라벨과 관련된 픽셀의 패턴을 인식하는 법을 배운다.
- P61

이제 문제는 알고리즘 문제(고양이의 특징은 무엇인가?)에서 예측 문제(라벨이 없는 이 사진에는 내가 전에 봤던 고양이의 특징이 있는가?)로 바뀌었다. 머신러닝은 확률 모델을 사용해 문제를 해결한다.
- P61

머신러닝이든 고전적 회귀이든 당시 가장 좋은 방법은 ...

머신러닝이든 고전적 회귀이든 당시 가장 좋은 방법은 직관과 통계 실험을 함께 사용해 변수와 모델을 선택하는 것이었다. 이제 머신러닝 기법, 특히 딥러닝 기법은 모델에 유연성을 허락한다. 이 말은 변수가 예기치 않은 방식으로 서로 결합할 수 있다는 뜻이다. 청구하는 달의 이른 시기에 기본 통화 시간을 다 사용해 통화 요금이 많이 나오는사람은 늦게 통화 시간을 채워 요금이 많이 나오는 사람보다 이탈할 가능성이 적다. 아니면 주말 장거리 통화 요금이 많이 나오면서 요금을연체하고 문자를 많이 보내는 사람은 특히 이탈할 가능성이 높다. 이런 조합은 예상하기가 어렵지만 예측에는 큰 도움이 된다. 이런 조합은 미리 알기 어렵기 때문에 표준 회귀 기법으로 모델을 만드는 사람은 예측할 때 이런 것들을 포함시키지 않는다. 하지만 머신러닝은 프로그래머가 아닌 기계에 어떤 조합과 어떤 상호작용이 중요한지 선택할 수 있는여기를 준다.
- P58

2008년의 금융위기는 회귀 기반의 예측 방식이 대실패를 맛본 사건이었다. 사태가 위기로 치닫게 된 것은 부채담보부증권collateralized debtohlizations, 즉 CDO의 상환 가능성을 예측하지 못한 탓이 컸다. 2007년에스탠더드앤푸어스 Standard & Poor‘s 같은 신용평가 기관은 AAA등급 CDO가 5년 뒤에 수익을 내지 못할 확률을 800분의 1미만으로 예측했다. 그러나 5년 뒤에 수익을 내지 못한 CDO는 네 개 중 하나 꼴이었다. 채무불이행에 대한 과거 자료가 풍부했음에도 불구하고 그들의 초기 예측은 크게 빗나갔다.

실패의 원인은 자료 부족이 아니라 분석가들이 예측을 하기 위해데이터를 사용한 방식에 있었다. 신용평가 기관들은 다중회귀 같은 모델을 근거로 예측을 내놓았는데 그 모델은 여러 시장의 주택 가격이 아무런 관련이 없는 것으로 추정하고 있었다.  - P59

분석가들은 그들이 중요하다고 믿은 것에 대한 가설을 근거로 회귀모델과 방법론을 만들었다. 사실 그런 믿음은 머신러닝에는 불필요한것이었다. 머신러닝 모델은 많은 변수 중에 어떤 것이 가장 잘 작동할지 판단하고, 중요한 것과 중요하지 않은 것을 구분하는 일에 특히 능숙하다. 이제 한 분석가의 직관과 가설은 그다지 중요하지 않다. 이런식으로 머신러닝은 라스베이거스와 피닉스와 마이애미의 주택 가격이함께 움직일 수도 있다는 사실을 포함해, 예기치 못한 여러 가지 상호관계를 근거로 정확한 예측을 할 수 있게 해 준다.
- P59

엘스터는 토크빌의 민주주의와 종교의 관계를 파급-보상...

엘스터는 토크빌의 민주주의와 종교의 관계를 파급-보상의 메카니즘으로 정식화하고 있다.

민주주의 사회의 시민들은 종교에 이끌릴까, 아니면 반감을 품을까? 그들이 스스로 결정하는 습관을 정치 영역에서 종교 영역으로 가져간다면 (파급 spillover), 종교적 믿음의 약화를 예상할 수 있다. 정치에서 우월한 권위가 없어지기 때문에 다른데서 권위를 찾는다면(보상 compensation), 민주적인 정치체제는 종교에 우호적인 경향을 보일 것이다. - P82

민주주의에서 허용되는 것을 하려는 시민들의 욕망을 민주적 체제가 어떤 식으로든 제한하는 것이 가능한가? 가능하다는 것이 토크빌의 주장이다. 그가 생각하기에, (민주주의 하에서 부족한) 권위에 대한 욕구를 충족하기 위해서 민주적 시민들은 종교로 향한다. 그리고 종교는 시민들의 욕망을 한정하고 제한한다. 토크빌에 따르면, 민주주의 비판가들은 욕망은 무시하고 기회에만 초점을 맞추기 때문에 이런 점을 놓치고 있는 것이다.  - P91

만일 민주주의가 종교에 미친 영향이 파급 효과보다 보완 효과에 의해 매개된다면, 민주적 사회는 종교적이게 될 것이다. 만일 기회에 미치는 민주주의의 긍정적 효과를 충분히 상쇄할 정도로 민주주의가 (종교를 매개로) 욕망에 부정적 효과를 미칠 수 있다면, 민주적 시민들은 온건하게 행동할 것이다. - P93

엘스터가 제시한 법칙과 메카니즘 그리고 설명의 관계 ...

엘스터가 제시한 법칙과 메카니즘 그리고 설명의 관계

설명은 메카니즘을 제시하는 것이다. 그런데 상반된 메카니즘 중에서 하나가 촉발되는 조건을 알지 못하는 경우가 많다. 그렇다고 해서 설명이 아닌건 아니다. 만약 촉발조건을 알게 되면 비로소 법칙이라 부를만 하게 된다.

어떤 재화가 비싸질 때 소비자가 왜 덜 소비하게 되는지 설명하려면, 가격 변화에 대한 개인 소비자 반응에 대한 특정한 가설을 채택해서 검증해 봐야만 한다. 특정해서 말하자면, 내가 메커니즘이라고 부른 것에 근거해야만 한다. 개략적으로 말해서, 메커니즘은 빈번하게 일어나고 쉽게 인지되는 인과적 패턴인데, 그것이 어떤 조건에서 촉발될지는 일반적으로 알려지지 않았고, 어떤 귀결에 이를지 정해져 있지도 않다. 메커니즘 덕분에 설명은 할 수 있지만, 예측을 할 수 있는 것은 아니다.  - P79

예컨대 알코올중독 환경에서 커서 알코올중독이 된 아이들이 많지만, 어떤 아이들은 같은 환경에서 커도 알코올중독이 되지 않았다는 사실을 지적할 수 있다. 두 가지 반응은 부모 따라 하기와 부모 반대로 하기라는 두 메커니즘이 실현된 예이다. 우리는 알코올 중독자의 자녀가 어떤 사람이 될지 미리 말할 수 없다. 그러나 그가 술은 입에도 대지 않는 사람이 되거나 알코올 중독자가 되었다면, 우리는 그가 왜 그렇게 되었는지를 추측할 수 있다.
- P80

나는 메커니즘을 빈번하게 일어나고 쉽게 인지되는 인과적 패턴이라고 말했다. 속담에 깃든 지혜는 그런 패턴들을 많이 확인해 준다. 내가 좋아하는 식으로 정의하자면, "속담은 여러 세대를 거쳐 전수된것이며, 간단한 어구 속에 일반 원리나 공통 상황을 요약하고 있으며, 그것이 언급될 때, 모든 사람이 그것이 뜻하는 바를 정확하게 이해한다" 더 나아가 속담은 일반법칙보다는 메커니즘에 대해 말할 때가 많다. 속담들은 놀랍게도 서로 배타적인 내용의 것들이 짝을 이루는 경향이 있다. 그것에 대해 살펴보자. "옆에 없으면 더 애틋해지는 법"이라는 속담이 있는 한편, "보지 않으면 마음도 멀어진다"는 속담도 있다. 우리는 한편으로는 금단의 열매가 가장 달다고 생각하지만, 다른 한편으로는 손에 닿지 않는 포도는 시다고 생각한다. 
- P81

종종 메커니즘에 의한 설명이 우리가 할 수 있는 최선이다. 그러나 이따금 우리는 더 잘할 수 있다. 일단 "일반적으로 알려지지 않은 조건 아래서 촉발된" 메커니즘을 확인하게 되면, 촉발 조건을 확인할 수도 있다. 그런 경우, 앞서 정의된 것보다 약한 의미의 법칙일지라도, 메커니즘은 법칙으로 대치된다.
- P92

헨리 키신저(Henry Kissinger)는 자신이 ...

헨리 키신저(Henry Kissinger)는 자신이 정치학에서 배운 것을 언급하면서 이렇게 적었다.

“케네디의 컨설턴트로 일하기 전까지 나는 대부분의 학자들과 마찬가지로 의사결정이 주로 지적인 과정으로 이루어지고, 대통령 집무실에 들어가서 대통령을 상대로 자기 생각이 옳다는 것을 설득하기만 하면 되는 것으로 생각했다. 그러나 나는 이런 생각이 널리 퍼져 있는 만큼이나 위험할 정도로 미숙한 것임을 곧 깨달았다.”22

또한 키신저는 쉬운 결정, 즉 분석을 통해 정답과 오답을 쉽게 확인할 수 있는 결정은 대통령에게까지 가지 않고 비서진 선에서 처리된다는 사실도 지적했다. - < 파워, 제프리페퍼 지음, 안세민 옮김 > 중에서