네이트 실버, <신호와 소음> "진리를 찾아가는 지혜"

이 책의 주제는 '예측'이다. 구텐베르크의 인쇄술 이후, 그리고 최근의 디지털 혁명으로 대중이 접할 수 있는 정보의 양은 기하급수적으로 늘어나고 있다. 그러면 무한에 가까운 정보는 보다 정확한 예측과 합리적인 의사결정을 촉진하였는가? 네이트 실버는 그렇지 않다고 답한다. 정보의 양은 무한정 늘어났지만, 그 안에서 신호와 소음을 구별하고 신호에 근거해 보다 정확히 예측하는 일은 여전히 초라한 성적이라는 것이 그의 진단이다. 

 

이른바 각 분야의 전문가로 불리는 사람들의 예측도 형편없기는 마찬가지다. 네이트 실버는 전문가의 예측이 가장 크게 실패하는 영역으로 정치와 경제를 꼽는다. 정치평론가들이 수많은 예측을 내어 놓지만 그 가운데 실제로 일어나는 경우는 무작위로 내어놓는 예측이 현실이 될 확률보다 그 다지 높지 못하다. 심지어 전문가들이 복잡한 계산으로 내어 놓은 경제 분야의 예측도 현실이 되는 비율은 그다지 높지 않다. 전문가들도 소음에 섞여 있는 신호를 정확히 구별하는 데 실패하고 있다는 뜻이다. 

 

 

예측의 실패 요인 

 

예측이 상대적으로 어려운 분야가 있다. 날씨는 지진보다 예측의 정확도가 높은데, 기상을 측정하는 기술이 발달하여 많은 자료를 확보할 수 있는데 반하여 현재의 기술로도 여러 지층에서 일어나는 일을 정확히 측정하기 어렵기 때문이다. 그러나 자료가 풍부할 때에도 예측이 빗나가는 경우는 무수히 많은데, 그 이유 가운데 하나는 과잉적합(overfitting)이다. 과거에 일어난 현상을 설명하기 위해 과도하게 복잡한 모델을 만들면, 과거의 현상을 잘 설명하기에 사람들에게 좋은 평가를 받을 수 있지만, 미래를 예측하기에는 부적절한 모델이 되는 현상이다. 

 

이 책에는 신호와 소음을 혼돈하는 많은 이유가 등장하지만, 전문가라는 사람들의 예측이 빗나가는 결정적인 원인은 예측가의 자만심이다. 많은 전문가가 자신이 제시한 예측이 틀릴 수 있다는 사실을 받아들이지 못한다. 미래를 예측하는 모든 모델은 완벽할 수 없다. 그러므로 양질의 정보에 근거하여 최선의 예측을 내어놓으면서도 예측이 빗나갔을 때를 대비해야 한다. "우리가 하는 모든 예측은 빗나갈 수밖에 없다는 사실을 명심해야 합니다. 그러기에 얼마나 빗나가는지 그리고 빗나갔을 때는 어떻게 해야 하는지 이해하고, 또 빗나갔을 때 발생할 수 있는 비용을 최소화하는 것이 예측과 관련해서 우리가 해야 하는 일입니다."(p. 345) 그럼에도 각 분야의 전문가들이 자신의 주장에 확신을 가지고 예측을 하는 경우가 많다. 네이트 실버는 이와 같은 예측을 평가하는 방법도 알려준다. "복잡한 현상을 예측하면서 지나친 확신을 보이는 건, 이 예측이 해당 문제를 철저하게 고찰한 뒤에 나오지 않았거나 통계 모델에 대한 과잉적합의 오류를 범하고 있거나 또는 진리에 다가서는 것보다 명성을 얻는 데 더 큰 관심이 있다는 징표일 수 있음을 명심해야 한다." (p. 592) 

 

 

보다 정확한 예측 

 

600페이지가 넘는 두꺼운 책에서 네이트 실버가 제시한 보다 정확한 예측법은 크게 두 가지로 통한다. 먼저 여우의 법칙이다. (pp. 101-110) 

 

여우의 법칙 1 - 확률적으로 생각하라 

여우의 법칙 2 - 날마다 새로운 예측을 하라 

여우의 법칙 3 - 집단 지성을 활용하라 

 

여우의 법칙과 함께, 네이트 실버는 베이즈 정리가 모든 예측의 기본 원리가 되어야 한다고 주장한다. 토마스 베이즈(Thomas Bayes)는 하나님이 창조한 세상은 무결점의 완전한 것이라고 생각했다. 문제는 인간이 진리를 온전히 파악하지 못한다는 점이다. "그리고 확률을 무지와 지식 사이에 존재하는 중간 지점으로 이해하게 됐다. '확률'을 더 철저하게 이해하는 일이 과학(진보)의 필수 요건이라고 생각하게 된 것이다."(p. 364) 

 

베이즈 정리의 수학적 형식에서는 '사전 확률'과 '사후 확률'의 개념이 등장한다. 어떠한 사건이 발생하기 이전의 추론이 사전확률이라면 그 사건을 겪으며 확률을 새롭게 수정한 것이 '사후확률'이다. 그러니 베이즈 정리는 네이트 실버가 강조하는 여우의 법칙과 일맥상통한다. 베이즈 정리는 먼저 진리를 확률적으로 접근하고(여우의 법칙 1), 사전 확률에 새로운 사건을 받아들여 사후 확률을 도출하며(여우의 법칙 2), 이 과정에서 집단 이성의 도움을 받기 때문이다(여우의 법칙 3). 여기에 베이즈 정리의 장점이 등장하는데, 확률의 개념으로 예측 활동에 불확실성을 받아들인다. 그래서 지나친 자만심과 확신을 배격할 수 있다. 또한 새로운 증거가 등장할 때마다 사전확률을 수정하여 조금 더 정확한 사후확률을 도출한다. 

 

 

이 책의 주제는 미래에 대한 예측이다. 그러나 예측이 현재 주어진 정보에서 소음을 거둬내고 신호를 조합하여 의미있게 실체를 찾아낸다는 점에서, 이 책이 말하는 예측은 현실에 대한 보다 객관적인 인식과 평가라고 이해할 수 있다. "예측은 기본적으로 정보 처리의 한 유형, 즉 새로 나타난 자료를 이용해서 세상에 대해 더 진리에 가깝고 더 정확한 개념을 찾아가는 과정이다." 한 마디로, 진리를 찾아가는 과정이다. 그런 점에서 이 책이 제시하는 여우의 법칙이나 베이즈의 정리는 진지하게 참된 것(진리)을 찾고 구하는 사람에게 필요한 소중한 지혜라 하겠다. 

 

 

신호와 소음 국내도서 저자 : 네이트 실버(Nate Silver) / 이경식역 출판 : 더퀘스트 2014.07.11 상세보기

 

https://m.blog.naver.com/practicaltheologian/223222250639

도서 리뷰 (Book Review) 목록