베이즈 정리 완벽 이해 | 넘스탯(NumStats) — 스팸 필터·암 진단의 수학 원리

질문을 하나 드리고 시작할게요. 어떤 암의 검사 키트가 있습니다. 이 검사는 실제 환자의 95%를 양성으로 잡아내고(민감도 95%), 건강한 사람의 95%는 음성으로 판정합니다(특이도 95%). 상당히 성능이 좋은 검사처럼 보이죠. 이 검사에서 당신이 양성이 나왔습니다. 그럼 실제로 암일 확률은 얼마일까요? 대부분은 "95%니까 거의 확실하지 않나?"라고 답합니다. 그런데 진짜 답은…

이상하죠? 민감도와 특이도가 모두 95%인 검사인데 왜 양성이어도 실제 환자일 확률은 16%밖에 안 될까요? 이 직관과 현실의 어마어마한 차이를 만들어내는 것이 오늘 이야기할 베이즈 정리입니다.

베이즈 정리가 중요한 이유가 바로 여기에 있습니다. 우리는 종종 새로운 증거에만 주목하고, 그 일이 원래 얼마나 흔한지 잊어버립니다. 베이즈 정리는 그 두 정보를 함께 고려해 보다 합리적인 판단을 하도록 도와주는 도구입니다.

오늘은 수식 외우기 없이, 베이즈 정리가 무엇이고 왜 스팸 필터·암 진단·자율주행·법정의 DNA 증거 평가까지 모두 같은 원리로 돌아가는지를 풀어보려 합니다.

베이즈 정리란? — 새 증거로 믿음을 업데이트하는 공식

베이즈 정리는 한 줄로 요약하면 이렇습니다.

예를 들어볼게요. 친구가 "오늘 점심에 김밥 먹자!"라고 합니다. 처음 들었을 때 당신은 "응, 좋아"라고 답할 가능성이 50% 정도였다고 해봅시다. 그런데 친구가 한 마디 덧붙입니다. "내가 살게." 갑자기 당신의 마음속 확률이 90%로 점프합니다.

이게 바로 베이즈 정리가 하는 일이에요. 새로운 정보 하나가 들어왔을 때, 기존 생각을 합리적으로 얼마나 바꿔야 하는지를 계산해줍니다.

수식은 이렇게 생겼습니다. 무서워하지 마세요, 의미만 알면 됩니다.

먼저 기호 읽는 법부터 짚고 갈게요. P는 영어 Probability(확률)의 첫 글자로 "어떤 일이 일어날 확률"을 뜻해요. 그리고 막대 기호 |는 "~가 주어졌을 때" 또는 "~라는 조건 아래에서"라고 읽습니다. 그러니까 P(A | B)는 "B가 주어졌을 때 A의 확률"로 읽으면 돼요. 이 두 기호(P와 |)만 익혀두면 아래 수식의 모든 항이 술술 읽힙니다.

딱딱한 기호로 봐서 어려워 보이지만, 실제로는 "내가 보고 싶은 확률"을 "내가 알기 쉬운 확률들"로 뒤집어주는 도구입니다.

많은 사람들이 P(암 | 양성)과 P(양성 | 암)을 같은 의미로 생각합니다. 하지만 전자는 "양성이 나왔을 때 실제 암일 확률"이고, 후자는 "암 환자에게서 양성이 나올 확률"입니다. 베이즈 정리는 바로 이 두 확률을 연결해주는 공식입니다.

참고로 베이즈 정리는 완전히 새로운 공식이 아니라, 조건부 확률의 정의에서 자연스럽게 유도되는 결과입니다. 하지만 실생활에서 더 중요한 것은 수식의 유도 과정보다 "새로운 증거가 들어왔을 때 기존 믿음을 어떻게 업데이트할 것인가"라는 사고방식입니다.

다음 예시에서 진짜 위력을 보여드릴게요.

왜 양성인데 16%일까 — 암 진단 역설의 비밀

도입부 질문으로 돌아가 봅시다. 어떤 동네에 사는 사람 10,000명이 있다고 해볼게요. 이 중 실제 환자는 100명(1%)이라고 알려져 있습니다(=사전 확률).

이 10,000명 모두에게 민감도 95%, 특이도 95%인 검사를 시행하면 어떻게 될까요?

핵심을 다시 정리해볼게요. 양성이 나온 590명 중 실제 환자는 95명. 즉 양성을 받았을 때 진짜 환자일 확률은 95 / 590 ≈ 16.1%입니다. "검사 정확도 95%"라는 말과는 완전히 다른 숫자죠.

왜 이런 일이 벌어질까요? 건강한 사람의 모집단(9,900명)이 환자 모집단(100명)보다 훨씬 크기 때문입니다. 그래서 건강한 사람의 5%인 위양성(495명)이 환자의 95%인 진짜 양성(95명)보다 많아져요. 결과적으로 양성 풀의 대부분이 오진이 되어버립니다.

베이즈 정리의 핵심은 "증거의 강도"만 보는 것이 아니라 "그 일이 원래 얼마나 자주 일어나는가(기저율)"까지 함께 고려하는 데 있습니다.

스팸 필터는 어떻게 작동하는가 — 베이즈가 매일 우리를 돕는다

두 번째 사례, Gmail이나 네이버 메일을 쓰면서 한 번도 의식한 적 없겠지만, 당신은 매일 베이즈 정리의 혜택을 받고 있어요. 바로 스팸 필터입니다.

아이디어는 간단합니다. 메일에 어떤 단어가 들어 있는지 보고, 그 단어가 들어간 메일이 스팸일 확률을 베이즈 정리로 계산하는 거예요.

예를 들어 메일에 "무료"라는 단어가 있다고 해봅시다. 평소 데이터를 보면:

• 전체 메일 중 스팸이 차지하는 비율: 40% (= 사전 확률)
• 스팸 메일에 "무료"가 포함될 확률: 80%
• 정상 메일에 "무료"가 포함될 확률: 10%

그러면 베이즈 정리는 이렇게 계산해줍니다.

"무료"라는 단어 하나만으로도 84%의 확률로 스팸이라고 판단할 수 있어요. 여기에 "당첨", "긴급", "100%" 같은 단어가 추가되면 스팸일 가능성은 더욱 높아집니다. 초기 이메일 서비스들은 나이브 베이즈 분류기를 활용해 이런 단어들의 출현 패턴을 분석했어요. 오늘날의 스팸 필터는 머신러닝과 딥러닝 등 다양한 기술을 함께 사용하지만, "증거를 바탕으로 스팸일 확률을 업데이트한다"는 핵심 아이디어는 여전히 베이지안 사고와 맞닿아 있습니다.

나이브 베이즈 분류기(Naive Bayes Classifier)는 2002년 Paul Graham이 발표한 「A Plan for Spam」을 통해 널리 알려졌습니다. Gmail이 출시되기 전부터 사용되던 고전적인 기법으로, 지금도 텍스트 분류를 설명할 때 가장 대표적인 베이지안 알고리즘 중 하나로 소개됩니다.

나이브(Naive)라는 이름은 단어들이 서로 독립적으로 등장한다고 단순하게 가정하기 때문에 붙었습니다. 현실에서는 완전히 맞지 않는 가정이지만, 의외로 좋은 성능을 보여 오랫동안 활용되었습니다.

일상에 숨어있는 베이즈 정리 — 우리가 모를 뿐 매일 쓰입니다

암 검사와 스팸 필터 외에도 베이즈 정리는 거의 모든 디지털 서비스의 뒤편에서 작동합니다. 흥미로운 사례 다섯 가지를 살펴볼게요.

한 번 직접 계산해보면 평생 안 잊혀요

지금까지 본 사례들 — 암 진단, 스팸 필터, 자율주행, 추천 시스템 — 의 공통점은 단 하나입니다. "기존 믿음 × 새 증거 = 업데이트된 믿음"이라는 베이즈의 사고 틀.

이 사고 틀을 한 번 머릿속에 장착하면, 뉴스 기사를 읽을 때, 의사의 진단을 들을 때, 누군가의 주장을 평가할 때 보는 눈이 달라집니다. "이 사람이 말하는 95% 정확도는 사전 확률을 고려한 거야, 아니야?"라는 질문이 자연스럽게 떠오르거든요.

그리고 가장 빠르게 익숙해지는 방법은 직접 숫자를 바꿔가며 계산해보는 것입니다. 다양한 사례에서 사전 확률·민감도·특이도를 슬라이더로 조절해보면, "왜 이런 결과가 나오는지" 한 번에 와닿아요.

한 발 더 들어가고 싶다면

베이즈 정리의 매력에 빠졌다면, 이어서 만나볼 만한 주제들이 있어요:

• 조건부 확률: 베이즈 정리의 토대가 되는 개념. "A가 일어났을 때 B가 일어날 확률"의 직관
• 나이브 베이즈 분류기: 스팸 필터·감정 분석에 쓰이는 알고리즘
• 베이지안 네트워크: 여러 변수의 인과 관계를 그래프로 표현하고 베이즈로 추론하는 모델
• 베이지안 추론: 통계학의 한 거대한 학파. 빈도주의(전통 통계)와 어떻게 다른지

이 모든 주제를 넘스탯(NumStats)에서 차근차근 실습해볼 수 있어요. 베이즈 정리는 한 번 익히면 평생 써먹는 사고 도구이니, 천천히 깊게 익혀가는 걸 추천합니다.

참고 자료

본문 작성 시 참고한 주요 학술 자료와 출처입니다. 더 깊이 들어가고 싶은 분들께 추천드려요.

• Thomas Bayes (1763) — "An Essay towards solving a Problem in the Doctrine of Chances". 베이즈 정리의 사후 출판 원전 (편집자: Richard Price)
• Casscells, Schoenberger, Graboys (1978) — "Interpretation by Physicians of Clinical Laboratory Results" (New England Journal of Medicine). 검사 결과 해석 과정에서 의사들이 기저율을 충분히 반영하지 못하는 경향을 보여준 고전적 연구
• Paul Graham (2002) — "A Plan for Spam" (paulgraham.com). 나이브 베이즈 스팸 필터의 대중화 글
• Stone, Royset, Washburn — Optimal Search for Moving Targets (Springer). 베이지안 탐색 이론과 USS Scorpion·에어프랑스 447 사례 정리
• Sharon Bertsch McGrayne — The Theory That Would Not Die: How Bayes' Rule Cracked the Enigma Code... (Yale University Press). 베이즈 정리 250년 역사의 일반 독자용 책
• Sheldon Ross — A First Course in Probability. 베이즈 정리 챕터 (학부 표준 교재)
• 김우철 — 통계학 개론. 확률과 확률분포
• NumStats 베이지안 네트워크 실험실 — numlm.com/bayesian-network-experiment. 사전·우도·사후 확률 인터랙티브 실험

마무리

오늘 본 이야기를 한 줄로 요약하면 이거예요. "확률은 한 번에 정해지지 않고, 새 증거가 들어올 때마다 합리적으로 업데이트되어야 한다."

이게 베이즈 정리가 우리에게 주는 가장 큰 선물입니다. 의사의 한 번 진단을 절대적으로 믿지 않고, 검색 결과 한 페이지를 모두라고 생각하지 않고, 뉴스 한 줄에 휘둘리지 않는 "증거를 보면서 생각을 조정하는" 태도. 그게 18세기 영국 목사 토마스 베이즈(Thomas Bayes, 1701-1761)가 우리에게 남긴 가장 큰 유산이에요.

다음에 누군가 "이 검사 정확도 95%니까 거의 확실해"라고 말한다면, 살짝 웃으면서 물어봐 주세요. "그런데 사전 확률은요?" 그 한 마디로 당신은 이미 베이즈 정리를 쓰는 사람이 된 거예요.

넘스탯(NumStats)에서 다음 글로 만나요.