확률에 대해서는 틀릴 수도 있습니다

확률은 항상 나를 매료시켰습니다. 이는 기계 학습과 인공 지능의 숨겨진 백본을 만듭니다. 나는 학교와 대학에서 그것을 공부할 기회를 가졌습니다. 하지만 베이지안 통계 강좌를 듣고 나서야 베이지안 통계에 대한 내 이해가 얼마나 잘못되었는지 깨달았습니다.

“동전을 던져 앞면이 나올 확률은 얼마나 됩니까?”라는 질문을 접한 적이 있을 것입니다. 답이 1/2 이라면 다시 생각해 보세요. 그것이 흥미로워지는 곳입니다.

수학은 일반적으로 "일관성"이라는 관점에서 간주됩니다. 우리는 문제를 어떻게 해결하든 항상 동일한 해결책이 있을 것이라고 가정합니다. 확률을 제외하고는 사실입니다. 그 이유는 확률이라는 용어 자체는 잘 정의된 개념이지만 다양한 해석을 통해 실제 시나리오에서 이야기하기 때문입니다.

확률에는 세 가지 다른 해석 또는 프레임워크가 있습니다. 이러한 정의를 사용하여 동일한 문제에 접근하면 다른(그리고 유효한) 답변이 나올 수 있습니다.

이를 보여주기 위해 다음 문제를 고려해 보겠습니다. 우리는 확률의 세 가지 프레임워크를 모두 사용하여 문제를 해결할 것입니다. 모든 프레임워크에서 공통적인 점 중 하나는 실험의 모든 결과에 대한 총 확률이 항상 1 이라는 것입니다.

“내 친구 Sovit이 나에게 동전을 줬어요. 그는 그 동전이 공정한지 아닌지를 나에게 말하지 않았습니다. 이 동전에서 앞면이 나올 확률은 얼마나 되나요?”

고전적 프레임워크

확률에 있어서 가장 간단한 프레임워크입니다. 또한 이해하기 가장 쉽습니다.

고전적 틀에서는 "동일한 결과는 동일한 확률을 갖는다"고 말합니다.

위의 문제에서는 동전이 공평한지 알 수 없습니다. 앞면이 나올 확률과 뒷면이 나올 확률이 같은지는 말할 수 없습니다. 따라서 우리는 고전적인 프레임워크를 사용하여 이 문제를 해결할 수 없습니다.

하지만 이 프레임워크의 사용법을 보여주기 위해 코인이 공정하다고 가정해 보겠습니다. 이는 앞면이 나올 확률과 뒷면이 나올 가능성이 동일하다는 것을 의미합니다. 이것이 가능한 결과 2개뿐이고 총 확률은 1 이므로 앞면이 나올 확률은 1/2 입니다.

클래식 프레임워크는 초보적으로 보일 수 있지만 가장 많이 남용되는 프레임워크이기도 합니다. “화성에 생명체가 있거나 없거나 둘 중 하나이므로 화성에 생명체가 존재할 확률은 1/2 이다”와 같은 주장은 잘못된 것입니다. 왜냐하면 고전적 프레임워크는 결과가 동일할 가능성이 있을 때만 작동하기 때문입니다. 이 경우 화성에 생명체가 존재할 가능성과 존재하지 않을 가능성이 동일하지 않습니다.

빈도주의 프레임워크

확률에서 가장 많이 사용되는 프레임워크 중 하나입니다. 확률 문제를 해결했다면 아마도 빈도주의 프레임워크를 사용했을 것입니다.

빈도주의 틀에서는 사건의 확률을 계산하려면 실험을 수행하고 결과를 관찰해야 한다고 말합니다. 실험을 무한히 반복하세요. 그리고 사건의 확률 P(E) = Count(favorable outcomes) / Count(total outcomes) 입니다.

실제로 우리는 무한한 횟수로 실험을 수행할 수 없습니다. 그래서 우리는 그것을 무한히 많은 횟수로 수행합니다. 우리 문제에서는 실험을 10 번 진행해 보겠습니다. 앞면이 6 개이고 뒷면이 4 개 있다고 가정해 보겠습니다. 따라서 앞면이 나올 확률은 0.6 입니다.

빈도주의적 틀에도 한계가 있습니다. 내일 비가 올 확률을 구하는 문제를 생각해 보세요. 정의에 따르면, 우리는 무한한 수의 평행 우주를 가져야 합니다. 그런 다음 우리는 각 우주에서 내일을 관찰하고 비가 내리는 우주의 수를 세어야 합니다.

그러나 그것은 불가능합니다. 게다가 내일을 관찰할 수 있다면 왜 내일 비가 올 확률을 계산하겠습니까?

베이지안 프레임워크

확률에서 가장 많이 사용되는 프레임워크 중 하나입니다. 이해하기는 가장 쉽지만 작업하기는 어렵습니다.

베이지안 프레임워크는 사건의 확률은 당신이 생각하는 것과 같다고 말합니다. 그것은 당신의 개인적인 관점에 관한 것입니다. 당신은 크리켓을 보고 있으며 Sachin Tendulkar는 94 입니다. 당신은 그가 한 세기를 맞이할 확률이 90% 라고 외쳤습니다. 이것이 사건의 베이지안 확률입니다.

지금까지 위의 두 가지 프레임워크에서 우리는 문제의 다른 핵심 정보인 "내 친구 Sovit이 나에게 코인을 줬습니다."에 초점을 맞추는 것을 놓쳤습니다. Sovit은 내 친구이고 나는 그를 알고 있습니다. 그는 과거에 나에게 다른 동전을 주었습니다. 그 동전이 앞면이 나올 확률이 0.4 라고 가정해 보겠습니다.

이를 "사전" 정보라고 합니다. 위의 두 프레임워크에는 이를 사용할 방법이 없습니다. 베이지안 프레임워크가 빛나는 곳이 바로 여기입니다. 데이터에만 의존하는 빈도주의 프레임워크와 달리 사전 정보와 데이터를 모두 사용할 수 있습니다.

우리는 이전 데이터를 얼마나 신뢰하는지, 데이터를 얼마나 신뢰하는지 가정해야 합니다. 우리가 둘 다 50% (가중치라고 함)를 신뢰한다고 가정해 보겠습니다. 그러면 앞면이 나올 확률은 이전 데이터와 데이터의 가중 평균( 0.5 * 0.4 + 0.5 * 0.6 = 0.5 됩니다.

베이지안 프레임워크는 사전 정보를 활용하여 보다 현실적인 답변을 제공할 수 있습니다. 그러나 우리는 가중치에 대해 가정을 해야 합니다. 이것이 비판의 핵심이다. 우리는 가정을 하기 때문에 편견에 따라 결과가 왜곡될 수 있습니다.

따라서 공정한 동전에서 앞면이 나올 확률이 1/2 이라는 말은 사실이 아닙니다. 이는 고전적 프레임워크에 관해 이야기할 때만 사실입니다. 앞면이 6개이고 뒷면이 4개인 동전에서 앞면이 나올 확률이 10번의 실험에서 앞면이 나올 확률이 0.6 이라고 말하는 것도 잘못된 것입니다.

이는 빈도주의적 틀에 관해 이야기할 때만 사실입니다. 당신은 아이디어를 얻습니다. 따라서 사건의 확률을 기술하면서 우리가 사용하는 프레임워크를 염두에 두는 것이 중요합니다.

그것은 확률에 관한 것이며 다른 프레임워크입니다. 이것이 저처럼 당신의 마음을 사로잡았다면 댓글로 알려주세요. 기사가 마음에 드셨다면 박수를 보내주세요.

자원

1. 내가 베이지안 통계에 대해 수강한 과정: 베이지안 통계: 개념에서 데이터 분석까지 및 베이지안 통계: 기술 및 모델 .