[확률] (1) 기본 개념

들어가면서

알고리즘들을 세부적으로 조정할 필요가 있거나, 더 자세한 이해가 필요하다면 수학적 지식이 필요할 때가 있다.

파이썬으로 머신러닝을 수행하면서 알아두면 좋은 수학적 지식을 정리하려 한다

참고도서는 “딥러닝을 위한 수학” - 로널드 크로이젤(제이펍)

기본 개념

Sample Space(표본공간)

표본공간은 주어진 한 사건의 모든 가능한 결과(outcome)를 나타내는 이산 집합(discrete set) 혹은 연속 구간(continuous range)이다.

동전 하나 던지기의 표본 공간은 집합 {H, T}이다. (Head, Tail) 6면체 주사위 하나 굴리기의 표본공간은 {1, 2, 3, 4, 5, 6}이다.

위 두 사례는 모두 이산 집합이지만, 주로 연속적인 표본 공간을 앞으로 다루게 될 것이다. 예를 들어 신경망의 한 Input Feature가 [0, 1] 구간의 값이라면, 그 특징에 대한 표본 공간은 [0, 1]로, 연속 구간이다.

표본 공간의 모든 가능한 확률을 더하면 반드시 1이다.

Event(사건)

무엇인가 일어나는 것이다. 동전 던지기를 사건이라고 표현할 때도 있고, 동전을 던져 나온 특정 결과(앞 또는 뒤)를 사건이라고 할 때도 있다.

Random Variable(확률 변수)

동전 하나 던지기의 결과를 X라는 변수로 표기한다고 하자, 이 X를 확률 변수라고 한다. 동전 던지기의 표본 공간은 이산적이기 때문에, 여기서의 X는 이산 확률 변수(Discrete Random Variable)이다. 이산 확률 변수는 대문자로 표기하는 것이 관례이다. 동전 던지기 확률변수 X를 수식으로 표현하면 아래와 같다

\[P(X=앞면) = P(X=뒷면) = 0.5\]

여기서 P()는 괄호 안에 있는 주어진 확률 변수가 해당 결과를 취할 확률을 나타내는 기호이다.

연속 표본공간에서 값을 취하는 확률 변수를 연속 확률 변수(Continuous Random Variable)이라 부르고 x처럼 소문자로 표기한다.

확률 법칙

단일 사건의 확률

표본 공간에 있는 임의의 한 사건의 확률은 1보다 작거나 같다

\[0 \le P(A) \le 1\]

모든 사건의 확률

표본 공간의 모든 사건 A _i에 대해 모든 사건의 합은 1이다.

\[\sum_i P(A_i) = 1\]

여사건

사건 A가 발생할 확률이 $P(A)$ 라고 할 때 그 사건이 발생하지 않을 확률은 아래와 같다.

\[P(\bar A) = 1 - P(A)\]

$P(\bar A)$ 에서 A 위의 bar는 ‘아님(not)’을 뜻하는 기호다. $\bar A$를 A의 여사건이라 한다.

Mutually Exclusive(상호 배반)

두 사건 A와 B가 동시에 일어날 수 없을때, 즉 하나가 발생하면 다른 하나는 발생하지 않을 때 두 사건을 가리켜 상호 배반(mutually exclusive)이라고 칭한다.

Indipendent(독립)

두 사건의 발생 확률이 서로 완전히 무관하다면, 즉 A의 확률이 B의 발생 여부에 영향을 받지 않으며 그 역도 마찬가지라면 두 사건은 서로 독립(Independent)이다

합의 법칙(Sum Rule)

합의 법칙은 둘 이상의 Mutually Exclusive Events에서 두 사건 중 하나라도 발생할 확률이다. 예를 들어 주사위를 던져서 1 또는 2가 나올 확률과 같은 사건이다. 상호 배반 사건 두 개 중 하나라도 발생할 확률은 두 개별 확률의 합과 같다.

\[P(A or B) = P(A \cup B) = P(A) + P(B)\]

수식에서 $\cup$은 논리합(or) 또는 합집합(union)을 뜻하는 기호이다.

독립인 사건에서의 곱의 법칙(Product Rule)

곱의 법칙은 사건 A와 B가 둘 다 발생할 확률이다.

\[P(A and B) = P(A \cap B) = P(A) P(B)\]

수식에서 $\cap$은 논리곱(and) 또는 교집합(intersection)을 뜻하는 기호이다. 이는 서로 독립인 사건들에 적용되는 법칙이다.

독립이 아닌 사건에 대한 곱의 법칙은 조건부 확률 아래 다시 언급한다.

상호 배반이 아닌 사건의 합의 법칙

\[P(A or B) = P(A \cup B) = P(A) + P(B) - P(A and B)\]

예를 들어 아래 조건을 생각해보자

• 고대 주화 20개가 담긴 작은 보관함이 있는데, 주화 중 12개는 로마 주화, 8개는 그리스 주화이다.
• 로마 주화 중 6개와 그리스 주화 중 3개는 은화이고, 나머지는 모두 동화이다.
• 보관함에서 주화 하나를 선택했을 때 그것이 은화이거나 로마 주화일 확률은 얼마일까?

\[P(은화or로마) = P(은화) + P(로마) + P(은화and로마) = \frac{9}{20} +\frac{12}{20}-\frac{6}{20} = 0.75\]

Conditional Probability(조건부 확률)

조건부 확률은 특정 사건이 발생했을 때 다른 사건의 확률이다. 예를 들어 사건 A가 발생했을 때 사건 B의 확률은 아래와 같이 표기한다

\[P(B|A)\]

• 두 사건 A, B가 상호 배반이면 $P(B

  A) = P(A

  B) = 0$이다.

• 두 사건 A, B가 독립이면 $P(A

  B) = P(A)$이고 $P(B

  A) = P(B)$이다.

수정된 곱의 법칙

예를 들어 아래 조건을 생각해보자

• 빨간 구슬 8개와 파란 구슬 2개가 들어 있는 주머니가 있다.
• (1) 구슬 두 개를 연달아 뽑되, 구슬을 뽑아 색상을 확인하고 다시 주머니에 집어넣는 경우
• (2) 구슬 두 개를 연달아 뽑되, 한 번 꺼낸 구슬은 다시 담지 않는 경우
• 각각의 경우 빨간 공이 두 번 나올 확률은 얼마인가?
• (첫번째 공이 빨간색인 사건을 A, 두번째 공이 빨간색인 사건을 B라 한다)

첫번째 경우는 두 사건이 독립인 경우로, 확률은 아래와 같다

\[P(AandB) = P(A) \times P(B) = \frac{8}{10} \times \frac{8}{10} = 0.64\]

두번째 경우는 두 사건이 독립이 아닌 경우로, 확률은 아래와 같다

\[P(AandB) = P(A) \times P(B|A) = \frac{8}{10} \times \frac{7}{9} = 0.6\dot{2}\]