Expectation of a random variable

지난번 포스팅에서는 연속 확률변수(Continuous random variable)에 대해서 작성했었다.

 

이번 포스팅에서는 확률 변수들의 기대값(Expected value)에 대해서 작성하려고 한다.

 

1.  이산 확률변수의 기대값

만약 확률변수 X가 확률 질량함수 $p(x)$를 가진다면, 이때 확률변수 X의 기대값(Expected value)는 아래와 같다.

$$ E(x) = \sum_{x:p(x)>0} xp(x) $$ 몇가지 예제를 통해서 기대값에 대해 알아보자. 

Q1) 확률변수 X가 모든면이 나올 확률이 동일한 주사위를 1번 던졌을때, 나올 수 있는 수라고 할 때,  X의 기대값을 구하시오.

Sol1) $p(1) = p(2) = \cdots = p(6) = \frac{1}{6}$이기 때문에 확률변수 X의 기대값은 아래와 같다. 
$$ E \left[ x \right] = \sum_{x=1}^{6} \frac{1}{6} x = \frac{7}{2} $$

1. 1.  Bernoullie random variable의 기대값

Bernoullie random variable의 확률변수의 기대값은 아래와 같이 계산할 수 있다. Bernoullie random variable의 확률

 

밀도함수는 $p(0) = 1-p, \; \; p(1) = p $를 만족하기 때문에 기대값은 아래와 같이 구할 수 있다.

$$ E[x] = 0(1-p) + 1(p) = p $$

 

1. 2.  Binomial random variable의 기대값

binomial random variable X의 파라미터가 $(n,p)$일때 기대값 E[x]는 두개의 파라미터를 곱한 E[x] = np이며 아래와 같이 증명할 수 있다.  

$$ \begin{align} E[x] & = \sum_{i=0}^{n} i p(i) \\ \\ & = \sum_{i=0}^{n} i {n \choose i} p^i (1-p)^{n-i} \\ \\& = \sum_{i=1}^{n} \frac{i n !}{(n-i)! i!} p^i (1-p)^{n-i} \\ \\& = \sum_{i=1}^{n} \frac{n !}{(n-i)! (i-1)!} p^i (1-p)^{n-i} \\ \\& = np \sum_{i=1}^{n} \frac{(n-1) !}{(n-i)! (i-1)!} p^{i-1} (1-p)^{n-i} \\ \\& = np \sum_{i=0}^{n-1} {n-1 \choose k} p^{k} (1-p)^{n-1-k} \\ \\& = np[p+(1-p)]^{n-1} \\ \\ &= np \end{align} $$ 

1. 3.  Geometric random variable의 기대값

Geometric random variable X의 파라미터가 $p$일때 기대값 E[x]는 파라미터 값의 역수인 E[x] $= \frac{1}{p}$이며 아래와 같이 증명 할 수 있다.

$$ \begin{align} E[x] &= \sum_{n=1}^{\infty} n p(1-p)^{n-1} \\ \\ &= p \sum_{n=1}^{\infty} n q^{n-1} \quad \text{where} \; q = 1-p \\ \\ & = p \sum_{n=1}^{\infty} \frac{d}{dq} (q^n) \\ \\&= p \frac{d}{dq} \left( \sum_{n=1}^{\infty} q^n\right) \\ \\& = p \frac{d}{dq} \left( \frac{q}{1-q} \right) \\ \\& = \frac{p}{(1-q)^2} \\ \\& = \frac{1}{p}   \end{align}$$

1. 4.  Poisson random variable의 기대값

Poisson random variable X의 파라미터가 $\lambda$일때, 기대값 E[x]는 파라미터값인 E[x] = $\lambda$와 같으며 아래와 같이 증명 할 수 있다. 

$$ \begin{align} E[x] & = \sum_{i=0}^{\infty} \frac{i e^{- \lambda} \lambda^i}{i !} \\ \\ & = \sum_{i=1}^{\infty} \frac{e^{- \lambda} \lambda^i}{(i-1) !} \\ \\ & = \lambda e^{- \lambda} \sum_{i=1}^{\infty} \frac{\lambda^{i-1}}{(i-1)!} \\ \\& = \lambda e^{- \lambda} \sum_{k=0}^{\infty} \frac{\lambda^k}{k!} \\ \\&= \lambda e^{- \lambda} e^{\lambda} \\ \\ &= \lambda\end{align} $$

 

2. 연속 확률변수의 기대값

만약 확률변수 X가 확률 밀도함수 $f(x)$를 가진다면, 이때 확률변수 X의 기대값(Expected value)는 아래와 같다.

$$ E(x) = \int_{- \infty}^{\infty} xf(x) \, dx $$ 

2. 1.  Uniform random variable의 기대값

구간 $( \alpha, \beta)$에 대한 uniform random variable X의 기대값 E[x]은 아래와 같이 계산할 수 있다. 

$$ \begin{align} E[x] & = \int_{\alpha}^{\beta} \frac{x}{\beta - \alpha} \, dx  \\ \\ & =  \frac{\beta^2 - \alpha^2}{2(\beta - \alpha)} \\ \\ & = \frac{\beta + \alpha}{2} \end{align} $$

2. 2.  Exponential random variable의 기대값

Exponential random variable X의 파라미터가 $\lambda$일때, E[x]는 파라미터값의 역수인 E[x] = $\frac{1}{\lambda}$와 같으며 아래와 같이 증명 할 수 있다. 

$$ \begin{align} E[x] & = \int_{0}^{\infty} x \lambda e^{- \lambda x} \, dx \\ \\ & dv = \lambda e^{- \lambda x}, \; u = x \text{를 이용해서 치환하면}  \\ \\  & = -x e^{- \lambda x} \mid_{0}^{\infty} + \int_{0}^{\infty} e^{- \lambda x} \, dx \\ \\  &= 0 - \frac{e^{- \lambda x}}{\lambda} \mid_{0}^{\infty} \\  \\ & = \frac{1}{\lambda} \end{align} $$

 

다음 포스팅에서는 기대값에 대해서 추가적인 내용을 작성해보겠다.