概率题（一）：抛硬币直到出现k次正面向上

1 问题描述

已知抛一次硬币正面向上的概率为\( p \)，现在抛次硬币，直到出现\( k \)次正面朝上，求需要抛的次数的期望。

2 解法

2.1 Preliminary

首先考虑简单情况，当 \(k=1\) 时，抛的次数服从几何分布:
$$ P(X=n) = (1-p)^{n-1}p $$
根据期望的定义:

$$ E(X) = \sum_{n=1}^\infty np(1-p)^{n-1} = \sum_{n=1}^\infty -p \frac{d}{dp}(1-p)^n = -p \frac{d}{dp}\sum_{n=1}^\infty (1-p)^n = -p \frac{d}{dp}(\frac{1-p}{p}) = \frac{1}{p} $$

其中使用到一个幂级数的求和技巧，由于幂级数的一致收敛性，可以交换求导(积分)与求和的顺序。利用此法可以方便得出两个常见的幂级数结论：

$$ \sum_{n=1}^\infty x^n = \frac{1}{1-x} $$

等式两边求导，并乘以 \(x\) :

$$ \sum_{n=1}^\infty nx^n = x\sum_{n=1}^\infty \frac{d}{dx} x^n = x \frac{d}{dx}(\frac{1}{1-x}) = \frac{x}{(1-x)^2} $$

再次等式两边求导，并乘以 \(x\) :

$$ \sum_{n=1}^\infty n^2x^n = \frac{x(1+x)}{(1-x)^3} $$

2.2 马尔可夫链

接下来，考虑 \(k=2\) 的情况，设正面向上的次数为0、1、2次对应的状态H0、H1、H2，如下图所示，H2是吸收态，状态转移概率容易得出前向边为\( p \)，后向边为\( 1-p \)。

stateDiagram-v2
    H0 -->H0
    H0 --> H1
    H1 --> H0
    H1 --> H2
            

现在我们要求的问题是从状态H0到达吸收态需要经过的期望步数，这类问题有通用的解法。假设从状态H1走一步，有\( p \)的概率直接到H2，所需步数为0，有\( 1-p \)的概率到H0，所需步数的期望为\(\mu_0\)。因此递推关系如下：

$$ \mu_1 = 1 + p*0 + (1-p)*\mu_0 $$

$$ \mu_0= 1 + p*\mu_1 + (1-p)*\mu_0 $$

求解这个方程组得:
$$ \mu_0 = \frac{1}{p} + \frac{1}{p^2}, \mu_1 = \frac{1}{p^2} $$
实际上，该方法可以扩展到任意 \(k\) 的情形，最后需要解一个 \(k\) 元一次方程组，利用方程组的性质或者数学归纳法可以证明：

$$ \mu_0 = \frac{1}{p} + \frac{1}{p^2} + ... + \frac{1}{p^k}$$

2.3 条件概率递推

实际上对马尔可夫链方法的方程组的化简也可以得到本方法，这里只是抓住其中简明的递推关系，假设已经有 \(k-1\) 次正面朝上了，抛硬币的期望次数为 \(\mu_{k-1}\)，那么此时再抛一次，有两种情况：

$$ \mu_k= p*(1 + \mu_{k-1}) + (1-p)*(1+\mu_{k-1}+\mu_k) = 1 + p\mu_{k-1} + (1-p)\mu_k $$

$$ \mu_k = \frac{\mu_{k-1}}{p} + \frac{1}{p} $$

求解数列可得，
$$ \mu_k = \frac{1}{p} + \frac{1}{p^2} + ... + \frac{1}{p^k}$$