随机事件和概率

基本概念

• 随机试验 $E$；样本点 $\omega$；样本空间 $\Omega=\{\omega\}$
• 随机事件 $A,B,C,\dots$，且 $A\subseteq\Omega$
• 必然事件 $\Omega$；不可能事件 $\varnothing$

事件关系与运算

• 积/交：$A\cap B$、$AB$；相容：$AB\neq\varnothing$；互斥：$AB=\varnothing$
• 和/并：$A\cup B$；差：$A-B$；对立：$\bar A$
• $A-B=A-AB=A\bar B$
• $B=\bar A\iff AB=\varnothing$ 且 $A\cup B=\Omega$

完备事件组

$\displaystyle\bigcup_i A_i=\Omega$ 且 $A_iA_j=\varnothing\ (i\neq j)$，则 $\{A_i\}$ 为完备事件组。

运算律

• 吸收：$A\subset B\Rightarrow A\cup B=B,\ AB=A$
• 交换、结合、分配律
• 对偶（德摩根）：$\overline{A\cup B}=\bar A\cap\bar B$，$\overline{A\cap B}=\bar A\cup\bar B$

概率公理与古典概型

公理化定义

① $P(A)\ge 0$　② $P(\Omega)=1$　③ $A_iA_j=\varnothing\Rightarrow P\big(\bigcup A_i\big)=\sum P(A_i)$

古典概型

$\omega$ 有限且等可能：$P(A)=\dfrac{k}{n}$.

排列组合

简单随机抽样：$\Omega=\{w_1,\dots,w_n\}$，各点抽到概率相同。

几何概型

$\Omega$ 为有界区域，点等可能；$P(A)=\dfrac{S_A}{S_\Omega}$（$\omega$ 无限，区别于古典概型）。

概率的性质

• $0\le P(A)\le 1$，$P(\varnothing)=0$，$P(\Omega)=1$
• $A\subset B\Rightarrow P(B-A)=P(B)-P(A)$，$P(B)\ge P(A)$
• $P(\bar A)=1-P(A)$
• $P(A\cup B)=P(A)+P(B)-P(AB)$
• $P(A-B)=P(A)-P(AB)=P(A\bar B)$

易错点

• $P(A)=1\not\Rightarrow A=\Omega$（如 $\Omega=[0,1]$，$A=(0,1]$，$\Omega 比P=1大$）
• $P(A-B)=0\not\Rightarrow A=B$
• $P(AB)=0$：可互斥，也可相交但交的概率为 $0$

常用恒等式

条件概率 · 全概率 · 贝叶斯

全概率： $\bigcup A_i=\Omega,\ A_iA_j=\varnothing\Rightarrow P(B)=\sum P(A_i)P(B|A_i)$

贝叶斯（由结果 $B$ 求原因 $A_j$的概率）：

独立性

• 独立：$P(AB)=P(A)P(B)$
• 两两独立：两两满足上式
• 相互独立：两两独立且 $P(ABC)=P(A)P(B)P(C)$（推广到更多事件）
• $A,B$ 独立 $\Leftrightarrow A,\bar B$ 独立 $\Leftrightarrow\bar A,B$ 独立 $\Leftrightarrow\bar A,\bar B$ 独立
• $P(A)=0$ 或 $1\Rightarrow A$ 与任意 $B$ 独立

独立试验序列（$n$ 重伯努利）

每次试验只有 $A$ 发生与否，$P(A)=p$ 不变；则 $n$ 次中恰发生 $k$ 次：

随机变量及其概率分布

分布函数

随机变量：一维实值函数 $X(\omega)$。$X\sim F(x)$，$F(x)=P\{X\le x\}$.

$F(x)$ 充要条件： ① 单调不减；② 右连续（$F(a)=F(a^+)$）；③ $F(-\infty)=0$，$F(+\infty)=1$.

用 $F$ 算概率

离散型

$P\{X=x_i\}=p_i$：$p_i>0$，$\sum p_i=1$。记 $X\sim\begin{pmatrix}x_1&x_2&\cdots\\p_1&p_2&\cdots\end{pmatrix}$.

常见离散分布

超几何含义：$N$ 件中 $M$ 件次品，抽 $n$ 件，次品数 $X$。当 $n\ll N$ 时可近似二项。

泊松逼近二项： $X\sim B(n,p)$，$n$ 很大、$p$ 很小，$\lambda=np$，则 $P\{X=k\}\approx\dfrac{\lambda^k}{k!}e^{-\lambda}$（经验：$n\ge20,p\le0.05$ 或 $n\ge100,np\le10$）。

连续型

$F(x)=\displaystyle\int_{-\infty}^{x}f(t)\,dt$，$f\ge0$ 可积；密度充要：$f\ge0$ 且 $\displaystyle\int_{-\infty}^{\infty}f=1$.

• $P\{X=c\}=0$
• $P\{X\in B\}=\displaystyle\int_B f(x)\,dx$
• $P\{a<X<b\}=P\{a\le X\le b\}=\displaystyle\int_a^b f=F(b)-F(a)$

常见连续分布

均匀 $U(a,b)$：

指数 $E(\lambda)$：

正态 $N(\mu,\sigma^2)$：

标准正态 $N(0,1)$：$\varphi(x)=\dfrac{1}{\sqrt{2\pi}}e^{-x^2/2}$，$\Phi(x)=\displaystyle\int_{-\infty}^{x}\varphi$.

• $\Phi(0)=\dfrac12$，$\Phi(-x)=1-\Phi(x)$
• $X\sim N(\mu,\sigma^2)\Rightarrow\dfrac{X-\mu}{\sigma}\sim N(0,1)$
• $F(x)=\Phi\!\left(\dfrac{x-\mu}{\sigma}\right)$，$P\{a\le X\le b\}=\Phi\!\left(\dfrac{b-\mu}{\sigma}\right)-\Phi\!\left(\dfrac{a-\mu}{\sigma}\right)$

一维随机变量的函数 $Y=g(X)$

离散： $Y\sim\begin{pmatrix}g(x_1)&g(x_2)&\cdots\\ p_1&p_2&\cdots\end{pmatrix}$（同值合并概率）。

连续 — 分布函数法：

连续 — 公式法（$y=g(x)$ 单调可导，$x=h(y)$）：

• $g'>0$：$f_Y(y)=f_X\bigl(h(y)\bigr)h'(y)$
• $g'<0$：$f_Y(y)=-f_X\bigl(h(y)\bigr)h'(y)$

概率积分变换： $F_X$ 严格增 $\Rightarrow Y=F_X(X)\sim U(0,1)$.

可加性（$X,Y$ 独立）

多维随机变量及其分布

联合分布函数

$F(x,y)=P\{X\le x,Y\le y\}$.

性质：① 对每个变元单调不减；② 右连续；③ $F(-\infty,y)=F(x,-\infty)=0$，$F(+\infty,+\infty)=1$；④

边缘：$F_X(x)=F(x,+\infty)$，$F_Y(y)=F(+\infty,y)$.

二维离散型

$p_{ij}=P\{X=x_i,Y=y_j\}$：$p_{ij}\ge0$，$\sum_i\sum_j p_{ij}=1$.

边缘：$p_{i\cdot}=\sum_j p_{ij}$，$p_{\cdot j}=\sum_i p_{ij}$.

条件：$P\{X=x_i|Y=y_j\}=\dfrac{p_{ij}}{p_{\cdot j}}$.

二维连续型

$F(x,y)=\displaystyle\int_{-\infty}^{y}\!\int_{-\infty}^{x}f(u,v)\,du\,dv$；密度充要：$f\ge0$ 且双重积分 $=1$.

边缘：$f_X(x)=\displaystyle\int_{-\infty}^{\infty}f(x,y)\,dy$，$f_Y(y)=\displaystyle\int_{-\infty}^{\infty}f(x,y)\,dx$.

条件：$f_{Y|X}(y|x)=\dfrac{f(x,y)}{f_X(x)}$；乘法公式

三维：$f_{Z|X,Y}(z|x,y)=\dfrac{f(x,y,z)}{f(x,y)}$.

常见二维分布

• 二维均匀： $f(x,y)=\dfrac{1}{S_D}\ ((x,y)\in D)$
• 二维正态： $\rho=\dfrac{\mathrm{Cov}(X,Y)}{\sqrt{DX\cdot DY}}$，

• $(X,Y)\sim N(\mu_1,\mu_2;\sigma_1^2,\sigma_2^2;\rho)\Rightarrow$ 边缘 $X\sim N(\mu_1,\sigma_1^2)$，$Y\sim N(\mu_2,\sigma_2^2)$
• 三张牌分清楚（易错核心）：
  • 联合正态 $\Rightarrow$ 边缘正态（反之不成立）
  • 各自正态 且独立 $\Rightarrow$ 联合正态（此时 $\rho=0$）
  • 各自正态 且 $\rho=0$（仅不相关）$\nRightarrow$ 联合正态，也 $\nRightarrow$ 独立
  • 口诀：独立推得出联合正态；不相关什么都推不出

联合正态常用结论

• $(X,Y)$ 联合正态 $\Rightarrow$ 线性组合仍正态
• 联合多维正态：两两独立 $\Leftrightarrow$ 全部独立
• 易错：仅”边缘正态”、或”边缘正态 + 不相关”，都推不出联合正态（+独立才可以）

独立性

• $F(x,y)=F_X(x)F_Y(y)\Leftrightarrow X,Y$ 独立
• 离散：$\Leftrightarrow P\{X=x_i,Y=y_j\}=P\{X=x_i\}P\{Y=y_j\}$
• 连续：$\Leftrightarrow f(x,y)=f_X(x)f_Y(y)$
• 独立 $\Rightarrow$ 条件分布 = 边缘分布
• $X_1,\dots,X_n$ 独立 $\Rightarrow g_i(X_i)$（一元连续函数）仍独立

二维随机变量函数的分布

一般：$F_Z(z)=P\{g(X,Y)\le z\}=\displaystyle\iint_{g\le z}f(x,y)\,dx\,dy$.

随机变量的数字特征

数学期望

• 离散：$EX=\sum x_ip_i$；$E[g(X)]=\sum g(x_i)p_i$
• 连续：$EX=\displaystyle\int xf(x)\,dx$；$E[g(X)]=\displaystyle\int g(x)f(x)\,dx$
• 二维：$EX=\displaystyle\iint x\,f\,dx\,dy$，$EY=\displaystyle\iint y\,f\,dx\,dy$，$E(XY)=\displaystyle\iint xy\,f\,dx\,dy$
• $E[g(X,Y)]$：离散 $\sum\sum g(x_i,y_j)p_{ij}$；连续 $\displaystyle\iint g\,f\,dx\,dy$

性质：$Ea=a$；$E(EX)=EX$；$E(aX+bY)=aEX+bEY$；$E\big(\sum a_iX_i\big)=\sum a_iEX_i$；独立时 $E(XY)=EX\cdot EY$.

方差

标准差 $\sigma(X)=\sqrt{DX}$；标准化 $X^*=\dfrac{X-EX}{\sqrt{DX}}$：$EX^*=0$，$DX^*=1$.

性质：$DX\ge0$；$E(X^2)\ge(EX)^2$；$Dc=0$；$DX=0\Leftrightarrow P\{X=a\}=1$；$D(aX+b)=a^2DX$；

独立时 $D(aX+bY)=a^2DX+b^2DY$； $D(XY)=DX\,DY+DX(EY)^2+DY(EX)^2\ge DX\,DY$（独立时常用）.

常见分布的 $EX$、$DX$

注意：$E|X-EX|$（平均绝对偏差）一般 $\neq\sqrt{DX}$.

协方差与相关系数

$\rho=0$ 称不相关，否则相关。$Y=aX+b$：$a>0\Rightarrow\rho=1$；$a<0\Rightarrow\rho=-1$.

协方差性质

• $\mathrm{Cov}(X,Y)=\mathrm{Cov}(Y,X)$；$\mathrm{Cov}(aX,bY)=ab\,\mathrm{Cov}(X,Y)$
• $\mathrm{Cov}(X_1+X_2,Y)=\mathrm{Cov}(X_1,Y)+\mathrm{Cov}(X_2,Y)$
• $\mathrm{Cov}\big(\sum_i X_i,\sum_j Y_j\big)=\sum_i\sum_j\mathrm{Cov}(X_i,Y_j)$

$\rho$ 与独立性

• $|\rho|\le1$；$\rho=\pm1\Leftrightarrow$ 几乎必然线性关系（斜率为正/负）
• 不相关 $\Leftrightarrow\rho=0\Leftrightarrow\mathrm{Cov}=0\Leftrightarrow E(XY)=EX\,EY\Leftrightarrow D(X\pm Y)=DX+DY$
• 独立 $\Rightarrow$ 不相关；相关 $\Rightarrow$ 不独立
• 联合正态：独立 $\Leftrightarrow$ 不相关（边缘正态不够，要联合正态）

计算流程：先算 $\mathrm{Cov}=E(XY)-EX\,EY$；$\neq0\Rightarrow$ 相关 $\Rightarrow$ 不独立；$=0\Rightarrow$ 不相关，是否独立还需看分布（如 $f=f_Xf_Y$）。

矩

• $k$ 阶原点矩 $E(X^k)$；$k$ 阶中心矩 $E[(X-EX)^k]$
• $k+l$ 阶混合原点矩 $E(X^kY^l)$；混合中心矩 $E[(X-EX)^k(Y-EY)^l]$
• $EX$：一阶原点矩；$DX$：二阶中心矩；$\mathrm{Cov}$：二阶混合中心矩

大数定律和中心极限定理

依概率收敛

对任意 $\varepsilon>0$，$\lim P\{|X_n-X|\ge\varepsilon\}=0$（或 $P\{|X_n-X|<\varepsilon\}\to1$），记 $X_n\xrightarrow{P}X$.

性质：$X_n\xrightarrow{P}X,\ Y_n\xrightarrow{P}Y\Rightarrow g(X_n,Y_n)\xrightarrow{P}g(X,Y)$.

切比雪夫不等式

大数定律

切比雪夫： $\{X_n\}$ 独立，$DX_i$ 存在且一致有上界 $\Rightarrow\dfrac{1}{n}\sum X_i\xrightarrow{P}\dfrac{1}{n}\sum EX_i$.

伯努利： $n$ 次独立试验中 $A$ 出现次数 $\mu_n$，$P(A)=p\Rightarrow\dfrac{\mu_n}{n}\xrightarrow{P}p$.

辛钦： $\{X_n\}$ 独立同分布，$EX_i=\mu$（期望存在）$\Rightarrow\dfrac{1}{n}\sum X_i\xrightarrow{P}\mu$.
（注：教材辛钦通常不要求方差存在；方差有界对应切比雪夫型。）

中心极限定理

列维–林德伯格： i.i.d.（独立同分布），$EX_i=\mu$，$DX_i=\sigma^2$，

即 $\sum X_i$ 近似 $N(n\mu,n\sigma^2)$； $P\{a<\sum X_i<b\}\approx\Phi\!\left(\dfrac{b-n\mu}{\sqrt{n}\sigma}\right)-\Phi\!\left(\dfrac{a-n\mu}{\sqrt{n}\sigma}\right)$.

棣莫弗–拉普拉斯： $Y_n\sim B(n,p)$，

（$Y_n=\sum X_i$，$X_i\sim B(1,p)$ 独立。）

二项分布近似选用

1. $n$ 不大：精确 $C_n^k p^k(1-p)^{n-k}$
2. $n$ 大、$p$ 小（如 $n>10,p<0.1$）：泊松近似，$\lambda=np$
3. $n$ 大、$p$ 不太小（如 $p>0.1$ 且 $np\ge10$）：CLT 正态近似

数理统计的基本概念

总体与样本

• 总体 $X$；简单随机样本：来自总体的 i.i.d. $(X_1,\dots,X_n)$
• 观测值（样本值）：$(x_1,\dots,x_n)$
• 样本分布：$F(x_1,\dots,x_n)=\prod_{i=1}^n F(x_i)$
• 统计量： $g(X_1,\dots,X_n)$ 中不含未知参数

常用统计量

1. 样本均值 $\bar X=\dfrac{1}{n}\sum X_i$
2. 样本方差 $S^2=\dfrac{1}{n-1}\sum(X_i-\bar X)^2$，标准差 $S$
3. 样本 $k$ 阶原点矩 $A_k=\dfrac{1}{n}\sum X_i^k$
4. 样本 $k$ 阶中心矩 $B_k=\dfrac{1}{n}\sum(X_i-\bar X)^k$

顺序统计量

$X_{(1)}\le\cdots\le X_{(n)}$；$X_{(1)}=\min$，$X_{(n)}=\max$.

样本数字特征性质

设 $EX=\mu$，$DX=\sigma^2$，样本 $(X_1,\dots,X_n)$：

• $E\bar X=\mu$，$D\bar X=\dfrac{\sigma^2}{n}$
• $E(S^2)=\sigma^2$
• 正态总体时：$D(S^2)=\dfrac{2\sigma^4}{n-1}$

三大抽样分布

$\chi^2$ 分布

$X_i\overset{\mathrm{iid}}{\sim}N(0,1)\Rightarrow X=\sum_{i=1}^n X_i^2\sim\chi^2(n)$.

上 $\alpha$ 分位数：$P\{\chi^2>\chi^2_\alpha(n)\}=\alpha$.

性质：独立 $\chi^2(n_1)+\chi^2(n_2)\sim\chi^2(n_1+n_2)$；$E=n$，$D=2n$.

$t$ 分布

$X\sim N(0,1)$，$Y\sim\chi^2(n)$ 独立 $\Rightarrow t=\dfrac{X}{\sqrt{Y/n}}\sim t(n)$.

$P\{t>t_\alpha(n)\}=\alpha$；关于 $0$ 对称，$Et=0$；$t_{1-\alpha}(n)=-t_\alpha(n)$.

$F$ 分布

$X\sim\chi^2(n_1)$，$Y\sim\chi^2(n_2)$ 独立 $\Rightarrow F=\dfrac{X/n_1}{Y/n_2}\sim F(n_1,n_2)$.

性质：$\dfrac{1}{F}\sim F(n_2,n_1)$；$F_{1-\alpha}(n_1,n_2)=\dfrac{1}{F_\alpha(n_2,n_1)}$；$t\sim t(n)\Rightarrow t^2\sim F(1,n)$.

正态总体常用结论

设 $X_i\overset{\mathrm{iid}}{\sim}N(\mu,\sigma^2)$：

1. $\bar X\sim N\!\left(\mu,\dfrac{\sigma^2}{n}\right)$，$\dfrac{\sqrt{n}(\bar X-\mu)}{\sigma}\sim N(0,1)$
2. $\dfrac{1}{\sigma^2}\sum(X_i-\mu)^2\sim\chi^2(n)$
3. $\dfrac{(n-1)S^2}{\sigma^2}\sim\chi^2(n-1)$
4. $\bar X$ 与 $S^2$ 独立；$\dfrac{\sqrt{n}(\bar X-\mu)}{S}\sim t(n-1)$；$\dfrac{n(\bar X-\mu)^2}{S^2}\sim F(1,n-1)$

参数统计

点估计

$X\sim F(x;\theta)$，样本构造估计量 $\hat\theta(X_1,\dots,X_n)$；代入观测值得估计值。

矩估计

用 $\dfrac{1}{n}\sum X_i^k=E(X^k)$ 列方程；多参数用多个方程；优先低阶矩。

最大似然估计MLE

似然函数：

使 $L$ 最大；常解 $\dfrac{d\ln L}{d\theta}=0$.

不变性： $\hat\theta$ 为 $\theta$ 的 MLE $\Rightarrow u(\hat\theta)$ 为 $u(\theta)$ 的 MLE.

估计量评价