知识概览

常见导数

$(e^{-x})'=-e^{-x}$

$(-e^{-x})'=e^{-x}$

$(\arctan x)'=\dfrac{1}{1+x^2}$

常见函数公式

$(e^{ax}){'}=ae^{ax}$

$e^{-x}=(e^x)^{-1}=\dfrac{1}{e^x}$

$f'(x)\mathrm dx=\mathrm df(x)$

$∫x^a\mathrm dx=\dfrac{x^{a+1}}{a+1}+C$

$\ln(ab)=\ln(a)+\ln(b)$

$\ln a^x=x\ln a$

$\ln1=0, \ln e=1$

$\ln\dfrac{1}{e}=\ln1e^{-1}=\ln1+\ln e^{-1}=0+-1\ln e=-1$

$\ln\dfrac{1}{a}=-\ln a$

等比数列

$S_n=\dfrac{a_1(1-q^n)}{1-q}$

$S_\infty=\dfrac{a_1}{1-q}(\vert q\vert <1,n→\infty)$

常见积分

分部积分法

$∫uv'\mathrm dx = uv - ∫u'v \mathrm dx$（u/v为x的函数）

$∫_a^buv'\mathrm dx=(uv)\vert _a^b-∫_a^bu'v\mathrm dx$

基本概念

$A∪B=B∪A, AB=BA$

$0=P(\varnothing)$

$1=P(A)+P(\bar A)$

$1=P(A\vert B)+P(\bar A\vert B)$

P：事件概率 $F_X(x)=P\{X < x \}, \int_a^b f_X(x)\mathrm dx=P\{a\leq X < b \}$

f：(概率)密度函数 $f_X(x)=\dfrac{\mathrm d F_X(x)}{\mathrm d x}$

F：(累积)分布函数 $F_X(x)=\int_{-∞}^x f_X(x) \mathrm dx$

全集： $\Omega = \overline \varnothing$

联合(累积)分布函数：$F(x,y)$

联合(概率)密度函数：$f(x,y)$

边缘密度函数：$f_X(x)=\int_{-\infty}^{+\infty}f(x,y)\mathrm dy$ ，X取固定值时Y的所有概率的和

$X,Y$独立：$f_X(x)·f_Y(y)=f_{X,Y}(x,y)$或$F_X(x)·F_Y(y)=F_{X,Y}(x,y)$

一言第一定理/全概率：$P(A)=P(AB)+P(A\bar B)$

条件概率：$P(A\vert B)=\dfrac{P(AB)}{P(B)}$

条件概率密度：$f_{Y|X}(y|x)=\dfrac{f(x,y)}{f_X(x)}$

AB事件独立：$P(AB)=P(A)P(B)$

容斥原理：$P(A+B)=P(A)+P(B)-P(AB)$

德摩根律/对偶律：$\bar A∪\bar B=\overline {AB},\:\bar A\bar B=\overline {A∪B}$

贝叶斯公式：$P(A\vert B)=\dfrac{P(B\vert A)P(A)}{P(B)}$

泰勒展开：$e^x=1+\dfrac{x^1}{1!}+\dfrac{x^2}{2!}+···$

切比雪夫不等式：$\varepsilon\geq 0,P\{\vert X-EX\vert < \varepsilon \}\geq1-\dfrac{DX}{\varepsilon^2}$

卷积公式：$f_{X+Y}=\int_{-\infin}^{+\infin}f(x,z-x)\mathrm dx$

中心极限定理

和趋于正态分布

$\lim_{n→\infin}P(\dfrac{\sum X_i-n\mu}{\sqrt{n}\sigma}<x)=\dfrac{1}{\sqrt{2\pi}}∫_{-\infin}^xe^{-\tfrac{t^2}{2}}=\phi(x)$

全概率公式 advanced

前提：$B_1/B_2/B_i$互不相交且和为$\Omega$

$P(A)=P(A\vert B_1)P(B_1)+P(A\vert B_2)P(B_2)+···+P(A\vert B_i)P(B_i)$

$P(A)=P(AB_1)+P(AB_2)+···+P(AB_i)$

矩（描述数据特征的东西）

中心矩：中心化的矩

把X中心化：$X-EX$

p阶(原点)矩：$E(X^p)$

p阶中心矩：$E((X-EX)^p)$

数学期望（一阶原点矩）

p(x)为X的概率密度函数

离散型随机变量 $EX=\sum_x(xp(x))$

连续型随机变量 $EX=∫_{-∞}^{+∞} xp(x)\mathrm dx$

$Eg(X)=∫_{-∞}^{+∞} g(x)p(x)\mathrm dx$

$Eg(X,Y)=∫∫g(x,y)f(x,y)\mathrm dx\mathrm dy$

$E(X+Y)=EX+EY$

$E(aX)=aEX$

$X,Y$独立：$E(XY)=(EX)(EY)$

方差$D()/Var()$（二阶中心矩）

$DX=E((X-EX)^2)=E(X^2)-(EX)^2$

$D(X+Y)=D(X)+2Cov(X,Y)+D(Y)$

$D(X-Y)=D(X)-2Cov(X,Y)+D(Y)$

$D(cX)=c^2DX$

协方差（二阶交叉中心矩）

$X,Y$独立：$Cov(X,Y)=0$

$Cov(X,Y)=E((X-EX)(Y-EY))=E(XY)-(EX)(EY)$

$Cov(X+Z,Y)=Cov(X,Y)+Cov(Z,Y)$

$Cov(X,Y+Z)=Cov(X,Y)+Cov(X,Z)$

$Cov(aX, Y)=aCov(X, Y)$

$Cov(X, aY)=aCov(X, Y)$

相关系数：$\rho_{XY}=\dfrac{Cov(X,Y)}{D^{\frac{1}{2}}(X)D^{\frac{1}{2}}(Y)}$

参数估计

$\overline X$：样本均值

$s^2$：样本方差

样本(无偏)方差 $s^2=\dfrac{\sum(X_i-\bar X)^2}{n-1}$

样本一阶矩：$\overline X=\dfrac{\sum X_i}{n}$

样本p阶矩：$\dfrac{\sum X_i^p}{n}$

点估计

矩估计

思想：用样本矩代替总体矩

1. 找到需要估计的总体矩
2. 用样本生成相同的矩

极大似然估计

求出最容易得出这个样本的参数

似然函数$\mathcal L()$：每个样本对应概率密度的乘积

求出$\mathcal L()$的最大值

def L(参数组合) -> 样本概率
max(L())

例：练习册 第7章 第2题

$\begin{aligned} \mathcal L(\lambda)&=\prod_{i=1}^n \left(e^{-\lambda} \cdot \frac{\lambda^{x_i}}{x_i!}\right)\\ &=\prod_{i=1}^ne^{-\lambda} \cdot \prod_{i=1}^n \lambda^{x_i} \cdot \prod_{i=1}^n \frac{1}{x_i!}\\ &=e^{-n\lambda}\cdot \lambda^{\sum_{i=1}^n x_i}\cdot \prod_{i=1}^n \frac{1}{x_i!} \end{aligned}$

$\begin{aligned} \ell(\lambda)&=\ln\left(e^{-n\lambda}\cdot \lambda^{\sum_{i=1}^n x_i}\cdot \prod_{i=1}^n \frac{1}{x_i!}\right)\\ &=\ln e^{-n\lambda}+\ln \lambda^{\sum_{i=1}^n x_i}+\ln \prod_{i=1}^n \frac{1}{x_i!}\\ &=-n\lambda +\sum_{i=1}^n x_i\cdot \ln \lambda -\sum_{i=1}^n\ln x_i! \end{aligned}$

$\dfrac{\partial \ell(\lambda)}{\partial \lambda}=-n+\sum_{i=1}^n x_i\cdot \dfrac{1}{\lambda}=0$

$\lambda=\frac{1}{n}\sum_{i=1}^n x_i=\bar x$

置信区间/(正态分布的)区间估计

用矩估计或极大似然估计对总体均值做估计是不准确的

这个估计值与总体真实值很难完全相等

因此引入区间估计，区间估计可以估计出一个范围，使得总体均值落在这个区间的概率是比方说95%

def 区间估计(样本值, 置信度: 1-α) -> 置信区间

要使得 $EX-a\sqrt{DX}→EX+a\sqrt{DX}$区间的概率为95%

问$a= ?$

$Φ(a)-0.5=\dfrac{0.95}{2}$

假设检验/显著性检验

> 你猜猜我喝奶茶的时候能不能分辨出它做的时候是先放的奶再放的茶还是先放的茶后放的奶？

< 不能

> 是，Fisher就是偷听奶茶店对话提出了假设检验

奶茶：MT 茶奶：TM

你现在有10杯配好的饮料，给我喝

然后我说是MT还是TM

假设我具备分辨MT与TM的能力

那我对这10杯的判断应该全对$n_{correct} = 10$

各种分布

二项分布(伯努利分布) $B(n,p)$

两点分布(0-1分布) $B(n=1,p)$

$EX=np$

$DX=np(1-p)$

$X\sim B(n_1,p),Y\sim B(n_2,p)$且独立，$X+Y\sim B(n_1+n_2,p)$

均匀分布 $U(a,b)$

$F(x)=\dfrac{x-a}{b-a},a \le x \le b$

$f(x)=\dfrac{1}{b-a},a<x<b$

$EX=\dfrac{a+b}{2}$

$DX=\dfrac{(a-b)^2}{12}$

指数分布 $Exp(\theta)$

$f(x)=\dfrac{1}{\theta}e^{-\tfrac{x}{\theta}},x>0$

$F(x)=1-e^{-\tfrac{x}{\theta}},x>0$

正态分布 $Norma(\mu,\sigma^2)$

标准正态分布$Z=N(0,1)$

$N(μ,σ^2)+c=N(μ+c,σ^2)$

$cN(μ, σ^2) = N(cμ, c^2σ^2)$

$X\sim N(a,b^2)<=>\dfrac{X-a}{b}\sim N(0,1)$

$f(x)=\dfrac{1}{\sqrt {2\pi}\sigma}e^{-\dfrac{(x-\mu)^2}{2\sigma^2}}$

独立即可加：$N~(\mu_1,\sigma_1^2)+N(\mu_2,\sigma^2_2)=N(\mu_1+\mu_2,\sigma_1^2+\sigma^2_2)$

Fisher定理：正态分布的样本均值和样本方差相互独立

正态分布样本均值的分布：$\overline X\sim N(\mu,\dfrac{\sigma^2}{n})$

正态分布样本方差的分布：$\dfrac{(n-1)s^2}{σ^2} \sim χ^2(n-1)$

$\phi(?)$：正态曲线从$-\infin$积分到$\mu+?$的值

泊松分布 $Poi(λ)$

$P\{X=k\}=\dfrac{λ^k}{k!}e^{-\lambda},k=0,1,2\cdots$

$EX=DX=λ$

卡方分布 $χ^2(n:$ 自由度$)$

n个标准正态分布$N(0,1)$的平方之和的分布

数学语言：

设 $Z1, Z2, \cdots, Zn$ 互相独立且服从 $N(0, 1)$

则称随机变量$X = Z_1^2 + Z_2^2 + \cdots + Z_n^2$

服从自由度为 n 的卡方分布, 记作 $X\simχ^2(n)$

$Z_1^2+Z_2^2+\cdots+Z_n^2\sim \chi^2(n)$

均方：平方和除以n

F分布 $F(n,m)$

$F(n,m)=\dfrac{χ^2(n)/n}{χ^2(m)/m}$

$\dfrac{\text{标准正态分布平方}}{\text{m个标准正态分布均方}}=F(1, m)$

$\dfrac{Z_1^2+Z_2^2+\cdots+Z_n^2}{n}\Big/\dfrac{W_1^2+W_2^2+\cdots+W_m^2}{m}\sim F(n,m) where Z_i, W_i \sim N(0, 1) i.i.d$

t分布

$Z\Big/\sqrt{\frac{W_1^2+W_2^2+\cdots+W_n^2}{n}}\sim t(n)$