SY02:用 R 把概率论与数理统计跑一遍
SY02 是 UTC 城市工程专业的一门概率论与数理统计课。它不像纯数学课那样只推公式,而是要求把每一个结论都用 R 跑出来:模拟、估计、检验,最后对着输出解释「为什么是这样」。结课之后我把七个 TP(Travaux pratiques,实践课)的代码和笔记重新整理成了一个公开档案:yicongl1/sy02-statistiques-r。
这篇文章不是课程讲义的搬运,而是我自己的一份复盘:从描述统计一路走到假设检验,记录每个 TP 到底在练什么、R 里对应的函数是什么、以及那些当时卡住我的地方。
说明:课程讲义、题目与答案的著作权归授课教师和学校所有,仓库里只保留我自己写的 R 代码和课程提供的数据,不发布任何课件 PDF。
一、为什么值得单独建一个仓库
概率统计最容易「看懂」却「不会用」。公式背得下来,换一组数据就不知道从哪下手。我把 SY02 拆成七个独立的 TP 文件夹,每个文件夹都有一份中法双语的 README,写清四件事:
- 这一节的学习目标;
- 每个文件负责什么;
- 核心公式与它在 R 里的落点;
- 怎么运行、应该看到什么。
这样做的好处是,半年后回来复习时,不需要重新翻课件,只要打开对应 TP 的 README,就知道当时验证的是哪个结论。
二、仓库结构
SY02/
├── 01-r-basics/ # R 入门与描述统计
├── 02-probabilities/ # 概率分布与模拟
├── 03-estimation/ # 点估计与最大似然
├── 04-confidence-intervals/ # 置信区间与覆盖率
├── 05-linear-regression/ # 线性回归与诊断
├── 06-hypothesis-tests/ # 假设检验与功效
├── 07-tp7-modification/ # 综合修改练习
└── 08-revisions/quiz/ # 计分测验
七个 TP 加一次测验,基本覆盖了从「把数据看明白」到「对数据下判断」的完整链路。
三、TP1:先把数据看明白
第一节没有急着讲概率,而是回到最基本的问题:拿到一列数,你能量出什么?
R 的向量和因子是后面所有操作的地基:
notes <- c(12, 8.5, 15, 11, 9.5, 14)
mean(notes)
median(notes)
quantile(notes, c(0.25, 0.5, 0.75))
IQR(notes)
quantile() 和 IQR() 让我第一次直观看到「中位数 + 四分位距」比单一均值更能抵抗极端值。factor() 与 ordered() 则负责把分类变量变成可排序的,为后面的列联表和分组统计做准备。
这一节用的数据是 sy02.data,字段包括 median、final、moyenne 等成绩列。用 table()、boxplot()、hist()、stem() 分别看频数、分布形状和茎叶图,同一个数据集换四种视角,结论会不一样——这也是描述统计的意义:不是给一个唯一答案,而是让你知道数据长什么样。
四、TP2:概率分布与模拟
概率分布最好的理解方式不是背密度函数,而是「生成它、画它、再和理论曲线比」。
x <- runif(1000, min = 0, max = 1)
y <- rnorm(1000, mean = 0, sd = 1)
b <- rbinom(1000, size = 10, prob = 0.3)
e <- rexp(1000, rate = 2)
hist(y, breaks = 30, probability = TRUE)
curve(dnorm(x), add = TRUE, col = "red")
curve() 叠加理论密度、ecdf() 画经验分布函数、replicate() 重复抽样——这三件套几乎贯穿了整门课。尤其是 replicate(),它让「重复实验」从纸面概念变成了几行代码:
means <- replicate(1000, mean(rnorm(30, mean = 5, sd = 2)))
hist(means)
这张直方图就是中心极限定理的现场演示:总体是正态时看不出什么,换成指数分布、均匀分布,样本均值的分布依然会向正态靠拢。
TP2 的另一部分是自定义分布。R 内置的 d/p/q/r 四件套对应密度、分布函数、分位数和随机生成;自己实现一遍 dloi、ploi、qloi、rloi,才知道这四个函数之间是怎么互相推导的。用的数据集来自 MASS 包的 painters、immer、shoes、galaxies、sleep。
五、TP3:点估计与最大似然
从这一节开始,「估计」成为主题。矩估计直接用样本矩对应总体矩;最大似然则把参数看成让观测数据最可能出现的那个值。
核心是构造对数似然函数,然后交给 optimize():
logL <- function(theta, data) {
# 以指数分布为例,rate = theta
n <- length(data)
n * log(theta) - theta * sum(data)
}
fit <- optimize(logL, interval = c(1e-6, 10), data = e, maximum = TRUE)
fit$maximum
把 logL 画出来,再让 optimize() 找峰值,比单纯记「求导令其为零」更能理解为什么似然函数有时没有解析解。
TP3 还引入了 Fisher 信息量:它衡量数据对参数提供了多少信息,也是后面置信区间宽度的理论来源。这里借了 pracma::grad() 做数值求导,避免手推导数出错。tp3-workbook.R 则把推导和代码并排放,方便对照。
六、TP4:置信区间与覆盖率
置信区间是这门课里最容易被误解的概念之一。它不是说「参数有 95% 的概率落在区间里」,而是「如果重复抽样很多次,约有 95% 的区间会覆盖真值」。
正常近似下:
n <- 30
xbar <- mean(y)
s <- sd(y)
alpha <- 0.05
z <- qnorm(1 - alpha / 2)
c(xbar - z * s / sqrt(n), xbar + z * s / sqrt(n))
小样本、方差未知时换成 t 分布,或者直接让 t.test() 给出区间:
t.test(y)$conf.int
真正让我理解「覆盖率」的是一段蒙特卡洛模拟:固定真值,重复生成样本、重复算区间,最后统计有多少个区间真的盖住了真值。
cover <- replicate(2000, {
sample <- rnorm(30, mean = 5, sd = 2)
ci <- t.test(sample)$conf.int
ci[1] <= 5 && 5 <= ci[2]
})
mean(cover)
当结果在 0.95 附近时,置信区间的含义才从一句定义变成了一件可验证的事。这段逻辑放在 04-confidence-intervals/src/utils.R 里,方便复用。
七、TP5:线性回归与诊断
lm() 是一行就能跑出结果的函数,但真正的功夫在诊断。
model <- lm(y ~ x, data = df)
summary(model) # 系数、标准误、t 值、R²
confint(model) # 系数置信区间
predict(model, newdata = data.frame(x = 10), interval = "prediction")
summary() 给出的是「在模型假设成立的前提下」的结论,所以还要检查假设:
plot(model)看残差与拟合值、Q-Q 图;qqnorm(resid(model))判断正态性;- 残差是否出现漏斗形(异方差)、是否有个别点主导回归。
这一节用了 cedar、hooker、moore 三组回归案例,外加经典的 anscombe 四组数据——四组数据的均值、方差、相关系数和回归线几乎相同,画出来却完全不同。anscombe 是我印象最深的一个例子:它几乎是在提醒你,不要只看数字,一定要画图。
八、TP6:假设检验与功效
最后一节把前面所有工具串起来:给定一个假设,判断数据是否支持它。
R 里对应的函数很集中:
t.test(x, mu = 0) # 均值
prop.test(45, 100, p = 0.5) # 比例
var.test(x, y) # 方差比
shapiro.test(x) # 正态性
ks.test(x, "pnorm") # 分布拟合
chisq.test(table(x, y)) # 独立性
但会调用函数不等于会做检验。TP6 花了很大篇幅讲三件事:
- p 值到底是什么:它是在原假设成立时,观察到当前或更极端结果的概率,不是「原假设为真的概率」;
- 第一类错误与第二类错误的权衡:把显著性水平调低,拒绝门槛变严,功效也会下降;
- 功效分析:固定效应大小和样本量,用临界区域或蒙特卡洛模拟估计「能检出」的概率。
功效那部分我用模拟画了功效曲线:同一效应下,样本量越大,曲线越快接近 1;效应越弱,需要的样本量越大。这比记公式更能解释「为什么小样本实验经常做不出显著结果」。
检验用的数据包括 bottles.data、cold.data、delai-data.data、MM.data,补充练习用了 isdals::bodyfat。
九、TP7 与测验:把方法用在没见过的数据上
TP7 只给了 bottles.data,不给步骤,要求自己选方法、自己解释结果。这种「开放题」最能暴露问题:什么时候该用 t 检验、什么时候该用非参数方法、异常值该不该删、结论能不能推广。
08-revisions/quiz/ 里还有一次计分测验 quiz_2023-09-27.R,覆盖缺失值处理、方差置信区间和回归。测验数据 quiz_A2023.RData 里有 MR337、MR650、EMV250、RL08 等变量。做测验时我才意识到,真正难的不是写代码,而是判断「现在该用哪个模型」。
十、复盘:这门课真正留下的东西
回头看,SY02 教给我的不是某个具体公式,而是三个习惯:
第一,先看数据,再选方法。 描述统计和画图不是可有可无的前戏,anscombe 就是最直接的反例。
第二,把结论变成可模拟的实验。 置信区间的覆盖率、检验的功效,都可以用 replicate() 跑出来。能模拟,就说明你真的理解了它的生成机制。
第三,区分「模型说的」和「数据说的」。 回归系数显著,不代表模型正确;p 值很小,也不代表效应重要。诊断、效应大小、置信区间,一个都不能少。
R 只是工具,但这套「生成—估计—检验—解释」的流程,换成 Python、MATLAB 甚至纸笔,逻辑是一样的。
代码、数据与每个 TP 的双语 README 都在 Gitee:yicongl1/sy02-statistiques-r。如果你也在学概率统计,欢迎直接 source() 某个 TP 的脚本,改一改数据再跑一遍——很多结论,只有自己跑出来才会真正相信。
相关技能
- R
- 概率论
- 数理统计