按价格分段建模:四个模型、两套预处理与 log10 指标
项目代码:https://github.com/yicongl1/Bordeaux-Airbnb
同一个数据集,为什么要把价格拆成“低于 100 €”和“高于 100 €”两段?为什么随机森林赢了线性模型?RMSE = 0.09 到底是准还是不准?这篇把 BA08 项目的建模部分拆开讲。
先看价格分布
波尔多 8,162 条有价格的房源:中位数 82 €、均值 115 €、最高 5,300 €。直方图明显右偏,而且能看到两个“峰”——低价段和高价段的行为不太一样。
所以做了两件事:
- 价格和计数类特征取
log10,压掉长尾; - 以 100 € 为界分成两段,分别建模:
low = data[data['price'] < 100] # 2,630 套
high = data[data['price'] > 100] # 1,629 套
不是“拍脑袋 100”,而是分布上的自然断点。分段之后,每段内部的方差更小,模型不用同时拟合两种完全不同的定价逻辑。
两套预处理
同一批特征,做了两种处理:
| Model 1 | Model 2 | |
|---|---|---|
| 数值特征 | log10 变换 | 按分位数 qcut 分箱(2–3 档) |
| 类别特征 | one-hot(drop_first=True) | one-hot(drop_first=True) |
| 特征数 | 88 | 57 |
Model 2 的想法是“分箱能抗噪、能捕捉非线性”。听起来有道理,但结果并不支持。
四个模型
每个价格段都训练:
- 多元线性回归;
- 随机森林(
max_depth=8,n_estimators=100,random_state=0); - Ridge(
alpha用GridSearchCV在[0.001, 0.01, 0.1, 1, 10, 100]里选); - Lasso(
alpha在[1e-4, 5e-3, 1e-3, 5e-2, 1e-2, 0.1]里选)。
验证用 KFold(n_splits=8/10, shuffle=True),另做 70/30 的 train/test 划分。指标是 log10 空间的 RMSE 和 R²。
结果
挑几行关键的(完整表在仓库 reports/model-performance.xlsx):
| 模型 | 价格段 | 预处理 | RMSE | R² test |
|---|---|---|---|---|
| 线性回归 | 低 | Model 1 | 0.10 | 0.41 |
| 线性回归 | 高 | Model 1 | 0.16 | 0.46 |
| 随机森林 | 低 | Model 1 | 0.09 | 0.52 |
| 随机森林 | 高 | Model 1 | 0.12 | 0.55 |
| Ridge | 低 | Model 1 | 0.10 | 0.33 |
| Lasso | 低 | Model 1 | 0.15 | 0.39 |
结论很清楚:
- 随机森林 + Model 1 最好,两段都赢;
- 线性类模型停在 0.4 左右,说明价格和特征之间存在明显的非线性;
- Model 2 在所有模型上都更差——分箱把连续信息切碎了,树模型本来就能处理非线性,分箱反而多此一举。
RMSE = 0.09 怎么读
指标是在 log10(price) 上算的,不是欧元。RMSE = 0.09 大致对应:
10^0.09 - 1 ≈ 0.23
也就是约 23% 的相对误差。如果一套房真实价格是 100 €,模型给出 77 € 或 123 € 都在这个量级内。
这比“平均误差 20 欧元”更合理,因为 20 € 对 50 € 的房和 500 € 的房意义完全不同。但也意味着:报告里必须写清楚指标在哪个空间,否则读者会误以为 0.09 € 或 0.09% 。
随机森林的过拟合
随机森林训练集 R² = 0.68,测试集只有 0.52。差距不小。
原因有几层:
- 样本量小:低价段 2,630 套,高价段只有 1,629 套;
- 特征有限:没有面积、装修、景观、交通、季节;
- 树深 8 层、100 棵,对这个小样本来说容量偏大。
可以试的方向:更细的超参搜索、交叉验证集成、XGBoost/LightGBM、或者对目标做更稳健的变换。
一个诚实的小问题
仓库的 model-performance.xlsx 里,部分 Lasso 行和 Ridge 行的数值完全相同(比如低价段 0.15 / 0.39)。我没有去改原始表,而是在 README 里如实注明“此处按原表转录”。
这类“结果表看起来太整齐”的情况,值得回头核对:是调参后 alpha 恰好相同,还是导出时串行了。比赛/答辩里被问到会很难解释。
如果重做
- 把分段做成模型的一部分(比如先分类高价/低价,再回归),而不是手工切;
- 用 SHAP 解释随机森林,回答“为什么这套房值这个价”;
- 补时间维度,至少能验证季节性;
- 统一报告口径:log10 空间的指标 + 换算后的相对误差,一起给出。
相关技能
- Python
- 学术写作