项目代码:https://github.com/yicongl1/Bordeaux-Airbnb

同一个数据集,为什么要把价格拆成“低于 100 €”和“高于 100 €”两段?为什么随机森林赢了线性模型?RMSE = 0.09 到底是准还是不准?这篇把 BA08 项目的建模部分拆开讲。

先看价格分布

波尔多 8,162 条有价格的房源:中位数 82 €、均值 115 €、最高 5,300 €。直方图明显右偏,而且能看到两个“峰”——低价段和高价段的行为不太一样。

所以做了两件事:

  1. 价格和计数类特征取 log10,压掉长尾;
  2. 以 100 € 为界分成两段,分别建模:
low  = data[data['price'] < 100]   # 2,630 套
high = data[data['price'] > 100]   # 1,629 套

不是“拍脑袋 100”,而是分布上的自然断点。分段之后,每段内部的方差更小,模型不用同时拟合两种完全不同的定价逻辑。

两套预处理

同一批特征,做了两种处理:

Model 1Model 2
数值特征log10 变换按分位数 qcut 分箱(2–3 档)
类别特征one-hot(drop_first=True)one-hot(drop_first=True)
特征数8857

Model 2 的想法是“分箱能抗噪、能捕捉非线性”。听起来有道理,但结果并不支持。

四个模型

每个价格段都训练:

  • 多元线性回归;
  • 随机森林(max_depth=8,n_estimators=100,random_state=0);
  • Ridge(alpha 用 GridSearchCV 在 [0.001, 0.01, 0.1, 1, 10, 100] 里选);
  • Lasso(alpha 在 [1e-4, 5e-3, 1e-3, 5e-2, 1e-2, 0.1] 里选)。

验证用 KFold(n_splits=8/10, shuffle=True),另做 70/30 的 train/test 划分。指标是 log10 空间的 RMSE 和 R²。

结果

挑几行关键的(完整表在仓库 reports/model-performance.xlsx):

模型价格段预处理RMSER² test
线性回归低Model 10.100.41
线性回归高Model 10.160.46
随机森林低Model 10.090.52
随机森林高Model 10.120.55
Ridge低Model 10.100.33
Lasso低Model 10.150.39

结论很清楚:

  • 随机森林 + Model 1 最好,两段都赢;
  • 线性类模型停在 0.4 左右,说明价格和特征之间存在明显的非线性;
  • Model 2 在所有模型上都更差——分箱把连续信息切碎了,树模型本来就能处理非线性,分箱反而多此一举。

RMSE = 0.09 怎么读

指标是在 log10(price) 上算的,不是欧元。RMSE = 0.09 大致对应:

10^0.09 - 1 ≈ 0.23

也就是约 23% 的相对误差。如果一套房真实价格是 100 €,模型给出 77 € 或 123 € 都在这个量级内。

这比“平均误差 20 欧元”更合理,因为 20 € 对 50 € 的房和 500 € 的房意义完全不同。但也意味着:报告里必须写清楚指标在哪个空间,否则读者会误以为 0.09 € 或 0.09% 。

随机森林的过拟合

随机森林训练集 R² = 0.68,测试集只有 0.52。差距不小。

原因有几层:

  • 样本量小:低价段 2,630 套,高价段只有 1,629 套;
  • 特征有限:没有面积、装修、景观、交通、季节;
  • 树深 8 层、100 棵,对这个小样本来说容量偏大。

可以试的方向:更细的超参搜索、交叉验证集成、XGBoost/LightGBM、或者对目标做更稳健的变换。

一个诚实的小问题

仓库的 model-performance.xlsx 里,部分 Lasso 行和 Ridge 行的数值完全相同(比如低价段 0.15 / 0.39)。我没有去改原始表,而是在 README 里如实注明“此处按原表转录”。

这类“结果表看起来太整齐”的情况,值得回头核对:是调参后 alpha 恰好相同,还是导出时串行了。比赛/答辩里被问到会很难解释。

如果重做

  • 把分段做成模型的一部分(比如先分类高价/低价,再回归),而不是手工切;
  • 用 SHAP 解释随机森林,回答“为什么这套房值这个价”;
  • 补时间维度,至少能验证季节性;
  • 统一报告口径:log10 空间的指标 + 换算后的相对误差,一起给出。

仓库:https://github.com/yicongl1/Bordeaux-Airbnb