团队课程项目(2 人)
贡比涅技术大学 · BA08 智慧城市数据科学(2024 春)
基于 Inside Airbnb 波尔多 11,854 条房源,完成 EDA、地图与 ANOVA,从标题中正则抽取卧室/床位/浴室特征,按 100 € 分段比较线性回归、随机森林、Ridge 与 Lasso;随机森林在低价/高价段的测试 R² 为 0.52 / 0.55。
这是 UTC BA08「智慧城市数据科学」 的课程项目,2024 年 6 月提交。作业允许两种形式:从零做一个智慧城市用例(Level 1),或者复现并改进一个公开案例(Level 2)。我们选了 Level 2,以 Kaggle 上的 NYC Airbnb: EDA, Visualization, Regression 为基线,复现流程后提出三点改进:换城市与原始数据源、从标题里挖特征、按价格分段建模。
data/listings.csv,11,854 行 × 18 列,latin-1 编码;price(€),8,162 条非空,中位数 82 €、均值 115 €、最高 5,300 €;host_name 被删除,不只是因为它对价格没有信息量,也是出于伦理考虑:不应基于真实姓名对个人做推断。
name 列的格式类似 Rental unit in Bordeaux · ★New · 2 bedrooms · 1 bath。用正则从中抽出 5 个新特征:
note:评分,New 记为 −1;number_of_bedrooms / number_of_beds / number_of_baths:Studio 记 1 间卧室,Half-bath 记 0.5 间浴室;type_of_baths:独立还是共用。清洗规则:reviews_per_month 缺失补 0;price、note 和三个容量特征缺失的行直接删除;价格与计数类特征严重右偏,统一取 log10(目标变量也取 log10)。
EDA 部分做了直方图/箱线图、按大区和房型着色的 Folium 地图、相关系数热力图,并用单因素方差分析 + 两两比较检验“大区是否显著影响价格”(低价段,p ≪ 0.05)。
两套预处理,分别在两个价格段上训练四个模型:
| Model 1 | Model 2 | |
|---|---|---|
| 数值特征 | log10 变换 | 按分位数 qcut 分箱(2–3 档) |
| 类别特征 | one-hot(drop_first=True) | one-hot(drop_first=True) |
| 特征数 | 88 | 57 |
| 模型 | 线性回归、随机森林(max_depth=8,100 棵)、Ridge、Lasso | 同左 |
| 调参 | GridSearchCV(alpha) | 同左 |
| 验证 | KFold(8/10)+ 70/30 | 同左 |
指标在 log10(price) 空间计算:RMSE = 0.09 大致对应 10^0.09 − 1 ≈ 23% 的相对误差。
R² = 0.52,高价段 R² = 0.55;R² 甚至低于 0.1;R² = 0.68,测试只有 0.52。样本量小(4,259 套,高价段只有 1,629 套)、只有单期快照(无法建模季节性)、缺少面积/装修/景观/交通等特征、正则抽取对非标准标题会失败、指标在 log10 空间不直观。后续可以补 SHAP 解释、XGBoost/LightGBM、更细的超参搜索。
源码、notebook、报告、答辩幻灯片与 DataCamp 证书:https://github.com/yicongl1/Bordeaux-Airbnb






