团队课程项目(2 人)

波尔多 Airbnb 定价预测

贡比涅技术大学 · BA08 智慧城市数据科学(2024 春)

基于 Inside Airbnb 波尔多 11,854 条房源,完成 EDA、地图与 ANOVA,从标题中正则抽取卧室/床位/浴室特征,按 100 € 分段比较线性回归、随机森林、Ridge 与 Lasso;随机森林在低价/高价段的测试 R² 为 0.52 / 0.55。

项目背景

这是 UTC BA08「智慧城市数据科学」 的课程项目,2024 年 6 月提交。作业允许两种形式:从零做一个智慧城市用例(Level 1),或者复现并改进一个公开案例(Level 2)。我们选了 Level 2,以 Kaggle 上的 NYC Airbnb: EDA, Visualization, Regression 为基线,复现流程后提出三点改进:换城市与原始数据源、从标题里挖特征、按价格分段建模。

数据

  • 来源:Inside Airbnb 的波尔多房源快照,data/listings.csv,11,854 行 × 18 列,latin-1 编码;
  • 目标:每晚价格 price(€),8,162 条非空,中位数 82 €、均值 115 €、最高 5,300 €;
  • 只保留房源最多的 5 个大区(Bordeaux、Mérignac、Talence、Pessac、Bègles),共 9,033 套,约占 76%;
  • 清洗后用于建模的样本:低价段(< 100 €)2,630 套、高价段(> 100 €)1,629 套,共 4,259 套。

host_name 被删除,不只是因为它对价格没有信息量,也是出于伦理考虑:不应基于真实姓名对个人做推断。

特征与清洗

name 列的格式类似 Rental unit in Bordeaux · ★New · 2 bedrooms · 1 bath。用正则从中抽出 5 个新特征:

  • note:评分,New 记为 −1;
  • number_of_bedrooms / number_of_beds / number_of_baths:Studio 记 1 间卧室,Half-bath 记 0.5 间浴室;
  • type_of_baths:独立还是共用。

清洗规则:reviews_per_month 缺失补 0;price、note 和三个容量特征缺失的行直接删除;价格与计数类特征严重右偏,统一取 log10(目标变量也取 log10)。

EDA 部分做了直方图/箱线图、按大区和房型着色的 Folium 地图、相关系数热力图,并用单因素方差分析 + 两两比较检验“大区是否显著影响价格”(低价段,p ≪ 0.05)。

建模

两套预处理,分别在两个价格段上训练四个模型:

Model 1Model 2
数值特征log10 变换按分位数 qcut 分箱(2–3 档)
类别特征one-hot(drop_first=True)one-hot(drop_first=True)
特征数8857
模型线性回归、随机森林(max_depth=8,100 棵)、Ridge、Lasso同左
调参GridSearchCV(alpha)同左
验证KFold(8/10)+ 70/30同左

指标在 log10(price) 空间计算:RMSE = 0.09 大致对应 10^0.09 − 1 ≈ 23% 的相对误差。

结果

  • 随机森林 + Model 1 在两个价格段都最好:低价段测试 R² = 0.52,高价段 R² = 0.55;
  • 线性类模型停在 0.4 左右(低价 0.41、高价 0.46),说明价格与特征之间存在明显非线性,也有大量未观测因素(装修、景观、季节、事件);
  • 分箱预处理(Model 2)在所有模型上都更差——把连续变量切成类别,丢掉了信息;
  • 标题里抽出的三个容量特征是关键:去掉它们后,部分模型的 R² 甚至低于 0.1;
  • 随机森林存在过拟合:低价段训练 R² = 0.68,测试只有 0.52。

局限

样本量小(4,259 套,高价段只有 1,629 套)、只有单期快照(无法建模季节性)、缺少面积/装修/景观/交通等特征、正则抽取对非标准标题会失败、指标在 log10 空间不直观。后续可以补 SHAP 解释、XGBoost/LightGBM、更细的超参搜索。

链接

源码、notebook、报告、答辩幻灯片与 DataCamp 证书:https://github.com/yicongl1/Bordeaux-Airbnb

技术文章

01 从房源标题里挖特征:正则、缺失值与信息量 name 列里的卧室/床位/浴室/评分,Studio 与 Half-bath 的边界情况,以及缺少这些特征时模型会掉多少。 02 按价格分段建模:四个模型、两套预处理与 log10 指标 100 € 分界、88 与 57 个特征的对比、随机森林为什么赢,以及 log10 空间里的 RMSE 怎么读。

课程证书

Introduction to Python · 4 小时 · 2024-03-13 · 编号 32,952,285
Introduction to Python · 4 小时 · 2024-03-13 · 编号 32,952,285
Intermediate Python · 4 小时 · 2024-03-18 · 编号 33,304,822
Intermediate Python · 4 小时 · 2024-03-18 · 编号 33,304,822
Data Manipulation with pandas · 4 小时 · 2024-03-24 · 编号 33,370,844
Data Manipulation with pandas · 4 小时 · 2024-03-24 · 编号 33,370,844
Cleaning Data in Python · 4 小时 · 2024-04-01 · 编号 33,528,954
Cleaning Data in Python · 4 小时 · 2024-04-01 · 编号 33,528,954
Exploratory Data Analysis in Python · 4 小时 · 2024-04-07 · 编号 33,628,107
Exploratory Data Analysis in Python · 4 小时 · 2024-04-07 · 编号 33,628,107
Supervised Learning with scikit-learn · 4 小时 · 2024-04-13 · 编号 33,707,517
Supervised Learning with scikit-learn · 4 小时 · 2024-04-13 · 编号 33,707,517
Unsupervised Learning in Python · 4 小时 · 2024-05-06 · 编号 34,012,519
Unsupervised Learning in Python · 4 小时 · 2024-05-06 · 编号 34,012,519

相关技能

  • Python
  • Git