项目代码:https://github.com/yicongl1/Bordeaux-Airbnb

Inside Airbnb 的 listings.csv 看着字段很多,真正能直接用的却没几个:面积没有、装修没有、景观没有。但有一列被大多数人当成文本丢掉——name,房源标题。

波尔多的标题长这样:

Rental unit in Bordeaux · ★New · 2 bedrooms · 1 bath

卧室数、床位数、浴室数、评分,全在里面。这篇讲怎么把它们抽出来,以及抽错/抽漏的代价。

先看数据长什么样

数据集是 11,854 行 × 18 列,latin-1 编码。标题里的分隔符和星号在 UTF-8 下会变成乱码(¡¤、¡ï),所以读文件时要按实际编码来:

for encoding in ['utf-8', 'latin1', 'gbk']:
    try:
        data = pd.read_csv(path, encoding=encoding)
        break
    except UnicodeDecodeError:
        continue

这不是“保险起见”,而是因为文件确实不是 UTF-8。先打印几行原始标题,比直接写正则更重要。

五个新特征

从 name 里抽 5 列:

  • note:评分,New 记为 −1;
  • number_of_bedrooms;
  • number_of_beds;
  • number_of_baths;
  • type_of_baths:独立还是共用。

卧室的抽取逻辑是“数字 + bedroom”,外加两个边界情况:

match = re.search(r'([\d\.]+)\s*bedroom', row['name'])
if match:
    data.at[index, 'number_of_bedrooms'] = match.group(1)
elif 'Studio' in row['name']:
    data.at[index, 'number_of_bedrooms'] = 1
else:
    data.at[index, 'number_of_bedrooms'] = float('nan')

Studio 没有写卧室数,但按常识记 1 间;抽不到就置 NaN,后面统一删行,而不是猜一个值。

床位的正则更微妙:

r'([\d\.]+)\s*bed\s{1}(?:|$)|([\d\.]+)\s*beds\s{1}(?:|$)'

为什么要卡 bed 后面的空白或结尾?因为 bedroom 里也包含 bed。如果不加边界,2 bedrooms 会被当成“2 张床”,床位和卧室就混了。这种“短词是长词前缀”的问题,在正则里非常常见。

浴室同理:Half-bath 记 0.5,private / shared 单独成一列。

缺失值不是随机丢的

清洗规则很直接:

data.fillna({'reviews_per_month': 0}, inplace=True)
data = data.dropna(subset=[
    'price', 'number_of_bedrooms', 'number_of_beds', 'number_of_baths', 'note'
])

但要想清楚:被删掉的是哪些房源? 抽不到容量的,往往是标题不规范的房源——可能是新上架、可能是房东随手写的、也可能是特殊房型。它们和“标准标题”的房源在价格上未必同分布,直接删行会引入选择偏差。

这次样本从 8,162 条有价格的房源,清洗后剩 4,259 条。这个损失不小,也是后面模型方差大的原因之一。

这些特征到底值多少

做了个对照:把从 name 抽出的三个容量特征去掉,再跑同样的模型。结果部分模型的 R² 直接掉到 0.1 以下。

原因不复杂:在“没有面积、没有装修”的数据里,卧室/床位/浴室几乎是唯一能描述房源规模的变量。没有它们,模型只剩下大区、房型和评论数,很难解释价格差异。

所以“从文本里挖特征”不是锦上添花,而是这个数据集能否建模的前提。

如果重做

  • 先做抽样校验:随机抽 100 条标题,人工核对抽取值,统计错误率;
  • 把失败样本单独看:是格式问题、语言问题,还是真的没有信息;
  • 不要只留正则结果:保留原始 name,方便回溯;
  • 考虑更好的来源:如果平台提供结构化的 bedrooms/beds 字段,优先用它;正则应该是兜底,而不是主路径;
  • 文本本身还能用:name 里的 “New”、"★"、区域名、形容词,都可以做额外特征,而不只是抽数字。

仓库:https://github.com/yicongl1/Bordeaux-Airbnb