从房源标题里挖特征:正则、缺失值与信息量
项目代码:https://github.com/yicongl1/Bordeaux-Airbnb
Inside Airbnb 的 listings.csv 看着字段很多,真正能直接用的却没几个:面积没有、装修没有、景观没有。但有一列被大多数人当成文本丢掉——name,房源标题。
波尔多的标题长这样:
Rental unit in Bordeaux · ★New · 2 bedrooms · 1 bath
卧室数、床位数、浴室数、评分,全在里面。这篇讲怎么把它们抽出来,以及抽错/抽漏的代价。
先看数据长什么样
数据集是 11,854 行 × 18 列,latin-1 编码。标题里的分隔符和星号在 UTF-8 下会变成乱码(¡¤、¡ï),所以读文件时要按实际编码来:
for encoding in ['utf-8', 'latin1', 'gbk']:
try:
data = pd.read_csv(path, encoding=encoding)
break
except UnicodeDecodeError:
continue
这不是“保险起见”,而是因为文件确实不是 UTF-8。先打印几行原始标题,比直接写正则更重要。
五个新特征
从 name 里抽 5 列:
note:评分,New记为 −1;number_of_bedrooms;number_of_beds;number_of_baths;type_of_baths:独立还是共用。
卧室的抽取逻辑是“数字 + bedroom”,外加两个边界情况:
match = re.search(r'([\d\.]+)\s*bedroom', row['name'])
if match:
data.at[index, 'number_of_bedrooms'] = match.group(1)
elif 'Studio' in row['name']:
data.at[index, 'number_of_bedrooms'] = 1
else:
data.at[index, 'number_of_bedrooms'] = float('nan')
Studio 没有写卧室数,但按常识记 1 间;抽不到就置 NaN,后面统一删行,而不是猜一个值。
床位的正则更微妙:
r'([\d\.]+)\s*bed\s{1}(?:|$)|([\d\.]+)\s*beds\s{1}(?:|$)'
为什么要卡 bed 后面的空白或结尾?因为 bedroom 里也包含 bed。如果不加边界,2 bedrooms 会被当成“2 张床”,床位和卧室就混了。这种“短词是长词前缀”的问题,在正则里非常常见。
浴室同理:Half-bath 记 0.5,private / shared 单独成一列。
缺失值不是随机丢的
清洗规则很直接:
data.fillna({'reviews_per_month': 0}, inplace=True)
data = data.dropna(subset=[
'price', 'number_of_bedrooms', 'number_of_beds', 'number_of_baths', 'note'
])
但要想清楚:被删掉的是哪些房源? 抽不到容量的,往往是标题不规范的房源——可能是新上架、可能是房东随手写的、也可能是特殊房型。它们和“标准标题”的房源在价格上未必同分布,直接删行会引入选择偏差。
这次样本从 8,162 条有价格的房源,清洗后剩 4,259 条。这个损失不小,也是后面模型方差大的原因之一。
这些特征到底值多少
做了个对照:把从 name 抽出的三个容量特征去掉,再跑同样的模型。结果部分模型的 R² 直接掉到 0.1 以下。
原因不复杂:在“没有面积、没有装修”的数据里,卧室/床位/浴室几乎是唯一能描述房源规模的变量。没有它们,模型只剩下大区、房型和评论数,很难解释价格差异。
所以“从文本里挖特征”不是锦上添花,而是这个数据集能否建模的前提。
如果重做
- 先做抽样校验:随机抽 100 条标题,人工核对抽取值,统计错误率;
- 把失败样本单独看:是格式问题、语言问题,还是真的没有信息;
- 不要只留正则结果:保留原始
name,方便回溯; - 考虑更好的来源:如果平台提供结构化的 bedrooms/beds 字段,优先用它;正则应该是兜底,而不是主路径;
- 文本本身还能用:
name里的 “New”、"★"、区域名、形容词,都可以做额外特征,而不只是抽数字。
相关技能
- Python