Projet de cours en binôme

Prédiction des prix Airbnb à Bordeaux

Université de technologie de Compiègne · BA08 Data Science for the Smart City (printemps 2024)

Étude complète de 11 854 annonces bordelaises d'Inside Airbnb : EDA, cartes et ANOVA, cinq variables extraites du titre, puis comparaison de régression linéaire, forêt aléatoire, Ridge et Lasso sur deux segments de prix (100 €). La forêt aléatoire atteint un R² test de 0,52 (bas prix) et 0,55 (haut prix).

Contexte

C’était le projet de cours BA08 « Data Science for the Smart City » à l’UTC, rendu en juin 2024. Le sujet proposait deux formats : construire un cas smart city de zéro (niveau 1) ou rejouer et améliorer un cas public (niveau 2). Nous avons choisi le niveau 2, en prenant le notebook Kaggle NYC Airbnb: EDA, Visualization, Regression comme base, puis en ajoutant trois améliorations : une autre ville et la source de données d’origine, des variables extraites du titre, et une modélisation par segments de prix.

Données

  • Source : le snapshot Inside Airbnb de Bordeaux, data/listings.csv, 11 854 lignes × 18 colonnes, encodage latin-1 ;
  • Cible : le prix par nuit price (€) ; 8 162 valeurs non nulles, médiane 82 €, moyenne 115 €, maximum 5 300 € ;
  • Seuls les cinq plus grands districts sont conservés (Bordeaux, Mérignac, Talence, Pessac, Bègles) : 9 033 annonces, environ 76 % ;
  • Après nettoyage : 2 630 annonces bas prix (< 100 €) et 1 629 haut prix (> 100 €), soit 4 259 au total.

host_name est supprimé non seulement parce qu’il n’apporte pas d’information sur le prix, mais aussi pour des raisons éthiques : aucune inférence ne doit être faite sur des personnes réelles.

Variables et nettoyage

La colonne name ressemble à Rental unit in Bordeaux · ★New · 2 bedrooms · 1 bath. Cinq colonnes sont extraites par expressions régulières :

  • note : la note, avec New transformé en −1 ;
  • number_of_bedrooms / number_of_beds / number_of_baths : Studio compte pour une chambre et Half-bath pour 0,5 salle de bain ;
  • type_of_baths : privée ou partagée.

Nettoyage : les reviews_per_month manquants deviennent 0 ; les lignes sans price, note ou sans les trois variables de capacité sont supprimées ; prix et compteurs étant très asymétriques, ils sont transformés en log10, y compris la cible.

L’EDA comprend histogrammes et boîtes à moustaches, cartes Folium colorées par district et type de logement, une matrice de corrélation, et une ANOVA à un facteur avec comparaisons deux à deux pour tester l’effet du district sur le prix (segment bas prix, p ≪ 0,05).

Modélisation

Deux pipelines de prétraitement, chacun entraîné sur les deux segments avec quatre modèles :

Modèle 1Modèle 2
Variables numériquestransformation log10discrétisation par quantiles qcut (2–3 niveaux)
Variables catégoriellesone-hot (drop_first=True)one-hot (drop_first=True)
Nombre de variables8857
Modèlesrégression linéaire, forêt aléatoire (max_depth=8, 100 arbres), Ridge, Lassoidem
RéglageGridSearchCV sur alphaidem
ValidationKFold (8/10) + découpage 70/30idem

Les métriques sont calculées dans l’espace log10(price) : RMSE = 0,09 correspond à une erreur relative d’environ 10^0,09 − 1 ≈ 23 %.

Résultats

  • Forêt aléatoire + Modèle 1 gagne sur les deux segments : R² = 0,52 en bas prix et 0,55 en haut prix sur le test ;
  • les modèles linéaires plafonnent autour de 0,4 (0,41 et 0,46), ce qui indique des relations non linéaires et de nombreux facteurs non observés (décoration, vue, saisonnalité, événements) ;
  • le pipeline discrétisé (Modèle 2) est systématiquement moins bon : découper des variables continues en catégories jette de l’information ;
  • les trois variables de capacité extraites du titre sont essentielles : sans elles, certains modèles passent sous R² = 0,1 ;
  • la forêt aléatoire sur-apprend : R² = 0,68 sur l’entraînement bas prix contre 0,52 sur le test.

Limites

Échantillon réduit (4 259 annonces, dont 1 629 en haut prix), snapshot unique sans saisonnalité, absence de surface, rénovation, vue ou transport, extraction regex fragile sur les titres non standard, métriques en log10 peu intuitives. Les pistes naturelles sont SHAP, XGBoost/LightGBM et une recherche d’hyperparamètres plus large.

Liens

Code, notebook, rapport, slides de soutenance et certificats DataCamp : https://github.com/yicongl1/Bordeaux-Airbnb

Notes techniques

01 Extraire des variables du titre d'une annonce : regex, valeurs manquantes et signal Chambres, lits, salles de bain et note cachés dans la colonne name, les cas Studio et Half-bath, et ce qui se passe quand ces variables disparaissent. 02 Modélisation par segments de prix : quatre modèles, deux pipelines et métriques log10 La coupure à 100 €, 88 contre 57 variables, pourquoi la forêt aléatoire gagne, et comment lire un RMSE en log10.

Certificats de cours

Introduction to Python · 4 h · 13 mars 2024 · ID 32 952 285
Introduction to Python · 4 h · 13 mars 2024 · ID 32 952 285
Intermediate Python · 4 h · 18 mars 2024 · ID 33 304 822
Intermediate Python · 4 h · 18 mars 2024 · ID 33 304 822
Data Manipulation with pandas · 4 h · 24 mars 2024 · ID 33 370 844
Data Manipulation with pandas · 4 h · 24 mars 2024 · ID 33 370 844
Cleaning Data in Python · 4 h · 1er avril 2024 · ID 33 528 954
Cleaning Data in Python · 4 h · 1er avril 2024 · ID 33 528 954
Exploratory Data Analysis in Python · 4 h · 7 avril 2024 · ID 33 628 107
Exploratory Data Analysis in Python · 4 h · 7 avril 2024 · ID 33 628 107
Supervised Learning with scikit-learn · 4 h · 13 avril 2024 · ID 33 707 517
Supervised Learning with scikit-learn · 4 h · 13 avril 2024 · ID 33 707 517
Unsupervised Learning in Python · 4 h · 6 mai 2024 · ID 34 012 519
Unsupervised Learning in Python · 4 h · 6 mai 2024 · ID 34 012 519

Compétences associées

  • Python
  • Git