Cadre
Une probabilité n’a de sens que si elle est fiable. Cet article explique comment vérifier qu’un “60 %” correspond réellement à une fréquence observée proche de 60 %, et pourquoi c’est central dans toute analyse sérieuse.
Précision ≠ calibration
La précision mesure le nombre de prédictions correctes. La calibration mesure l’honnêteté statistique des probabilités. On peut être précis mais mal calibré, ou inversement.
- Bien calibré : 70 % annoncés → ~70 % observés
- Sur-confiant : 70 % → ~63 % observés
- Sous-confiant : 70 % → ~76 % observés
Les métriques de fiabilité
Brier score
Le Brier score mesure l’erreur quadratique entre probabilité et issue réelle. Il pénalise fortement les certitudes injustifiées.
LogLoss
La LogLoss est particulièrement sensible aux erreurs très confiantes. Elle est utile pour détecter les zones de sur-confiance.
Courbe de fiabilité
Les probabilités sont regroupées par tranches, puis comparées aux fréquences observées. La diagonale représente la calibration parfaite.
Pourquoi la calibration doit être suivie dans le temps
Les ligues évoluent, les styles changent, les arbitrages aussi. Sans recalibration régulière, un modèle peut rester “bon” tout en devenant progressivement trompeur.
Cette logique est détaillée dans le journal d’algorithme .
Comment lire correctement une probabilité
- une probabilité est une fréquence attendue, pas une promesse
- la calibration compte plus que la valeur brute
- les seuils sont toujours un compromis volume / stabilité
Conclusion
Une probabilité n’est utile que si elle est fiable. La calibration transforme un pourcentage en information exploitable, en rendant l’incertitude lisible plutôt que trompeuse.