Model şeffaflığı
Ne kadar isabetli olduğumuzu gizlemiyoruz. Aşağıdaki sayılar canlı veritabanından üretiliyor ve her gün tazeleniyor.
Biz / piyasa / fark
Ölçü log-loss — düşük olan iyi. Referans, bahis piyasasının kapanış oranlarından marj çıkarılarak (Shin) elde edilen olasılıklar. Piyasa kapanışı bu alanda bilinen en zorlu kıyas noktasıdır.
| Lig | maç | biz | piyasa | fark |
|---|---|---|---|---|
| La Liga | 1140 | 0,9683 | 0,9530 | +0,0153 |
| Premier League | 1140 | 0,9755 | 0,9599 | +0,0156 |
| Ligue 1 | 918 | 0,9981 | 0,9820 | +0,0161 |
| Serie A | 1140 | 0,9825 | 0,9636 | +0,0189 |
| Primeira Liga | 918 | 0,9310 | 0,9079 | +0,0231 |
| Eredivisie | 918 | 0,9605 | 0,9362 | +0,0243 |
| Bundesliga | 918 | 0,9881 | 0,9606 | +0,0275 |
| Süper Lig | 1028 | 0,9832 | 0,9384 | +0,0449 |
Her satırda fark pozitif: piyasa bizden daha isabetli. Bu tabloyu yayımlamamızın sebebi tam da bu — bir araç kendi sınırını göstermiyorsa, gösterdiği hiçbir sayıya güvenilmez.
Bu sayılar nasıl üretildi
- Walk-forward. Her tahmin, yalnızca o maçtan önce bilinen veriyle eğitilmiş modelden. Gelecek maçlara sıfır ağırlık veriliyor, yani sızıntı kod seviyesinde imkânsız.
- Sonradan düzeltme yok. Yayımlanan tahmin, maç oynandıktan sonra değiştirilmiyor.
- Kalibrasyon kanıt ister. Post-hoc kalibrasyon ölçüldü ve işe yaramadığı görüldü; bu yüzden devrede değil.