AIでJRAの回収率110%を目指す検証(第8回)|有望に見えた数字は、欠損値の産物だった

有望に見えた数字は、欠損値の産物だった 実験ログ

前回、市場に上積みするには「群衆が見ていない情報」が必要だと分かりました。そこで今回は、多くの人が定性的にしか語らない「展開の有利不利」を数値化します。一度は明確な信号が出ましたが、原因はデータの欠損値でした。修正すると信号は完全に消えています。

今回の仮説

競馬中継や新聞では「展開が向かなかった」という言い方をよく聞きます。前が速すぎて先行馬が潰れた、あるいは前が遅すぎて後方の馬が届かなかった、という説明です。

これは多くの人が定性的に語ります。しかし、それを数値にして過去の成績を補正している人は多くありません。もしそこに情報が残っているなら、市場が見落としている領域になりえます。

具体的な仮説はこうです。

不利な展開で好走した馬は、着順も指数も実力より低く出る。市場がその馬を「前走がダメだった馬」として評価するなら、実力より安く買えるはずである。

展開の数値化

二つの量を定義しました。

ペースは、レース前半3ハロンと後半3ハロンのタイム差で表します。前半のほうが速ければ、いわゆるハイペースです。距離帯と芝ダートごとに標準化しました。

位置取りは、4コーナー通過順を出走頭数で割った値です。0に近いほど前、1に近いほど後方になります。

この二つを掛け合わせて展開不利度とします。ハイペースで前にいた馬、スローペースで後方にいた馬は、いずれも不利だったと判定されます。

なお、補正の量を人間が決めるのは避けました。「不利な展開で好走した馬を何点上乗せするか」を恣意的に決めると、結論を都合よく作れてしまいます。数値は特徴量として渡し、重みはモデルに学習させています。

最初の結果:有望に見えた

前走の指数を三層に分け、その中で展開不利度別に今回の複勝率を見ました。

前走の指数 有利だった 中間 不利だった
指数低 9.5% 9.7% 7.3%
指数中 14.6% 18.0% 16.4%
指数高 14.6% 23.6% 25.6%

指数が高い層で、14.6%から25.6%へと大きく上昇しています。 仮説どおりの方向です。「前走で指数は高かったが展開が向かなかった馬」が、次走で明確に好成績を残している、という読み方ができます。

ここで結論を出していれば、見栄えのする記事が書けました。

検算で見つけたもの

数値を確認する過程で、前半3ハロンと後半3ハロンの分布に不自然な点が見つかりました。下位5%の値が0.0秒だったのです。

0秒で3ハロンを走る馬はいません。これは「記録なし」を意味する値でした。障害競走や、コーナーのない直線コースなど、3ハロンの区分タイムが記録されないレースで発生します。

問題は、この0を有効な値として計算していたことです。

ペース = 前半3F − 後半3F = 0 − 35 = −35秒

前半が極端に速かったという計算になり、これらのレースがすべて「ハイペース」に分類されていました。

4コーナー通過順にも同じ問題がありました。直線コースなど4コーナーが存在しないレースでは0が入ります。位置取りは0÷頭数となり、すべて「先頭にいた馬」として扱われていました。

有効範囲で絞り込んだ結果、全レースの32.7%が不正なデータでした。

修正の効果は、単純な指標にも表れます。前半と後半のタイム差の中央値は、修正前が0.00秒、修正後は−1.10秒でした。競走馬は後半で減速しますから、前半のほうが約1秒速いという後者が実態と一致します。

修正後:仮説は否定された

同じ表を、修正後のデータで作り直しました。

前走の指数 有利だった 中間 不利だった
指数低 11.8% 11.6% 10.5%
指数中 22.0% 22.3% 22.0%
指数高 29.6% 28.5% 27.2%

すべての層で「不利だった」が最も低いか、ほぼ同じです。 仮説は支持されないどころか、わずかに逆向きでした。

先ほどの「14.6%から25.6%へ」という上昇は、完全に消えました。あれは32.7%の不正データが作り出した幻でした。

モデルに投入した際の結果も同じです。仮説の核となる二つの変数は、いずれも統計的に有意ではありませんでした。

特徴量 t値 判定
展開不利度 −1.32 有意でない
前走指数 × 不利度 1.30 有意でない

展開効果そのものは、半分だけ実在する

ただし、展開が結果に影響すること自体は確認できました。

ペース 前 中団 後方
ハイペース 36.1% 19.5% 6.5%
平均 36.7% 19.7% 6.9%
スロー 42.1% 20.3% 6.6%

スローペースでは前にいた馬が有利(42.1%)、ハイペースでは不利(36.1%) になります。理論どおりです。

一方で後方の馬はペースにまったく反応していません(6.5%、6.9%、6.6%)。「ハイペースなら差しが届く」という説明は、少なくともこのデータでは確認できませんでした。

なぜ仮説が成立しなかったのか

考えられる理由は、位置取りが偶然ではないことです。

後方から競馬をする馬は、たまたま不運だったのではなく、その馬の脚質と能力の結果としてそこにいます。前走の指数で層を揃えても、脚質の差までは揃いません。したがって「展開が不利だった馬」の集団には、そもそも後方からしか競馬ができない馬が多く含まれます。

もう一つの可能性は、展開は既に織り込まれていることです。日本の競馬では展開の議論が非常に盛んで、専門紙も予想家も日常的に触れます。定性的であっても多くの人が同じ判断をしていれば、その分は既にオッズに反映されます。

勝てる場所を探す

もう一つ検証しました。「全レースで市場に勝つ必要はない」という考え方です。

モデルが市場に足す上積みの大きさを、これまでは全レースの平均で見ていました。しかし特定のレース群でだけ機能している可能性があります。芝とダート、距離帯、頭数、クラス、競馬場で分けて測りました。

事前に判定基準を決めました。係数が正、かつ統計的に有意、かつ5,000件以上の三条件をすべて満たす区分のみを候補とします。25区分ほどを同時に見るため、点推定だけでは偶然良く見えるものが必ず出るからです。

該当した区分は、ひとつもありませんでした。

ただし、一つだけ意味のある傾向があります。

頭数 モデルの上積み
〜10頭 −0.150
11〜14頭 −0.059
15頭〜 +0.047

頭数が増えるほど改善し、多頭数でのみプラスに転じます。 芝(−0.097)よりダート(−0.012)が良いのも同じ方向です。

機構としては理解できます。多頭数では検討すべき馬が増え、買い手の注意が分散します。系統的に全馬を評価するモデルの相対的な優位は、そこで出やすくなります。

追いかけなかった理由

この傾向は魅力的に見えます。「多頭数のダート戦だけを買う」という条件を作れば、数字はさらに良くなるでしょう。

しかし、それはやりません。

多頭数の傾向は、25区分を見た後で気づいたものです。事前に立てた仮説ではありません。ここからさらに条件を掛け合わせれば、必ず見栄えのする数字が出ます。そして、それが本物である保証はどこにもありません。

このシリーズでは、有望に見えた数字が消える経験を三度しています。

回 見かけ 正しく測ると
第2回 回収率98.2%(107件) 74.5%(1,788件)
第7回 モデルの上積み +0.371 +0.042
今回 指数高で14.6%→25.6% 消滅(欠損値が原因)

いずれも、事前に判定の基準を決めていたから止まれました。基準を後から緩めるのであれば、最初から基準を設ける意味がありません。

多頭数の傾向を検証するとすれば、「15頭以上でモデルの上積みが正である」という単一の仮説を立て、まだ使っていないデータで一度だけ検定するという形になります。条件の掛け合わせを繰り返すことではありません。

まとめ

項目 結果
展開の数値化 実装できた
データ品質 32.7%のレースに欠損値が混入していた
仮説(不利な展開=過小評価) 否定(修正後は逆向き)
展開効果そのもの 前にいる馬には影響する。後方には影響しない
セグメント別の上積み 候補ゼロ
唯一の傾向 頭数が多いほど改善(ただし有意ではない)

今回いちばんの収穫は、検算をしたことだと考えています。分布を確認しなければ、32.7%の不正データに気づかないまま「展開補正には情報がある」という誤った結論を発表していました。

数値が仮説どおりに出たときこそ、疑う必要があります。


本記事はAIが下書きを生成し、人間が公開可否を判断しています。掲載した数値はすべて実データによる分析結果であり、恣意的な抽出は行っていません。本記事は情報提供を目的としたものであり、馬券の購入を勧誘するものではありません。

旨すぎるときほど、まず皿の裏を確かめることだ。

この後の実験は、地方競馬に舞台を移しています。

地方競馬の市場について測った事実は連載「地方競馬の解体新書」に、当方の価格モデルによる買い目の配信(準備中)は先行案内のページにまとめています。