AIでJRAの回収率110%を目指す検証(第12回・総括)|23の実験で分かった、市場の壁の正体

23の実験で分かった、市場の壁の正体 実験ログ

目標は回収率110%でした。15の系統、23の実験を行い、すべて否定されています。実際に賭けた金額は0円です。何を試し、どう負けたのかをまとめます。

結論

JRA-VAN Data Labの構造化データから作れる特徴量には、市場を上回る情報が残っていませんでした。

この言い方は意図的に限定しています。「競馬で勝てない」でも「公開情報はすべて織り込まれている」でもありません。検証したのは、レース結果、確定オッズ、払戻、調教時計、馬体重、騎手・厩舎、血統コード、走破時計、上がり3ハロン、通過順といった数値として提供されるデータから作った特徴量です。その範囲では、市場に勝てるものが見つかりませんでした。

到達した最良の数字は98.2%です。単勝1.3倍以下の1番人気の複勝、334レース、95%信頼区間は95.4〜101.1%。信頼区間の下限が100%を超えた条件は、ひとつもありませんでした。

15の系統

# 試したこと 結果
① 複勝の市場内アービトラージ(Dr Z法) 控除率の壁
② ワイドの市場内アービトラージ 77〜78%で平坦
③ 時系列オッズ(直前の資金移動) 相関はあるが不足(98.2%→74.5%)
④ 条件別適性・騎手厩舎・調子 上積み +0.042
⑤ 調教データ1,183万本 +0.046(基準+0.15に届かず)
⑥ レース選別(荒れ具合の予測) 交絡除去で消滅
⑦ 群衆の質(レース番号・天候・G1) 避ける場所は分かるが100%を作らない
⑧ 極端な断然人気 98%の構造的な天井
⑨ 文献どおりのPlackett-Luceモデル 上積み −0.046
⑩ ペース分析・セグメント別 −0.057、候補ゼロ
⑪ 多頭数レース(事前登録・1回限り) z=1.409、棄却
⑫ 追っていない時計の除去 AUC 0.5502→0.4842、逆に悪化
⑬ 追っていない前走の市場過小評価 的中率差2.5ptは価格に織り込み済み
⑭ 断然人気を軸にしたワイド 18通り全滅、最良93.6%
⑮ ワイドの相手を自作指数で選ぶ 人気で選ぶのと互角

壁は三重だった

負け方を整理すると、性質の違う三つの壁がありました。

壁1:控除率

JRAの払戻率は、複勝と単勝で80%、ワイド・馬連・馬単で77.5%、3連複で75%、3連単で72.5%です。何も考えずに買えば、平均して2割が消えます。

これは前提であって、驚くことではありません。問題は、この2割を埋める方法が見つからなかったことです。

壁2:配当の床(複勝の98%天井)

最も惜しかったのが、断然人気の複勝でした。

単勝オッズ帯 複勝的中率 平均複勝配当 回収率
〜1.1倍 94.9% 1.03倍 97.3%
1.2〜1.3倍 93.4% 1.07倍 99.8%
1.5〜1.8倍 78.8% 1.11倍 87.5%

複勝には元返し1.0倍という配当の下限があります。人気を突き詰めるほど的中率は上がりますが、配当が1.03倍まで薄くなる。的中率の上限と配当の下限が、ちょうど100%の手前で釣り合っています。

偶然ではありません。年別に見ても100.0%、96.4%、98.4%、99.4%と安定していました。

床のないワイドなら越えられるのではないかと考え、18通りの買い方を検証しましたが、すべて複勝を下回りました。軸馬の複勝を1点買うことが、その馬を絡めたどのワイドよりも良い。 組み合わせ馬券は控除率が重く、そのうえ価格を出し抜けないもう1頭を足すことになるからです。

壁3:情報の壁(これが本丸)

最も重要な発見は、モデルの精度そのものではありませんでした。

文献どおりのモデルを実装したところ、我々のモデルはBenterのものより市場に近いことが分かりました。市場に対する劣位が11.7%で、Benterの論文の18%より小さい。にもかかわらず、市場に足したときの上積みがゼロでした。

理由は明快です。使っている情報が、騎手、斤量、近走成績、枠順、調教時計、血統といったすべて群衆も見ているものだからです。同じ情報から同じ結論を出すなら、市場の劣化版にしかなりません。

増分を出すには、精度を上げるのではなく、群衆が見ていない情報が要る。

この壁の具体的な姿が、最後の実験で見えました。

診断 値
自作指数と市場が、最上位に違う馬を置く割合 71.6%
指数で選んだ3頭と人気で選んだ3頭の重複率 53〜56%
両者の回収率の差 ±2.5pt以内(実質互角)

7割のレースで市場と意見が違い、半分は違う馬を買っているのに、返ってくる金額が同じ。 意見の相違そのものに、価値がありませんでした。

3度騙された記録

この検証で最も価値があったのは、実は否定結果そのものではなく、誤りを見つける手順だったと考えています。有望に見えた数字が消える経験を3度しました。

回 見かけ 正しく測ると 原因
第2回 回収率98.2%(107件) 74.5%(1,788件) 標本不足
第7回 上積み +0.371 +0.042 学習データ上の予測を使っていた
第8回 複勝率 14.6%→25.6% 消滅 32.7%のレースに欠損値が混入

いずれも、分析手法そのものより判定基準を結果の後に決めていたことが原因でした。そこで以下を運用として固定しました。

  1. 信頼区間を必ず併記し、下限が100%を超えるまでエッジと呼ばない
  2. モデルの上積みは out-of-fold で測る
  3. 交絡を除去する(オッズ層で層別し、同じ人気構成の対照と比較)
  4. 複数の区分を見るときは、事前に判定基準を固定する
  5. 否定結果の直後に条件をいじらない
  6. 分布を検算する(0や極端値が有効値として混入していないか)

最後の実験群では、これに二つ加わりました。

同一レース内の買い目は相関する。 軸馬を共有する複数の買い目を独立した試行として数えると、信頼区間が不当に狭くなります。模擬データで確認したところ、素の区間が±7.3ポイント、レース単位でまとめると±20.8ポイントでした。約3倍です。この処理をしなければ、4度目の誤検出になっていました。

点推定ではなく、構造の一貫性で読む。 表の中には単独で見れば期待させる数字がいくつもありました。しかし閾値を変えると再現しないものは、構造ではなくばらつきです。

何が残ったか

賭けた金額は0円です。エッジが確立していないため、ペーパー段階を維持しました。これは設計どおりです。

技術資産としては次が残りました。

  • スピード指数(複勝率で3.3倍の開きを作る)
  • Plackett-Luceモデル(文献の特徴量重要度を再現。枠順の t値は7.69、文献の7.51とほぼ一致)
  • discounted Harville変換のパラメータをJRAで推定:(λ, τ) ≈ (0.70〜0.71, 0.67〜0.68)。日本での公表例が見当たりません。ただし値はモデル仕様によって動き、標準誤差も算出していません。言えるのは「素の変換式(1.0, 1.0)から明確に乖離しており、Benterの (0.81, 0.65) と同方向・同水準」までです
  • 俗説検証の装置(20件登録、交絡除去つき)
  • 記事の自動投入パイプライン

自分の成果にも同じ基準を当てる

この総括をまとめる過程で、ひとつ誤りを見つけました。

この検証は全編で「信頼区間を必ず併記し、下限が基準を超えるまで主張しない」を作法にしてきました。ところが唯一の新規性がある成果、つまり変換パラメータの推定だけ、点推定を裸で出していました。 信頼区間もなく、モデル仕様を変えれば値が動くことにも触れていませんでした。

否定結果には厳しく、自分が誇りたい数字には甘い。 その非対称が発生していたわけです。

判定の作法は、都合の悪い数字だけでなく、自分の成果にも同じように適用されなければ意味がありません。 該当箇所は範囲表記に修正しました。

次に必要な情報の条件

続けるとすれば、条件は明確になりました。

「群衆が持っていない情報」ではなく、「公開されているが、処理コストが高くて誰も系統的に数値化していない情報」です。

なぜなら、この検証で最も筋の良かった仮説が否定された理由がそこにあるからです。「大敗した馬は本気で追われていないから時計が低く出る、だから市場は過小評価している」という仮説を検証しました。現象は確かに存在しました(10着以下は上がり3ハロンが自身の平常値より0.525秒遅く、6-9着との間に0.57秒の断層がある)。しかし市場はそれを既に織り込んでいました。

そこそこ手間のかかる情報でさえ価格に入っているなら、思いつく程度の「見落とされていそうな情報」は、まず織り込まれていると考えるべきです。

パドックの気配、調教の動き、厩舎の言葉。これらは公開されていますが、数値にはなっていません。もし壁を越える道があるとすれば、その方向だろうと考えています。

ただし、それが本当に価格に入っていないのかは、また測ってみないと分かりません。この検証が繰り返し教えてきたのは、市場は思っているより賢いということでした。


本記事はAIが下書きを生成し、人間が公開可否を判断しています。掲載した数値はすべて実データによる分析結果であり、恣意的な抽出は行っていません。本記事は情報提供を目的としたものであり、馬券の購入を勧誘するものではありません。

独りで静かに、全部外した。それでも、どこか救われている。

この後の実験は、地方競馬に舞台を移しています。

地方競馬の市場について測った事実は連載「地方競馬の解体新書」に、当方の価格モデルによる買い目の配信(準備中)は先行案内のページにまとめています。