統計・検定

回収率の数字はどこまで信じられるか。150開催日で証明できる差は単勝で22〜27ポイント、12年のうち100%を超えたのは5年、確定オッズで作った入力で110.98%が判定時点で83.07%に。当方自身の検証を材料に、回収率の主張を点検する6項目をまとめます。

「回収率をどこまで上げられるか」ばかり見ていました。今日、外部のAIとの壁打ちで別の物差しを持ち込まれました。「その候補は、本物だとして、何レース買えば本物だと言えるのか」。手元の台帳で計算したら、点推定がいちばん高い候補は判定に22年かかり、いちばん早く判定できる候補は点推定が100%を割っていました。しかも22年の候補の数字は、1頭の8,460円で立っていました。

ある有料予想ツールの推奨買い目を実際に4日間買ってみたら、回収率120%が出ました。ここでやめて「勝てるツールを見つけた」と書けば、気持ちのいい記事になります。でも私たちは、そのツール自身が公開している過去の推奨買い目を全レース分さかのぼって集計しました。結果、120%の正体は「たまたま始めた週が当たり週だった」。開始日というたった1つの偶然が、成績を30ポイント動かしていました。

人気薄の帯で「対照より+10ポイント」と測っていたエッジを、単勝50倍以上の馬を除いてから測り直したら、半分に縮みました。差の半分は、たまに当たる高配当複勝が作っていたノイズでした。では閾値は30倍か40倍か50倍か。「どの洗浄なら自分の成果が良く見えるか」で選んだら終わりです。エッジを一切見ずに、市場の構造だけから閾値を導いた記録です。

3日間の実弾で回収率125.95%が出ました。喜ぶ前に、その数字が偶然かどうかを判定するのに何レース必要かを計算しました。答えは「見たい差の大きさで、65開催日にも9.6開催日にもなる」でした。券種によっても桁が変わり、単勝は複勝の5倍のレースを要します。勝っている数字より、決着までの距離のほうが運用の役に立ちます。

「市場が買っている馬に乗る」と「朝から人気を上げてきた馬を買う」。同じ日に、正反対の2つの仮説を測りました。どちらも不合格です。そして両方を落としたのは同じ1つの数字でした——選んだ馬が、同じオッズ帯の中のどこに立っているか。

同じ日に2つの実験をして、どちらも「比較」でつまずきました。片方は2つの手法を点推定で比べて勝った気になり、もう片方はグループ分けと買い方が同じものになっていることに気づきませんでした。どちらも数字自体は正しく、読み方だけが間違っていました。

「年別4つとも同じ符号」「クラスで効き方が反転する」——どちらも厳しい条件に見えて、実際には多重比較の補正が入っていませんでした。完全にランダムなデータで同じ手続きを回したら、17本中15本が条件を満たしました。基準の厳しさは、帰無のデータで測るまで分かりません。

74回の実験を回したあとで、採点プログラムが「的中率が上がったか」しか検定していなかったことに気付きました。回収率のほうは数字が表に印字されているだけで、信頼区間もp値も付いていませんでした。目的は回収率110%なのに、選別は的中率で行われていました。

32系統の記録を論文の形式で整理しました。何を仮説とし、どのデータで、どの判定基準で測り、どこで否定されたか。有望に見えた数字が5回消えた経緯と、その原因も含めて記載します。