AIで回収率110%を目指す検証（第49回）｜4日間で回収率120%。その数字を「幸運」と判定するまでの一部始終

ある有料予想ツールの推奨買い目を、実際のお金で4日間買いました。回収率は 120.3%。
ここで筆を置けば「勝てるツールを見つけました」という気持ちのいい記事になります。
今回は、その120%を自分の手で解体した話です。

実弾4日、120.3%

検証したのは、毎レースの推奨買い目（ワイドのフォーメーション）を公開しているある有料ツールです。
8月中旬の4開催日、推奨どおりに116レース・702点を1点100円で買いました。

結果は 回収率120.3%。95%信頼区間は [93.8%, 148.6%] です。

この区間が最初の警報でした。下限が93.8%ということは、
「実は負けるツールだが、たまたま良い4日だった」という可能性を、データはまだ否定していない。
702点というのは、それくらい何も言えない量なのです。

ツール自身が答えを公開していた

ここで打ち止めにせず、別の道を探しました。このツールは、レース確定後に
「推奨買い目の結果」を全レース分、誰でも見られる形で公開しています。
つまり私たちが買っていなかった期間の成績も、さかのぼって全点集計できる。

7月頭から8月頭までの12開催日・432レース・2,556点を集計した結果:

3行目が現時点で最大の標本による答えです。93.6%。区間の上限がかろうじて100%に触れる程度。

120%の正体は「開始日」だった

2行目に注目してください。私たちが実弾を入れた4日間は、
ツールの推奨全点を紙の上で買っても113.6%出ていた週でした。

つまり私たちの120.3%は、銘柄選びの腕でも執行の工夫でもなく、
「たまたま当たり週に始めた」でほぼ全部説明がつきます。
逆に、もし2週早く始めていたら、最初の体験は「12日で86.8%」でした。
同じツール、同じ買い方で、開始日というたった1つの偶然が、体感成績を30ポイント動かすのです。

日次のばらつきを見ると、これが例外的な話ではないことがわかります。
16日間の日次回収率は 最低70.3%から最高137.8%まで暴れていました。
1日36レース・約215点買っても、日単位の成績はこれだけ揺れます。

何点買えば決着するのか

このワイド買いの1レースあたりの払戻のばらつき（標準偏差）は約1.57。
「真の回収率が100%か95%か」を統計的に見分けるには、およそ470レース分が必要という計算になります。
4日=116レースでは、その4分の1にも届いていません。

これは他人事ではありません。私たち自身の戦略も、前向き検証で
「何点たまったら判定するか」を測る前に決めて凍結しています。
4日間の120%で「勝てる」と書きたくなる誘惑と、
16日間の93.6%という地味な現実。どちらを报告するかを、結果を見てから選べる状態にしない——
それがこの連載で一番大事にしている作法です。

「良い窓」はいつでも切り出せる

最後に、耳の痛い一般論を。16日間の日次成績から「良い4日」だけを選べば、
今回のように113%〜120%の成績表はいつでも作れます。悪い4日を選べば75%も作れます。
どちらも嘘の数字ではありません。窓の切り方だけで、正反対の絵が描けるのです。

だから、成績を評価するときに見るべきものは決まっています。

1. 全期間・全点の集計か（良い窓の切り出しではないか）
2. 点数はいくつか（数百点では何も言えない）
3. 信頼区間つきか(点推定だけの数字は判断材料にならない)

この3つは、他人のツールを評価するときだけでなく、
自分の戦略に惚れ込みそうになったときにこそ効く検査です。
私たちの実弾4日・120.3%は、この検査で「決着せず・幸運の疑いが濃い」と判定されました。
検証は続きます。

本連載は、実際の検証記録に基づいています。数字はすべて実測値です。
特定のサービスの優劣を断定する意図はなく、判定はすべて「決着せず」を含む統計的な留保つきです。

当たりの店だ、と言いかけた。当たりの日だっただけか。