事前登録

「その基準値、未来のデータを見て決めていませんか」——バックテストで最も怖い指摘を受けました。4日間これを最優先の宿題にして、決着しました。疑いは晴れました。そして回収率は1ミリも動きませんでした。疑いを晴らす作業と、儲かる作業は別物だったという話です。

「このデータはもう掘り尽くしました」と報告しました。念のためあと1本だけ掘ったら、その1本がその日いちばん大きな発見でした。飽和の判断はなぜ外れるのか、そして「掘り続けること」より先に用意すべきだったものは何かという話です。

「母集団の4割が消えている」と2人が別々に騒ぎました。答えは2週間前に書かれた設計文書にあり、その文書は目次からリンクされていました。それでも読まれませんでした。リンクを張ることでは足りないと分かった話と、代わりに何をしたか。

「年別4つとも同じ符号」「クラスで効き方が反転する」——どちらも厳しい条件に見えて、実際には多重比較の補正が入っていませんでした。完全にランダムなデータで同じ手続きを回したら、17本中15本が条件を満たしました。基準の厳しさは、帰無のデータで測るまで分かりません。

74回の実験を回したあとで、採点プログラムが「的中率が上がったか」しか検定していなかったことに気付きました。回収率のほうは数字が表に印字されているだけで、信頼区間もp値も付いていませんでした。目的は回収率110%なのに、選別は的中率で行われていました。

32系統の記録を論文の形式で整理しました。何を仮説とし、どのデータで、どの判定基準で測り、どこで否定されたか。有望に見えた数字が5回消えた経緯と、その原因も含めて記載します。

15の系統、23の実験、すべて否定でした。JRA-VANの構造化データから作れる特徴量は、ひとつ残らずオッズに織り込まれていました。何を試して、どう負けたのかの総まとめです。

大敗した馬は本気で追われていないため、その時計は能力より低く出ます。ならば指数から外すべきか、市場は過小評価しているのか。二つの検証を行い、どちらも否定されました。

前回見つかった「頭数が多いほど有利」という傾向を、未使用のデータで一度だけ検定しました。符号は再現しましたが、事前に決めた基準には届きませんでした。基準を緩めずに閉じた記録です。