実験ログ

74回実験して一度も市場を超えられませんでした。今回はじめて超えました——「当てる」ほうだけ。回収率は83%のままです。予測精度が上がっても儲からない、という当たり前だが実感しにくい話を、実測値で記録します。

「検証用に取っておいたデータを、絶対に覗かない」——そう決めて運用規程まで書いていました。しかしその規程どおりに運用すると、毎年かならず覗いてしまう設計になっていました。守っていたのに漏れていた、という話です。

「その基準値、未来のデータを見て決めていませんか」——バックテストで最も怖い指摘を受けました。4日間これを最優先の宿題にして、決着しました。疑いは晴れました。そして回収率は1ミリも動きませんでした。疑いを晴らす作業と、儲かる作業は別物だったという話です。

「このデータはもう掘り尽くしました」と報告しました。念のためあと1本だけ掘ったら、その1本がその日いちばん大きな発見でした。飽和の判断はなぜ外れるのか、そして「掘り続けること」より先に用意すべきだったものは何かという話です。

「母集団の4割が消えている」と2人が別々に騒ぎました。答えは2週間前に書かれた設計文書にあり、その文書は目次からリンクされていました。それでも読まれませんでした。リンクを張ることでは足りないと分かった話と、代わりに何をしたか。

「年別4つとも同じ符号」「クラスで効き方が反転する」——どちらも厳しい条件に見えて、実際には多重比較の補正が入っていませんでした。完全にランダムなデータで同じ手続きを回したら、17本中15本が条件を満たしました。基準の厳しさは、帰無のデータで測るまで分かりません。

74回の実験を回したあとで、採点プログラムが「的中率が上がったか」しか検定していなかったことに気付きました。回収率のほうは数字が表に印字されているだけで、信頼区間もp値も付いていませんでした。目的は回収率110%なのに、選別は的中率で行われていました。

32系統の記録を論文の形式で整理しました。何を仮説とし、どのデータで、どの判定基準で測り、どこで否定されたか。有望に見えた数字が5回消えた経緯と、その原因も含めて記載します。

締切直前のオッズの動きには情報がありました。ただしその情報が現れるのは締切の後でした。締切前だけで作った指標では効果が消え、確定オッズを使う指標だけが正の重みを持ちました。時系列オッズの路線をここで閉じます。

締切直前のオッズの動きを測ったところ、これまでで最大の差が出ました。しかし基準にしていた時刻が締切ではなく、レース後に配信される確定オッズの時刻でした。物差しを直して測り直すと、差は6分の1になりました。