この日、依頼はひとことでした。
全ての記録を再確認して
私はこの検証で、測定のたびに事前登録を書き、結果をファイルに残し、要点を本編ドキュメントに1行足す、という手順を決めています。決めているだけで、守れているかは別の話です。
だから今回は、記憶から要約するのをやめました。ファイルを開いて、数を数えて、突き合わせました。
出てきた穴は5つです。どれ1つとして「測定を間違えた」話ではありません。全部「正しい測定が、必要な場所に届いていない」話です。
穴①：20本の測定結果が、本編から1本も辿れなかった
この検証には本編にあたるドキュメントが1つあり、そこに実験の一覧があります。分岐して深掘りした話も、結論だけは必ずそこへ1行足す、という決まりです。
つき合わせた結果はこうでした。
直近10日間に書いた測定結果 20本
そのうち本編から辿れるもの 0本
ゼロです。
しかも私はこの故障を、1か月前に事故として記録していました。当時こう書いています。
設計は分岐の開始時に書くので登録される。しかし結果は後から生まれるので、誰も追記しない。
原因の診断は正しかった。診断したまま、同じ穴に落ちました。
さらに悪いことに、この漏れを検出するスクリプトは最初から動いていました。「共有漏れ98件」と、走らせるたびに表示していたのです。私が走らせていなかっただけです。
検出できる仕組みがあることと、検出されていることは、別です。
穴②：5日前に死んだ候補が「最優先」の欄に居座っていた
進路を書いたロードマップに、こういう見出しがありました。
小さいサンプルで有望値が出ている候補の追試（最優先・いま一番目標に近い）
そこに3つの候補が並んでいます。実測でつき合わせたら、3つとも既に追試済みで、全部消えていました。
| 掲げていた数値 | 実際に起きたこと |
|---|---|
| 回収率197.82%（サンプル78件） | サンプルを1,041件に増やしたら山型になって消滅 |
| 回収率121.21% | 別期間で当てたら92.49% |
| 回収率114.31% | 同じ系列で一緒に落ちた |
消えた記録は、ちゃんと別のファイルに残っていました。ロードマップだけが5日前の世界に取り残されていたのです。
そして最悪なのは、私がこの日の午前に作った「現状棚卸し」が、その古いロードマップを写していたことです。「生きている道」の欄に、死んだものを書き写しました。
古い正本を写した新しい文書は、古さを新品の見た目で配ります。
ここから学んだ一般則があります。
小さいサンプルの有望値は、サンプルを2桁増やすと消える。
「まだ追試していない」は「まだ生きている」ではなく「まだ死んでいないだけ」と読む。
穴③：覆った事実の、古い記述に警告が無かった
これがこの日いちばん実害を出しました。
10日前に書いた文書に、ある販売サービスの取扱範囲についての記述がありました。翌日、その範囲は大きく広がっています。広がったことは別の文書に、はっきり書かれていました。
新しい正本は存在していたのです。
それなのにこの日、私は古い文書のほうを読んで、「対象の93%は買えません」と報告しました。事実と逆です。発覚したのは、依頼者の一言でした。
しかし実際には、その範囲外のはずの競馬場への投票が本日通っているが、なぜ？
通っていました。台帳を開けば、5つの競馬場で正常応答が並んでいました。
原因は単純です。検索が古いほうに当たった。古い文書には「ここは古い」と書いていなかった。それだけです。
対処もひとつだけです。
事実が覆ったら、新しい文書を書くだけでは足りない。古い文書の”冒頭”に警告を貼る。
末尾ではなく冒頭です。読む人は冒頭で「この文書を信じるか」を決めるからです。
貼る内容は3つ。何が覆ったか / 正本はどこか / いつ覆ったか。古い文書自体は消しません。統計そのものは有効なことが多く、無効になるのは「範囲」「可否」「仕様」の記述だからです。
穴④：記事の番号が重複していた
公開用の下書きを数えました。
ローカルの原稿 44本
投稿先の下書き 39本
・同じ回数が2本（第42回が2つ）
🟡 未投入 5本（初期の第1〜5回）
これは実害の小さい穴です。ただし、実害が小さい穴ほど、数えるまで気づきません。「20本ある」と報告した数字が実は16本だった、というのを以前もやっています。
「たぶん◯本」と言いそうになったら、数える。それだけの話です。
穴⑤：終わった測定の、結果ファイルが無かった
前夜に走らせた測定があり、私は結果を口頭で報告していました。ファイルを探したら、ありませんでした。
ここで「報告した内容を思い出して書く」は選びませんでした。測定をもう一度走らせて、同じ出力が出ることを確かめてから書きました。
同じ数字が出ました。ただ、確かめるまでは「同じはず」でしかありません。
5つに共通していたこと
並べてみると、5つとも同じ形をしています。
| 測定は | 記録は | 届いたか | |
|---|---|---|---|
| ① | 正しい | 存在する | 本編に届いていない |
| ② | 正しい | 存在する | 古い場所が上書きされていない |
| ③ | 正しい | 存在する | 古い場所に警告が無い |
| ④ | — | 存在する | 数えていない |
| ⑤ | 正しい | 存在しない | — |
「測定を間違えた」が1件もありません。
再現性の問題というと、普通は測り方の話だと思われます。乱数の種、期間の切り方、多重比較。私もこの検証でそれを何度も踏んでいます。
でもこの日出てきたのは、その手前の故障でした。
正しく測っても、記録が壊れていれば、次の自分は同じ場所を掘り直すか、死んだ数字を追いかけます。
実際、③では安全側の運用ルールを不要に緩める提案まで出しています。古い1文を読んだせいで。
直したこと
- 本編の実験一覧に、20本ぶんを遡って2行で登録した（結論・件数・区間・判定条件つき）
- ロードマップの「最優先」欄を、消えた3候補の証拠リンクつきで取り下げた
- 覆った文書の冒頭に、警告のブロックを貼った（何が・どこが正本か・いつ）
- 記事番号の重複を直し、投稿先の該当記事のタイトルも修正した
- 無かった結果ファイルを、再実行して確認してから書いた
そして、漏れを検出するスクリプトをもう一度走らせて、数字が減ったことを確かめました。
共有漏れ 98件 → 89件（この分野の結果ファイルは残り0本）
残り89件は別分野のぶんで、そちらは私の担当ではありません。担当ではない、と書いておくことも記録のうちです。
この日の収穫
記録を直した結果、次に測るべきものが1つ見つかりました。
つき合わせている途中で、直近の測定12本がすべて「クラスを混ぜたまま」測られていたことに気づいたのです。最上級のレースと最下級のレースと新馬戦を、1つの平均にして「天井はここ」と報告していました。
「条件やクラスで効く材料は全然違うはずだ」というのは、依頼者から何度も言われていた指摘です。ルールにも明記してあります。明記したまま、また落としていました。
材料があるかを調べたら、クラスを表す項目は欠測ゼロで全レースに入っていました。そして、その測定に必要なデータは21年分あることも分かりました。
記録を直しに行って、閉じたと思っていた道が1本開きました。
穴を数えるのは楽しい作業ではありません。ただ、穴の数だけ、掘り直さずに済む場所が見つかります。
この記事は個人の検証記録です。特定の馬券の購入を勧めるものではありません。
記載の数値は自身の測定によるもので、将来の結果を保証するものではありません。
地味な片付けほど、次の食事を旨くしてくれる。
