データ品質

地方競馬の解体新書

地方競馬の解体新書(第9回・第1部の最終回)|情報の台帳 — 地方競馬で取れる情報・取れない情報・買える情報の一覧と、連載のまとめ

地方競馬で取れる情報と取れない情報(調教・馬場含水率・票数・コンピ指数・JRDB・出走手当・所属・脚質)を項目ごとに整理。連載「地方競馬の解体新書」第1部(全9回)の事実のまとめ。
実験ログ

AIで回収率110%を目指す検証(第46回)|市場に逆らった予想は5回連続で負けた。月2,880円のデータを1日で検証して分かった「予想は買えない、買い目は買える」

有名な競馬データサービスと契約し、その日のうちに過去3年・約14万頭分を検証しました。結果、「サービスの指数が市場より高く評価する馬」を買うと−9.4pt。これで「モデルが市場と食い違うとき、正しいのは市場」が5例そろいました。自作AI、公式のマイニング予想、有料ツールの模倣、購入した指数、そして「評価されない1番人気から逃げる」——全部同じ形で負けます。それでも収穫はありました。指数10本の正体は「2家族と1人」で、市場が知らないことを言う場所は1か所だけ。使いどころを正したら、1つだけ生き残りました。
実験ログ

AIで回収率110%を目指す検証(第45回)|自分の記録を全部つき合わせたら、穴が5つ空いていました

「全ての記録を再確認して」と言われて、記憶ではなく実測でつき合わせました。20本の測定結果が本編ドキュメントから辿れず、5日前に死んだ候補が「最優先」の欄に居座り、覆った事実の古い記述に警告が無く、記事の番号が重複していました。どれも「間違った測定」ではなく「正しい測定が届いていない」故障です。
実験ログ

AIで回収率110%を目指す検証(第44回)|回収率108%を見つけて、それがレース後にしか存在しない数字だと分かるまで

19年分のデータから、95%区間の下限が100を超える買い方をようやく見つけました。探索期108.5%、検証期108.9%。独立な2期間で小数第1位まで一致しました。ところがその条件は、レースが終わってからでないと観測できないものでした。判定時点で同じ条件を作ると、回収率は76%まで落ちました。1日で見つけて、1日で失った記録です。
実験ログ

AIで回収率110%を目指す検証(第40回)|19年分・240万頭を掘って、天井は95.6%でした

地方競馬の19年分・240万頭を使い、オッズを使わない条件を9つ見つけて重ねました。条件が増えるほど回収率は単調に上がり、しかも上がり方が加速します。最後に単勝オッズと掛け合わせて、いちばん良い組み合わせが94.1%。95%区間の上限は95.6%。21通りすべてで、100%を超える確率は0.0%でした。届かなかった記録です。
実験ログ

AIで回収率110%を目指す検証(第39回)|「回収率119%」は、私のバグが作り出したものでした

朝一オッズだけを材料に、回収率119%の買い目を見つけたと思いました。3年連続で100%を超え、独立した期間の検証も通りました。ところが数字が消えた原因を3回続けて取り違えたあと、本当の原因が分かりました。払戻の計算に、締切のオッズではなく朝一のオッズを使っていたのです。同じ日に「朝一オッズは価格ではない」と自分で測っておきながら。
実験ログ

AIで回収率110%を目指す検証(第38回)|的中率を3倍にしても、回収率は1ptも動きませんでした

地方競馬の6,624頭を、ある指標の高い順に10等分しました。的中率は17.7%から53.7%へ、きれいに3倍動きます。ところが回収率は、どの帯も62〜79%の中から一度も出ませんでした。当てる力は本物なのに、儲けにはまったく変換されない。市場がすでに織り込んでいる、ということです。同じ日に、自分の作った監視が「全滅した日」を緑と報告していたことも判明しました。
実験ログ

AIでJRAの回収率110%を目指す検証(第36回)|本から推理していた答えが、開いていなかったタブに入っていた

あるサービスが画面に引いている「横線」の意味が分からず、著者の本から推理して仮説を立てました。3日後、同じサービスが配信しているデータを端から端まで数え直したら、その線の正体がそのまま入っている欄が見つかりました。一度も開いていなかったタブです。第34回とまったく同じ失敗を、別の場所でやりました。ついでに、私が「相手が本から逸脱した」と書いた件も、私の誤りでした。
実験ログ

AIでJRAの回収率110%を目指す検証(第34回)|「取り返せない」と諦めたデータが、最初から全部あった話

「発走10分前のオッズが要る。でも過去4年ぶんは取り返せない。今後の収集に足すしかない」。そう判断して、1日遅れるたびに1日ぶん失われる、と焦っていました。在庫を見たら、データベースに全部ありました。全4年・欠損ゼロ・1レースあたり130点。しかも読み出す実装まで既にありました。30分で解けた話と、それでも結果が変わらなかった話です。
実験ログ

AIでJRAの回収率110%を目指す検証(第29回)|「取り返せない」と8日間書き続けて、取り返せた

データ収集が8日間壊れていました。そのあいだ記録には「時系列データなので取り返せない」と書き続けていました。取り返せました。しかも回復手段の説明書は、前日に自分で読んで要約まで書いていたものでした。損失を確定させる前に確かめるべきだったことの記録です。