【結論】競馬AIを不確実性込みで評価する
競馬AIは予想結果だけでなく、Data取得時点、Model、Feature、Calibration、不確実性を管理する必要があります。
Claude CodeにはPipelineとTestを作らせ、馬券購入や自動Betは分離します。
過去Dataへ過剰適合しないよう、Walk-forward validationと最終Holdout期間を確保します。
# ターミナルで実行：固定環境を作成
python3 -m venv .venv && source .venv/bin/activate
pip install pandas scikit-learn
# ターミナルで実行：Walk-forward評価
python backtest.py --data fixtures/races.csv --method walk-forward --seed 42
# ターミナルで実行：Baselineと比較
python compare.py --pred predictions.csv --baseline popularity.csv
# ターミナルで実行：Model cardを生成
python make_model_card.py --metrics metrics.json --output MODEL_CARD.md具体的な手順・設定方法
Data sourceと利用可能時点を記録します。
FeatureごとにLeakage checkを作ります。
人気順など単純Baselineと比較します。
Probability calibrationと期間別性能を報告します。
実践プロンプト / 活用テクニック
# 起動後のセッション内で入力
競馬AIの評価設計を監査してください。
Walk-forward分割、未来情報、Odds更新時刻、Baseline、Calibration、Data driftを確認してください。
勝利や利益を保証する表現と自動購入機能は含めないでください。注意点・よくあるエラーと対処法
AUCやAccuracyが高くても収益や実運用性能を保証しません。
Oddsを特徴量と評価指標へ同時利用する場合は時点整合性を確認します。
賭博関連の法令、年齢制限、依存症対策、Platform規約を守ってください。