タグ: MT5

  • バックテストのPF3.1は「暗記」の成果 – EAの過剰最適化(オーバーフィット)を数字で見抜く4つのサイン

    バックテストのPF3.1は「暗記」の成果 – EAの過剰最適化(オーバーフィット)を数字で見抜く4つのサイン

    バックテストでは上昇、実運用では下落するカーブのイラスト(過剰最適化のイメージ)

    PF3.1、勝率71%、最大ドローダウン8%。監査のご依頼でいただいたあるブレイクアウト系EAの、バックテスト成績がこれでした。依頼主いわく「言うことなしなので、あとは実運用の規模を決めるだけ」。

    その方のリアル口座は、3ヶ月後にマイナス12%で終わりました。

    数字はウソではありません。どの取引も実在し、スプレッドも含めて正しく測られていました。それでも成績が出ない。理由は、いちばん見落としやすい場所にありました。それが「過剰最適化(オーバーフィット)」です。今回は、その見抜き方を監査で実際に使っている4つのサインごと解説します。

    この記事でわかること

    • 過剰最適化が起きてしまう仕組みと、パラメータ数の危険ライン
    • 美しいバックテストを「疑うべき4つのサイン」(最適化前後の差・パラメータ感度・IS/OOS差・t値)
    • MT5の転送(Forward)機能でIS/OOS分割検証を行う手順
    • ウォークフォワード分析でパラメータの耐久性を確かめる方法

    所要時間の目安は、読了12分、実践30分から。MT5があれば今日から始められます。

    過剰最適化とは「過去の答えを暗記する」こと

    結論から言います。過剰最適化とは、パラメータが相場の構造を学ぶのではなく、過去データの答えを暗記してしまう現象です。

    なぜ起きるのか。エントリー時間帯、フィルタの閾値、利確・損切りのpips数といったパラメータを増やせるEAは、自由度が高い分、どんな過去データでも「うまく説明」できてしまいます。そして、説明に使ったデータと同じデータで採点するのですから、暗記したぶんだけ成績が上がります。テスト勉強で、5年分の過去問の選択肢の並びまで覚えた受験生が、本番の類題で3割しか取れないのと同じ構造です。

    監査実録で数字をお見せします(依頼主の情報は匿名化しています)。

    あるブレイクアウト系EAは12個のパラメータを持ちます。エントリー許可時間帯3本、ボラティリティフィルタの閾値4本、利確・損切り、トレーリング幅ほか。2019〜2023年の5年分を最適化すると、利確47pips・エントリー閾値ATR1.83倍という組み合わせでPF2.8、勝率71%まで伸びました。

    ところが、この組み合わせを一度も最適化に使っていない2024〜2025年に置くと、PFは1.02。勝率は49%です。年平均リターンで言えば28%台から、1%を切る水準へ落ちます。

    つまり、5年分の「利益」のほぼ全額が、過去データへのフィット分だったのです。成績の数字そのものより「その数字がどこから来たか」を見る。これが本記事の軸になります。

    美しいバックテストを疑うべき4つのサイン

    監査では、依頼されたEAの成績を見る前に、まず成績の生成過程を疑います。具体化すると、次の4つです。

    サイン 具体的表现 確認の手間
    ① 最適化前後の成績差が激しい デフォルト値でPF1.2 → 最適化後PF2.8 数分〜数十分
    ② パラメータ感度が「針」 最適値だけ良く、±10%の隣で成績が崩れる 数十分
    ③ OOS(学習外データ)との成績差 IS: PF2.8 → OOS: PF1.02 数時間
    ④ 取引回数が減る・t値が下がる 年600回のはずが実効40回、t値2未満 30分

    サイン①: 最適化を「一度も回していない」成績と比較する

    4つの中で最初にやるのがこれです。依頼されたEAを、作者が最適化する前のデフォルト値のまま再テストします。ここまでの話、覚えがあるのでは?

    監査実録のケースでも、デフォルト値のPFは1.2でした。最適化によって1.2から2.8へ伸びた1.6の差額こそ、「暗記」で稼いだ分の目安になります。差が大きいほど、過去データへのフィット量が多いと疑ってください。

    サイン②: 台地か、針か。パラメータ感度を読む

    次に、最適値の「周り」を見ます。利確47pipsでPF3.0のEAが、45pipsと49pipsでPF1.1に落ちるなら、それは針です。針は「今後も47pipsのまま相場が動く」という前提に立った設定で、ロバストとは言えません。

    針と台地の概念図: 頑丈な台地型と過剰最適化の針型のパラメータ感度の比較

    針の反対が台地です。利確25〜60pipsの全域でPF1.5以上が続くなら、そのロジックは相場の構造に立っている可能性が高い。だから何かというと、実運用でスプレッドが0.3pips広がっても、エントリー時間が数分ずれても、死なないということです。

    サイン③: IS/OOS分割で「本番の模擬試験」を作る

    サイン①②をすり抜けるEAもいます。その場合の最終チェックが、最適化に使った期間(In-Sample)と、一切使っていない期間(Out-of-Sample)にデータを分けるIS/OOS分割です。

    ISとOOSに検証期間を分ける概念図

    冒頭の監査実録では、IS(2019〜2023)でPF2.8・勝率71%だったEAが、OOS(2024〜2025)ではPF1.02・勝率49%。模擬試験で点が取れないのは、暗記で受かるタイプの成績だからです。

    1つだけ注意があります。分ける位置は、相場の体制が片側に偏らない場所に選ぶこと。2020年3月の急落やその後の金融緩和のような特殊なレジームをOOS側に寄せると、どのEAでもOOS差が大きく出てしまいます。

    サイン④: 取引回数とt値で「偶然」を消す

    最後は統計のサインです。最適化でエントリー条件を細かく絞ると、取引回数は確実に減ります。監査実録のEAは「5年間で約600回の取引」と案内されていましたが、その絞り込んだパラメータの組み合わせで実際に入る取引は、年平均40回あまり。t値で言えば2を切る水準でした。

    t値とは、平均利益をそのブレ幅で割って、さらに取引回数の平方根を掛けて概算する指標です。統計の目安として「2未満なら、偶然勝っている範囲と区別できない」と読みます。最適化をかけるほど取引数が減り、t値が下がる。「最適化=改善」と思い込んでいる場合ほど、逆効果になりやすい項目です。t値の開発前の組み込み方を深く知りたい方は、当サイトのEA開発は検証設計で決まる(t値・スプレッド会計・Bid歪み)を合わせてお読みください。

    今日から30分でできる: MT5の「転送(Forward)」でIS/OOS分割

    ここまでの話を「自分もやりたい」と思った方に、最短ルートを示します。MT5のストラテジーテスターには、最適化期間の末尾を「学習外の検証期間」として分けてくれる転送(Forward)機能があります(MT4にはない、MT5からの機能です。画面の選択肢名や並びはバージョンで変わるため、最新の仕様はMetaQuotes公式のドキュメントで確認してください)。

    手順 操作 ポイント
    1 ストラテジーテスターにEAと通貨ペア・時間足を設定 期間は直近を含まない3〜5年分
    2 最適化タブで転送(Forward)を「履歴の1/4」などに設定 期間末の数ヶ月がOOS検証に充てられる
    3 最適化を実行し、IS成績上位のパラメータを記録 PFだけでなく取引回数も記録する
    4 同じパラメータのフォワード(OOS)成績を確認 IS/OOSでPF差が2倍以上なら要警戒

    MT4しか使っていない場合も、テスト期間の入力を手で変えて2回テストすれば、同等の検証ができます。追加の手間は10分ほどです。

    もう一段深く: ウォークフォワード分析

    さらに耐久性を確かめたいなら、この分割をスライドさせながら繰り返すウォークフォワード分析があります。たとえば「12ヶ月分を最適化し、直近の3ヶ月でテスト」を1セットにして、開始月を3ヶ月ずつ進めていく。すべての窓で成績が荒れないなら、そのパラメータは相場の構造に立っています。

    ウォークフォワード分析の概念図: 最適化とテストの窓をスライドさせる様子

    手間の実感値をお伝えすると、1サイクルは数十分、通しで半日から1日です。最初から全部やる必要はありません。まずは1回のIS/OOS分割で針か台地かを見る。それで十分な第一歩になります。

    最初の一歩は「最適化を一度もしないテスト」

    ここまで読んで、自分のEAが急に心配になった方もいるはずです。では、今日できる最小のアクションは何か。

    手持ちのEAを、一度きりの最適化もせず、デフォルト値のまま2つの期間でテストすることです。直近3ヶ月と、それ以前の3年。2つの成績の差をメモするだけ。所要時間30分、費用はゼロ。MT5なら内蔵のヒストリカルデータで、今日すぐできます。

    このテストはデモ口座で十分です。口座開設は書類の提出だけで済み、目安としては当日〜数日程度です(最新の所要時間は公式ページで確認してください)。

    【広告】PR

    検証環境の口座をお探しの方は、XM Tradingの口座開設ページ(公式)からデモ口座・リアル口座ともに申し込みできます。IS/OOS検証や長期のウォークフォワードは、稼働させていない口座で先に試せるほど安全です。口座タイプごとの違いは、当サイトのXMの口座タイプはどれを選ぶ?EA運用のための使い分けにまとめています(キャンペーンやスペックは変動するため、条件は公式ページで最新情報をご確認ください)。

    数字で見抜く自信がないときは、監査という選択肢

    監査実録ポジションとして、最後まで正直に言います。4つのサインはどれも再現性がありますが、自力で全部やるには経験も時間も必要です。

    すでに持っているEAが過剰最適化に陥っていないか、数値で判定してほしい方は、EA監査にお任せください。最適化前後の成績差、パラメータ感度、IS/OOS差、t値を1つひとつ実測し、表形式でご報告します。

    EA監査の詳細・依頼はこちら(ココナラ)

    EAをこれから作りたい方、作り直したい方はEA作成代行が選べます。過剰最適化しない検証設計(t値・スプレッド会計・Bid歪みの組み込み)を最初から反映してご納品します。納期は3営業日以内です。EA作成代行の詳細・依頼はこちら(ココナラ)

    まとめ: 成績の「出どころ」を疑えるかどうか

    冒頭のPF3.1のEAが3ヶ月で消えた理由を、今なら言えます。成績のほぼ全額が過去データへの暗記分で、模擬試験(OOS)で点が取れないタイプだったからです。

    • 最適化前後の成績差が大きい → 暗記量が多い
    • 最適値の周りが針 → 脆い設定のサイン
    • ISとOOSでPFが2倍以上差 → 模擬試験落ち
    • t値2未満・取引数減 → 偶然と区別できない

    バックテストの美しさは、模型の美しさです。模型が本物かどうかは、学習していないデータを当てて初めてわかります。あなたのEAの成績は、相場の構造から生まれていますか。それとも、過去の暗記から生まれていますか。

    関連記事

    EAを動かす土台はVPSです

    MT4を24時間止めずに動かすにはVPSが必要です。まずは無料のお試しで動作を確認できます。

    ABLENET VPSを公式サイトで見る(最大10日間無料) →

    ※本記事にはアフィリエイト広告も含みます。

    EAの検証・監査・制作を承っています

    このブログで使っているのと同じ検証の目線で、買う前の数字の検品から、実データでの監査、死因の解剖、月次の健康診断、インジケーター制作まで承っています。

    EA監査・検証の出品一覧を見る