投資・税金・年金・家計を、だまされずに確かめるブログ

FX・自動売買公開 2026-09-17 ・ 更新 2026-09-17

EAの過学習の見抜き方|未来でも再現する手法を判断する7つの手順

このページには広告(アフィリエイトリンク)を含むことがあります。

過学習の見抜き方と再現性の判断

結論:過学習は、バックテストの成績をいくら眺めても見抜けません。私は「結果を見る前に決めた手順」を全部通ったものだけを候補にしています。この手順で100以上のロジックを確かめました。最後まで通ったものは、2026年9月時点で0本。厳しすぎると思うかもしれません。ただ、手順をひとつ緩めるだけで、運で通る確率は10回に4回まで上がりました。

先に、7つの手順を全部出しておきます

手順は、測る前に決めて、あとから動かしません。

ここ、大事です。

  1. 測る前に、合格の基準と試す回数を書いて固定する。
  2. 「誰が、なぜ」その向きに売買するのかを考え、外れたら消えるはずの対照を決める。別の日、逆向き、時刻をずらした日など。
  3. コストを厳しくしても利益が残るか見る。
  4. 何通り試したかで、成績を割り引く。まぐれで出る成績の天井と比べる。
  5. パラメータを少し変えても崩れないか見る。ただし、これだけで安心しない。
  6. 作った期間とは別の期間で、1回だけ確かめる。2回目はありません。
  7. EA に書き直して計算と突き合わせ、本番に近い形で観察する。

どれも、自分の EA や買おうとしている EA に当てはめられます。特別なソフトがなくても、考え方はそのまま使えます。

よく言われる「期間を分けてテストすれば大丈夫」

「バックテストの期間を前半と後半に分けて、後半でも勝っていれば過学習ではない」

EA の過学習対策として、解説記事でよく見かける説明の要旨

正しい方向です。

私もやっています。

ただ、それだけだと足りない場面がありました。前半と後半の両方でプラスになるのは、実力ゼロでも確率4分の1。4回に1回です。6銘柄で試せば、運だけで1.5銘柄は通る計算になります。

最初につまずいたのは、「たくさん試すほど良いものが見つかる」という考え

最初は、パラメータを細かく振って、いちばん成績の良い組み合わせを探していました。

普通のやり方です。私もそうでした。

ところが、試す数を増やすほど、運で良く見えるものも増えます。340通り試すと、実力ゼロでも年率シャープレシオ(リスクあたりの儲けの大きさ)で0.83くらいは出てしまう。これは、私が観察を続けている候補よりも高い数字です。

決定的だったのは、自分の測り方そのものの誤り率を測ったときでした。

衝撃でした。

「1本でも通ったら採用」は、10回に4回が運で通っていた

72通りのパラメータを一度に試して、どれか1本でも基準を超えたら採用する。

よくあるやり方です。

このやり方を、向きをコイン投げにしたデータ(実力ゼロ)で2,000回くり返しました。

72通りを試して1本でも基準を超えたら採用するやり方は、名目上は5%の誤りのはずが、実力ゼロのデータで実際には40.6%が通った。
名目は5%の誤り。実際は40.6%が運で通った

基準は「5%しか運で通らない」はずの線でした。

実際に運で通ったのは40.6%。

10回に4回です。

72通りを試せば、そのぶん当たりくじを多く引いている。1本ずつの基準を、まとめて試したときの基準として使ってはいけなかった。直した基準で同じ実データを測り直すと、通ったのは72通り中0本でした。

7つの手順を、失敗した例と一緒に

1. 測る前に、基準と試す回数を書いて固定する

結果を見てから「この基準なら通る」と線を引き直すと、どんなロジックでも通ります。

本当に、どんなものでも。

だから私は、基準の数字と、その統計の計算方法と、何通り試すつもりかを、測る前にファイルに書いて保存し、あとから書き換えていないことを誰でも確かめられるようにしています。試した回数が増えたら、そのぶん基準を厳しくする材料になります。

2. 「誰が、なぜ」と、外れたら消えるはずの対照

水平線なら、その価格に注文を置くのは誰で、なぜその価格なのか。

そこまで考えます。

理由が思いついたら、「本物ならここには出ないはず」という対照を先に決めます。同じ距離にある、何もない価格。逆向きの売買。1日ずらした日付。こういう対照でも同じように勝てるなら、その成績はルールの中身とは関係がない、ということになります。水平線の検証では、適当に引いた「偽の線」のほうが成績が良かったことがありました。

3. コストを厳しくしても残るか

スプレッドや手数料を実際の口座の値で入れ、さらに厳しくしても利益が残るかを見ます。コストを入れた瞬間に消える利益は、未来で再現しても手元には残りません。ここで落ちるロジックは、本当に多いです。

4. 何通り試したかで割り引く

上の「40.6%」の話です。

試した数が多いほど、運で出る成績の天井も上がります。まぐれの天井と比べて、それを超えたときだけ意味があると考えます。

5. 隣のパラメータでも崩れないか。でも、これだけで安心しない

1点だけ飛び抜けた組み合わせは、捨てます。

そのうえで、少し変えても崩れない「平らな領域」だけを残します。

ただ、これも万能ではありませんでした。

相場を4つに分けて、相場ごとに最適なルールを選ぶ方法で、57万通り(570,240通り)を最適化したことがあります。選ばれたルールは、パラメータの隣でも崩れませんでした。それでも、向きをコイン投げにして同じ最適化をやり直すと、同じくらいの成績が運だけで作れてしまったのです。選択肢が数十万あると、「崩れない領域」すら偶然で作れます。

6. 別の期間で、1回だけ

作った期間とは別の期間を取っておき、最後に1回だけ確かめます。見て、ダメだったから少し直してもう一度、はやりません。やりたくなりますけどね。2回目からは、その期間も「作った期間」になってしまうからです。

1回きり。例外なしです。

実際に、日足 EMA200 の押し目を買うルールは、作った期間で PF 1.235(1円損する間に1.235円稼ぐ)でした。別の年代(2015〜2018年)では PF 0.736。移動平均の検証に詳しく書いています。250日高値のブレイクも、利益の87%が2012〜2014年の3年間だけでした。

7. EA に書き直して突き合わせ、本番に近い形で観察する

Python で計算した成績と、同じルールを EA に書いた成績を突き合わせます。

地味な作業です。

水平線の押し目で試したとき、Python が取った526回のうち、EA が取ったのは63回だけでした。原因は、計算のほうが「少し先の値動き」を覗いていたことです。時間の順に書き直すと、1回あたりの損益は+0.045R から −0.055R(R は損切り幅1回分)に変わりました。

ここまで通ったものも、すぐには使いません。

まだです。

ゴトー日の仲値のロジックは、24か月の観察をしている途中です。

数字の意味をかみくだくと

もうひとつ。

検算を別の人(別の AI)に頼んで計算の誤りを直したら、1回あたりの損益の符号が −0.046 から +0.039 に反転したこともあります。誰にも見せていない数字は、プラスかマイナスかすら信用できない、というのが私の実感です。

使える考え方はある。でも、手順を通っても未来の利益は約束されない

7つの手順を通すと、「運で良く見えただけのロジック」はかなりの確率で落とせます。

ここは自信を持っておすすめできます。

一方で、手順を全部通ったとしても、相場の性質が変われば崩れます。だから私は、通ったものも観察を続け、販売の基準にも「実際の口座で一定期間動かした記録があること」を入れています。自分も EA を売る立場なので、この基準は自分の EA にも同じように当てます。

同じ考え方は、他人のリアル口座を見るときにも使えます。口座が多いほど運の上限は上がります。Myfxbook のリアル口座84件では、腕ゼロでも t 3.4 前後まで届く計算でした。

こんな人に、この手順を使ってほしい

逆に、1つの EA の成績を1回見ただけで「本物だ」と判断したい人には、この手順は面倒に感じると思います。ただ、その面倒さが、偽物をつかまない防波堤になります。

この記事でわからないこと

振り返ると、いちばん効いたのは難しい統計より、「結果を見る前に決める」「試した回数を数える」の2つでした。地味です。

でも、これを守るようになってから、良すぎる数字を見たときに最初にやることが「喜ぶ」から「何通り試したかを数える」に変わりました。

7つの手順を通ったあとも、時計のずれで偽の成績が出ることがあります。確かめ方はMT4のサーバー時間と夏時間に、実際の口座で失格につながる作りは規約事故5つに書きました。

あなたの EA のパラメータは、何通り試した中から選んだものですか?

お持ちの EA や購入を考えている EA を、コストを厳しくしたテスト・期間を分けたテストで測り直す検証レポートを承っています。機械学習で過学習をわざと起こした例は過学習の検証記事に、良すぎる成績の正体は偽物の利益6つにまとめました。検証してほしい手法のリクエストはフォームからどうぞ。

運営者が自分の EA 開発で使っている手順の記録です(2026年9月時点)。特定の EA や売買をすすめる投資助言ではありません。バックテストや検証の結果は将来の利益を約束しません。

よくある質問

EAの過学習はどうやって見抜けますか

運営者は、測る前に基準と試す回数を固定する、外れたら消えるはずの対照を決める、コストを厳しくする、試した数で割り引く、隣のパラメータでも崩れないか見る、別の期間で1回だけ確かめる、EAに書き直して突き合わせ観察する、の7つの手順を全部通ったものだけを候補にしています。

期間を前半と後半に分けて両方勝っていれば過学習ではないですか

それだけでは足りません。前半・後半の両方でプラスになるのは、実力ゼロでも確率4分の1です。何通り試したかで基準を厳しくし、最後に作った期間以外で1回だけ確かめる必要があります。

パラメータを何通りも試して一番良いものを選ぶのはダメですか

試した数を考えずに選ぶと危険です。運営者の測定では、72通りを試して1本でも基準を超えたら採用するやり方は、名目5%のはずが実力ゼロのデータで40.6%が通りました。