과최적화 커브피팅: 백테스트만 화려한 전략이 실전서 망하는 이유

백테스트 수익률 1,200%, 승률 92%. 이런 숫자를 보면 가슴이 뛰지만, 상당수는 과거에만 맞춘 착시입니다. 과최적화(커브피팅)는 자동매매 초보가 가장 흔히 빠지는 함정이며, 실전 계좌를 가장 빠르게 망가뜨리는 원인이기도 합니다.

과최적화(커브피팅)란 무엇인가

과최적화(over-optimization), 흔히 커브피팅(curve fitting)이라 부르는 현상은, 전략을 과거 데이터의 우연한 모양에 억지로 끼워 맞추는 것을 말합니다. 시장의 반복되는 원리가 아니라, 특정 기간에만 나타난 노이즈(우연한 등락)까지 맞추도록 규칙을 조이면 백테스트 곡선은 거의 직선처럼 예뻐집니다. 문제는 그 예쁜 곡선이 미래에는 재현되지 않는다는 점입니다.

비유하면, 지난주 로또 번호를 모두 외운 사람이 "나는 로또 예측 100%"라고 말하는 것과 같습니다. 과거를 설명하는 능력과 미래를 맞히는 능력은 전혀 다릅니다.

과거에만 맞는 전략이 실전서 망하는 이유

핵심 원인은 두 가지입니다.

• 파라미터 과다(over-parameterization): 조절 손잡이가 많을수록 과거 데이터에 맞출 자유도가 커집니다. 예를 들어 단순 이동평균 1개로 만든 규칙은 손잡이가 적지만, "RSI 14, 볼린저밴드 2.1σ, 거래량 1.7배, 진입 시각 09~11시, 손절 1.3%, 익절 2.8%, 레버리지 7배"처럼 손잡이가 10개를 넘으면, 그중 다수는 시장 원리가 아니라 그 기간의 우연을 외운 값일 가능성이 큽니다.
• 미래참조(look-ahead bias): 진입 시점에 알 수 없는 정보를 백테스트에 끌어다 쓰는 실수입니다. 예: 봉이 다 완성된 뒤의 종가로 "그 봉 안에서" 진입했다고 계산하기, 그날 고점/저점을 미리 안다고 가정하기. 미래참조가 섞이면 백테스트는 거의 무조건 화려해지지만, 실전에서는 그 정보를 알 수 없으므로 성과가 통째로 증발합니다.

여기에 백테스트가 흔히 빠뜨리는 거래비용(수수료·슬리피지·펀딩비)까지 더해지면 격차는 더 벌어집니다. 과회전(잦은 매매) 전략은 수수료만으로도 수익이 통째로 사라지며, 고배율이라면 청산으로 계좌가 끝날 수도 있습니다.

커브피팅을 의심해야 할 신호

방지법: 아웃오브샘플과 단순화

1. 아웃오브샘플(out-of-sample) 검증: 데이터를 학습용(in-sample)과 검증용(out-of-sample)으로 시간순 분리합니다. 예를 들어 2년 중 앞 18개월로만 전략을 만들고, 나머지 6개월은 한 번도 보지 않은 채 성과를 측정합니다. 검증 구간에서 무너지면 그 전략은 실전에 쓰지 않습니다. 더 엄격하게는 워크포워드(walk-forward) 방식으로 기간을 굴려가며 반복 검증합니다.
2. 단순화: 손잡이를 최소화합니다. 파라미터가 적을수록 외울 자유도가 줄어 과최적화가 어렵습니다. 같은 성과라면 더 단순한 규칙을 택하세요.
3. 미래참조 제거: "이 결정을 진입 시점에 실제로 내릴 수 있었나?"를 매 규칙마다 확인합니다. 종가·고점·저점·미래 결과 라벨을 진입 조건에 쓰지 않습니다.
4. 현실 비용 반영: 수수료·슬리피지·펀딩비·중복 신호·단일 포지션 제약을 모두 넣어 재생합니다.
5. 소액 페이퍼·실거래로 전진 검증: 충분한 표본이 쌓이기 전까지는 결론 내리지 않습니다.

이 원칙은 변동성 돌파, 그리드, 추세추종, 스캘핑 등 어떤 자동매매 전략에도 똑같이 적용됩니다.

마지막으로 솔직하게. 아웃오브샘플을 통과한 전략도 미래 수익을 보장하지 않습니다. 시장은 변하고, 과거에 통하던 엣지도 사라질 수 있습니다. 검증은 명백히 가짜인 전략을 걸러내는 장치일 뿐, 합격이 곧 수익 약속은 아닙니다. "무조건 수익", "100% 승률" 같은 말을 보면 그것이 바로 커브피팅의 냄새라고 의심하세요. 잃어도 괜찮은 금액으로, 자금 관리를 지키며 접근하는 것이 유일하게 안전한 출발점입니다.