심슨의 역설: 매매 성적표를 합치면 결론이 뒤집히는 경우

전략 두 개를 비교할 때 보통 전체 승률이나 거래당 평균 손익 하나를 봅니다. 그런데 시장 구간별로 나눠 보면 모든 구간에서 이기는 전략이, 합친 숫자에서는 지는 일이 있습니다. 통계에서는 이것을 심슨의 역설(Simpson's Paradox)이라고 부릅니다. 계산 실수가 아니라 거래 수가 구간마다 다르게 분포할 때 생기는 현상입니다. 이 글은 역설이 생기는 구조, 바로잡는 계산, 그리고 어느 숫자를 믿어야 하는지 판단하는 기준을 정리합니다. 본문 숫자는 구조를 보여주기 위한 가정 예시입니다.

1. 역설이 생기는 예

두 전략의 백테스트 결과를 추세장과 횡보장으로 나눠 봤다고 합시다.

B는 추세장에서 5%p, 횡보장에서도 5%p 앞섭니다. 그런데 합치면 A가 13%p 앞섭니다. 두 구간 어디에서도 A가 낫지 않은데 전체에서는 A가 낫다는 결론이 나옵니다.

2. 원인: 거래 수가 가중치다

전체 승률은 구간 승률의 단순 평균이 아니라 거래 수로 가중한 평균입니다.

A는 거래의 80%가 승률이 높은 추세장에 몰려 있고, B는 80%가 승률이 낮은 횡보장에 몰려 있습니다. 두 전략의 차이는 실력보다 어느 구간에서 거래가 많이 나왔는가에서 대부분 나옵니다. 구간 사이의 승률 차이(추세장 70~75% vs 횡보장 40~45%)가 전략 사이의 차이(5%p)보다 훨씬 크기 때문에, 구성비가 조금만 달라도 합산 결과가 뒤집힙니다.

승률만이 아닙니다. 거래당 평균 손익, 평균 보유 시간, 손익비처럼 "합계 ÷ 건수"로 만드는 숫자는 전부 같은 구조를 가집니다. 승률 자체의 한계는 승률과 손익비 글에서 다뤘습니다.

3. 평균 손익에서도 똑같이 생긴다

기존 규칙을 새 규칙으로 바꾸고 두 달을 비교한 경우입니다. 9월은 시장이 좋았고 10월은 나빴습니다.

새 규칙은 9월에도 0.5달러, 10월에도 0.5달러 더 낫습니다. 그런데 두 달을 합치면 거래당 2.5달러 나쁜 규칙처럼 보입니다. 새 규칙의 거래가 나쁜 달에 몰렸기 때문입니다. "새 규칙으로 바꿨더니 성적이 나빠졌다"는 결론은 이 표만으로는 내릴 수 없습니다. 같은 기간을 두 규칙으로 동시에 돌린 것이 아니라 규칙을 바꾼 시점과 시장이 바뀐 시점이 겹친 것일 수 있습니다.

4. 바로잡는 방법: 같은 구성비로 맞추기

비교를 공정하게 하려면 두 전략에 같은 구간 비중을 적용해 다시 계산합니다. 이것을 표준화라고 합니다. 어떤 비중을 쓰느냐에 따라 숫자는 달라지지만 순위는 일관되게 나옵니다.

앞으로 시장이 어떤 구성일지 예상이 있다면 그 비중을 쓰고, 없다면 전체 기간의 실제 구간 비중을 공통으로 씁니다. 핵심은 두 전략에 같은 저울을 쓰는 것입니다.

5. 합친 숫자가 맞을 때도 있다

쪼갠 숫자가 항상 정답은 아닙니다. 판단 기준은 구성비가 누구 때문에 달라졌는가입니다.

· 전략이 스스로 구간을 고른 경우: A가 추세 필터를 써서 추세장에서만 많이 거래하도록 설계됐다면, 거래가 추세장에 몰린 것은 A의 능력입니다. B가 횡보장에서 거래를 많이 내는 것도 B의 성질입니다. 이때 실제로 계좌에 남는 것은 합친 숫자이므로 64% vs 51%가 정직한 비교입니다.
· 시험 환경이 구성비를 만든 경우: 3번처럼 규칙을 바꾼 시점이 우연히 나쁜 달과 겹쳤거나, 두 전략의 백테스트 기간이 서로 달랐다면 구성비는 전략과 무관합니다. 이때는 쪼개서 표준화한 숫자가 맞습니다.

즉 질문을 먼저 정해야 합니다. "이 전략을 그대로 돌리면 계좌가 어떻게 되나"는 합친 숫자로, "같은 시장 조건에서 어느 규칙이 더 나은가"는 쪼갠 숫자로 답합니다.

6. 거래 규모가 다를 때: 승률과 달러가 따로 논다

건수 대신 금액으로 가중해도 같은 일이 생깁니다. 작은 포지션에서 자주 이기고 큰 포지션에서 지면 승률은 높은데 계좌는 줄어듭니다.

건수 기준 승률은 대부분 작은 거래가 만들고, 손익은 소수의 큰 거래가 만듭니다. 퍼센트 수익률을 거래마다 똑같이 평균 내는 것도 같은 착시를 만듭니다. 크기 기준은 명목가치 글을 참고합니다.

7. 백테스트 결과를 나눠 볼 기준

합산 숫자 하나로 결론을 내기 전에 다음 기준으로 잘라 봅니다. 각 칸의 거래 수도 함께 적어야 구성비 차이가 보입니다.

· 시장 구간: 추세·횡보·급변동
· 기간: 월별 또는 분기별
· 방향: 롱과 숏
· 종목군: BTC·대형 알트·소형 알트
· 포지션 크기: 작은 거래와 큰 거래

잘라 본 결과가 합산과 같은 방향이면 결론이 튼튼합니다. 한 칸이라도 뒤집히면 그 칸의 거래 수와 구성비부터 확인합니다. 다만 칸을 잘게 나눌수록 칸마다 표본이 줄어 우연이 커집니다. 칸당 표본이 충분한지는 거래 표본 크기 글의 기준으로 봅니다. 여러 기준으로 잘라 보다가 "좋아 보이는 칸"만 골라내면 다중 검정의 함정에 빠집니다. 잘라 보는 기준은 결과를 보기 전에 정해 둡니다.

8. 비슷한 착시와의 구분

· 생존 편향: 표본에서 빠진 대상이 결과를 왜곡합니다(생존 편향). 심슨의 역설은 빠진 것이 없어도 구성비만으로 생깁니다.
· 청산 거래만 세는 편향: 이긴 거래가 먼저 닫히는 탓에 보유 중 손실이 승률에서 빠집니다(청산 승률 편향).
· 시장 요인: 전략 수익 대부분이 그 시기 시장 전체 움직임일 수 있습니다(시장 조정 잔차 수익률). 구간을 나누는 것은 이 시장 요인을 통제하는 가장 간단한 방법이기도 합니다.

정리

심슨의 역설은 구간마다 성적이 크게 다르고, 비교 대상끼리 구간별 거래 수가 다를 때 생깁니다. 전체 승률과 평균 손익은 거래 수로 가중된 평균이라 구성비가 결과를 좌우합니다. 같은 시장 조건에서 규칙을 비교하려면 같은 구간 비중으로 표준화하고, 전략을 그대로 돌렸을 때의 계좌 결과를 보려면 합친 숫자를 씁니다. 어느 쪽 질문인지 먼저 정하고, 숫자 옆에는 항상 칸별 거래 수를 같이 적습니다.

주의

본문의 승률, 거래 수, 손익은 계산 구조를 보여주기 위한 가정 예시이며 특정 전략이나 서비스의 실제 성과가 아닙니다. 이 글은 교육 정보이며 특정 자산의 매매 권유가 아닙니다. 코인 투자는 원금 손실 위험이 있고, 투자 판단과 그 결과는 본인 책임입니다.