소수의 법칙: 짧은 기록으로 전략을 판단하면 안 되는 이유

새 전략을 열 번 써 봤더니 일곱 번 이겼다면, 대부분은 "승률 70%짜리 전략"이라고 받아들입니다. 하지만 적은 횟수의 결과는 실제 확률에서 크게 벗어나는 일이 흔합니다. 심리학자 트버스키와 카너먼은 1971년 논문에서, 사람들이 작은 표본도 큰 표본처럼 전체를 정확히 닮을 거라고 믿는 경향을 소수의 법칙(law of small numbers)이라고 불렀습니다. 큰 수의 법칙을 작은 수에도 적용해 버리는 착각입니다. 이 글은 그 착각이 거래 기록·백테스트·성과 자랑에서 어떻게 나타나는지 숫자로 정리합니다. 본문 숫자는 계산 구조를 보여주기 위한 가정 예시입니다.

1. 큰 수의 법칙과 소수의 법칙

큰 수의 법칙은 시행 횟수가 충분히 많아지면 관측된 비율이 실제 확률에 가까워진다는 수학적 사실입니다. 핵심은 "충분히 많아지면"입니다. 횟수가 적을 때는 관측 비율이 실제 확률에서 멀리 떨어지는 것이 정상입니다.

소수의 법칙은 이 조건을 잊는 데서 생깁니다. 10거래, 2주, 한 번의 상승장처럼 짧은 기록에서 나온 숫자를 전략의 실제 성능으로 받아들이는 것입니다. 연승 뒤에 확신이 커지는 뜨거운 손 오류, 연패 뒤에 "이제 이길 차례"라고 믿는 도박사의 오류도 같은 뿌리에서 나옵니다. 둘 다 짧은 구간의 결과에 지나친 의미를 부여합니다.

2. 동전 10번과 100번의 차이

앞면이 나올 확률이 정확히 50%인 동전을 던져 봅니다.

승률 50%짜리 전략을 쓰는 사람 100명이 각자 10번씩 거래하면, 그중 약 17명은 "7승 이상"이라는 기록을 갖게 됩니다. 이 17명에게는 전략이 잘 맞는 것처럼 보이고, 실제로 성과를 공유하거나 사이즈를 키우는 쪽도 이들입니다. 나머지 83명의 기록은 잘 드러나지 않습니다.

3. 작은 표본은 왜 더 크게 흔들리는가

승률 추정치의 흔들림은 표준오차로 계산합니다.

표준오차 = √[ p × (1 − p) ÷ n ] (p = 승률, n = 거래 수)

10거래에서 관측 승률 ±15.8%p는 "실제로는 50%인데 66%나 34%로 보이는 일"이 드물지 않다는 뜻입니다. 승률 오차 범위를 구간으로 구하는 법은 승률 신뢰구간(윌슨 구간) 글, 엣지 크기별로 필요한 거래 수는 거래 표본 크기 글에 정리돼 있습니다.

4. 병원 문제 — 작은 쪽이 극단값을 더 자주 낸다

카너먼이 소개한 유명한 질문이 있습니다. 하루 평균 45명이 태어나는 큰 병원과 15명이 태어나는 작은 병원이 있을 때, 남아 비율이 60%를 넘는 날은 어느 쪽에 더 많을까요. 많은 사람이 "비슷하다"고 답하지만 계산은 다릅니다.

거래에서도 마찬가지입니다. 거래 횟수가 적은 계좌, 종목 수가 적은 포트폴리오, 짧은 기간의 성과표가 "최고 성적"과 "최악 성적" 목록을 동시에 채웁니다. 순위표 맨 위에 있는 기록이 실력인지 표본이 작아서인지는 거래 수를 먼저 확인해야 구분할 수 있습니다.

5. 짧은 기간의 평균 수익도 같은 함정에 빠진다

승률뿐 아니라 평균 수익률도 표본이 작으면 크게 흔들립니다. 평균 수익의 표준오차는 하루 수익률의 표준편차를 일수의 제곱근으로 나눈 값입니다.

하루 +0.5%는 단순 합산으로 20일이면 +10%입니다. 이 정도면 대부분 의미 있는 성과로 받아들이지만, 위 계산에서는 우연만으로도 충분히 나올 수 있는 숫자입니다.

6. 거래 수가 많아도 표본이 작을 수 있다

표본 크기는 거래 건수가 아니라 서로 독립적인 관측의 개수입니다. 같은 날 같은 방향으로 여러 코인에 진입한 거래들은 대부분 그날의 시장 방향 하나에 함께 움직입니다.

그래서 성과의 오차를 구할 때는 거래를 하나씩 섞기보다 날짜 단위로 묶어서 다시 뽑는 방식이 더 정직합니다. 방법은 블록 부트스트랩 글에 있습니다.

7. 여러 개를 시험하면 그중 하나는 좋아 보인다

소수의 법칙은 여러 전략을 짧게 시험할 때 더 크게 작동합니다.

그렇게 골라낸 전략은 다음 기간에 평균 쪽으로 돌아오는 경우가 많습니다. 이 현상은 평균 회귀, 시험 횟수에 따른 착시는 다중 검정의 함정 글에서 자세히 다뤘습니다.

8. 소수의 법칙을 피하는 방법

· 필요 표본을 먼저 정한다 — 확인하려는 엣지 크기에서 몇 건이 필요한지 미리 계산하고, 그 전까지는 결론을 내리지 않는다
· 판정 기준을 미리 적는다 — 결과를 보기 전에 무엇을 성공으로 볼지 기록해 둔다(백테스트 사전등록)
· 보지 않은 데이터로 확인한다 — 찾은 규칙은 쓰지 않은 기간에서 한 번 더 검증한다(홀드아웃 검증)
· 독립 단위로 센다 — 거래 건수 대신 날짜·주 단위 블록 수를 표본 크기로 본다
· 우연 기준과 비교한다 — 같은 기간에 무작위로 진입했을 때의 결과 분포와 비교해, 내 결과가 그 범위 밖에 있는지 본다
· 시험한 개수를 함께 적는다 — 20개 중 1개를 고른 결과와 처음부터 1개만 시험한 결과는 무게가 다르다

규칙을 과거 데이터에 너무 맞춰 버리는 문제는 과최적화 글을 참고합니다.

정리

적은 표본의 결과는 실제 확률에서 크게 벗어나는 것이 정상입니다. 승률 50%짜리 전략도 10거래에서는 17.2% 확률로 7승 이상을 내고, 기대수익 0인 전략도 20일 기록에서는 22.8% 확률로 하루 +0.5% 이상처럼 보입니다. 표본의 오차는 크기의 제곱근에 반비례하므로 오차를 절반으로 줄이려면 4배의 기록이 필요하고, 같은 날 묶여 움직인 거래는 표본 수를 부풀립니다. 짧은 기록으로 사이즈를 키우거나 전략을 확정하기 전에, 필요 표본·사전 기준·홀드아웃 검증을 먼저 거치는 것이 기본입니다.

주의

본문의 승률, 수익률, 표준편차, 거래 수는 계산 구조를 보여주기 위한 가정 예시이며 특정 전략이나 계좌의 실제 성과가 아닙니다. 표준오차 계산은 각 관측이 독립이라는 가정을 쓰며, 실제 거래 결과는 서로 묶여 있는 경우가 많아 오차가 더 클 수 있습니다. 이 글은 교육 정보이며 특정 자산의 매매 권유가 아닙니다. 코인 선물 거래는 원금 손실 위험이 크고, 투자 판단과 그 결과는 본인 책임입니다.