게임이론과 죄수의 딜레마 , 왜 최선 대신 차악을 선택할까?

지난 글에서 카르텔이 왜 내부적으로 불안정할 수밖에 없는지, 왜 '배신의 유혹'이 끊이지 않는지 살짝 언급했었죠. 기업들이 뒤에서 몰래 손을 잡고 가격을 올리기로 약속해도, 결국 누군가는 먼저 가격을 살짝 내려 손님을 독차지하고 싶어 합니다.

 

👉 카르텔이 처음이라면? 카르텔 정의와 사례, 과점과 담합의 차이

 

이런 심리적인 눈치싸움과 전략적 선택을 수학적으로 분석하는 도구가 바로 '게임이론(Game Theory)'입니다. 오늘은 영화 <뷰티풀 마인드>의 주인공 존 내시가 정립한 이 흥미로운 이론을 통해, 우리 삶의 수많은 선택이 왜 종종 '차악'으로 끝나는지 파헤쳐 보겠습니다.

1. 게임이론의 기초: 각자의 최선이 전체의 최악이 되는 이유

1-1. " 나만 잘하면 돼 " 는 진짜일까?

마트 계산대에서 옆 줄이 더 빨라 보이면 슬그머니 옮기고 싶어집니다. 그런데 모두가 같은 생각으로 줄을 옮기기 시작하면 어떻게 될까요? 결국 모든 줄이 다시 비슷해지거나 오히려 더 혼잡해집니다.

 

이처럼 "각자가 자신에게 최선인 선택을 했는데, 전체 결과는 최악"이 되는 상황이 경제학 곳곳에 숨어 있습니다. 이를 분석하는 학문적 도구가 바로 게임이론(Game Theory)입니다. 처음 들으면 어렵게 느껴지지만, 핵심만 잡으면 세상을 보는 눈이 완전히 달라집니다.

1-2. 게임이론이란 무엇인가?: 서로가 서로에게 미치는 영향

게임이론은 서로의 행동이 영향을 미치는 상황에서 사람들이 어떻게 의사결정을 내리는지 연구하는 학문입니다. 여기서 '게임'은 우리가 즐기는 오락이 아니라, 참여자(플레이어)·전략·보상이 갖춰진 모든 상황을 의미합니다. 기업 간 경쟁, 국가 간 협상, 직장 내 눈치 싸움까지 우리 삶의 수많은 순간을 게임이론의 시각으로 해석할 수 있습니다.

 

수학자 존 폰 노이만과 경제학자 오스카 모르겐슈테른이 1944년 이를 체계화했고, 이후 존 내시가 '내시 균형(Nash Equilibrium, 흔히 내쉬균형이라고도 함)' 개념을 발전시켜 1994년 노벨 경제학상을 받았습니다. 내시는 영화 〈뷰티풀 마인드〉의 실제 주인공이기도 하죠.

 

내시 균형이란 간단히 말해, 모든 참여자가 상대방의 전략을 고려했을 때 더 이상 자신의 전략을 바꿀 이유가 없는 상태를 뜻합니다. 즉, 상대방이 어떻게 나오든, 나에게는 이 선택이 최선이기 때문에 다른 선택으로 마음을 바꿔봤자 이득이 없는 상태입니다. 중요한 점은 이 내시 균형이 반드시 '모두에게 가장 좋은 결과'는 아니라는 것입니다. 이것이 바로 우리가 공부할 '딜레마'의 시작점입니다.

---

2. 죄수의 딜레마: 왜 우리는 배신을 선택할 수밖에 없는가

게임이론에서 가장 유명하고 중요한 사례가 바로 죄수의 딜레마(Prisoner's Dilemma)입니다.

시나리오는 이렇습니다. 범죄 혐의를 받는 두 용의자 A와 B가 각각 다른 방에서 조사를 받습니다. 서로 연락할 수 없는 상황에서 각자 두 가지 중 하나를 선택해야 합니다.

둘 다 침묵	1년 형	1년 형
A만 자백	석방	10년 형
B만 자백	10년 형	석방
둘 다 자백	5년 형	5년 형

 

A의 입장에서 아주 합리적으로 따져봅시다.

1. B가 침묵한다면, A가 자백하면 석방이고 침묵하면 1년형입니다. 자백이 유리합니다.
2. B가 자백한다면, A가 자백하면 5년형, 침묵하면 10년형입니다. 역시 자백이 유리합니다.

A에게는 B가 무엇을 선택하든 자백이 '우월 전략(Dominant Strategy)'이 됩니다. B도 정확히 같은 논리로 자백을 선택합니다. 결과는? 둘 다 5년 형 이라는 내시균형에 도달합니다. 

 

만약 둘 다 의리를 지켜 침묵을 택했다면 각각 1년 형으로 훨씬 빨리 나갈 수 있었음에도 불구하고, 상대에 대한 불신과 개인의 합리적 계산이 '전체의 비극'을 불러온 것이죠.

---

3. 현실의 딜레마와 해결책: 반복되는 게임과 제도의 힘

3-1. 우리 곁에 숨어있는 딜레마의 현장

이러한 죄수의 딜레마 구조는 우리 주변 곳곳에 숨어 있습니다.

 

군비 경쟁: 두 나라가 모두 무기를 줄이면 막대한 예산을 절약하고 평화를 유지할 수 있습니다. 하지만 상대가 먼저 군비를 늘려 우리를 침략할까 봐 서로 경쟁적으로 무기를 쌓습니다. 결국 둘 다 안보도 불안하고 국민 생활도 팍팍해지는 결과를 맞습니다.

 

기업의 광고 전쟁: 두 경쟁사가 과도한 광고비 지출을 함께 줄이면 비용을 크게 아낄 수 있습니다. 하지만 상대가 광고를 늘려 시장을 빼앗길까 봐 서로 막대한 광고비를 쏟아붓습니다. 소비자 입장에서는 광고 노출만 늘어날 뿐 제품 품질이 더 나아지지는 않습니다.

 

학원가의 자습실 경쟁 : 학원가에서 일하다 보면 재미있는 현상을 봅니다. 옆 학원이 화려한 독서실형 자습실을 만들면, 우리 학원도 울며 겨자 먹기로 시설 투자를 해야 합니다. 시설을 좋게 한다고 수강료를 올릴 순 없으니 비용만 늘어납니다. 두 학원 모두 안 하면 좋겠지만, 한쪽만 했다가는 원생을 뺏기니 결국 둘 다 지갑이 얇아지는 결과를 선택하게 됩니다.

 

3-2. 이코노필의 시선: 딜레마를 깨는 열쇠, '반복'과 '신뢰'

수학적으로 보면 죄수의 딜레마는 탈출구가 없어 보입니다. 하지만 현실에서 우리는 가끔 놀라운 협력을 이뤄내기도 하죠. 그 차이는 어디서 올까요? 바로 '게임의 반복성'에 있습니다.

 

반복 게임에서 가장 효과적인 전략은 '눈에는 눈(Tit-for-Tat)'으로 알려져 있습니다. 이는 로버트 액셀로드가 실제로 진행한 컴퓨터 토너먼트 실험에서 검증된 전략이에요.

1. 처음에는 협력한다.
2. 이후에는 상대방이 직전에 한 행동을 그대로 따라 한다.

상대가 협력하면 나도 협력하고, 상대가 배신하면 나도 배신하는 방식이죠. 단순하지만 이 전략은 실제 실험에서 가장 강력한 성과를 냈으며, 상호 신뢰를 쌓고 장기적인 협력을 유도하는 데 가장 효과적이었습니다.

 

이 전략이 무서운 이유는 상대에게 "네가 나를 배신하면 반드시 보복하겠다"는 신호를 줌과 동시에 "네가 협력하면 나도 언제든 손을 잡겠다"는 신뢰의 가능성을 열어두기 때문입니다.

 

집에서도 게임이론은 작동합니다. 고등학생 딸아이에게 "방 청소하면 마라탕을 사줄게"라고 약속했을 때, 아이가 청소를 대충 하고 마라탕을 먹으려 한다면(배신), 저는 다음번에 절대 약속을 지키지 않겠죠(보복). 하지만 아이가 진심으로 청소를 하고 제가 약속한 시간을 보장해 주는 과정이 반복되면, 우리는 '신뢰'라는 새로운 균형점에 도달하게 됩니다.

 

결국 사회적 담합 규제나 국제 협약도 "배신하면 반드시 처벌받는다"는 구조를 만들어, 일회성 배신보다 장기적 협력이 더 이득이 되도록 설계하는 과정인 셈입니다.

---

4. 결론: 나침반이 필요한 딜레마의 세상

오늘 우리는 개개인의 합리성이 모여 때로는 불합리한 사회적 결과를 낳는 과정을 살펴봤습니다. "나만 잘하면 돼"라는 생각으로 가득 찬 세상은 결국 모두가 피곤해지는 '나쁜 균형'으로 흐르기 쉽습니다.

 

우리가 Beyond GDP를 논하며 삶의 질을 고민하는 이유도, 이제는 무한 경쟁의 굴레에서 벗어나 '협력을 통한 더 나은 균형'으로 이동해야 하기 때문입니다. 뉴스에서 들리는 무역 전쟁이나 정치적 갈등을 볼 때, 이제는 "저들 역시 죄수의 딜레마 속에 갇혀 있구나"라고 이해해 보세요. 그리고 우리 삶의 작은 게임들에서는 내가 먼저 '협력'의 신호를 보내보는 건 어떨까요?

 

반복되는 삶 속에서 먼저 내민 손이, 결국은 나에게도 가장 큰 이득으로 돌아올 테니까요.

 

[함께 읽으면 좋은 글]

카르텔 정의와 사례, 과점과 담합의 차이

 

Beyond GDP , GDP가 말해주지 않는 진짜 잘 사는 법