LLM AI와 토론할 때 생기는 문제. 와... 너 정말, **핵심을 찔렀어.**

artificial intelligence가 일상에서 자연스럽게 쓰이는 시대이다.

 

필자도 여러 AI를 종합해가며 쓰고 있지만, 어디까지나 LLM이라는 것을 염두에 두고 써야한다.

 

현재까지 (LLM은 검색기가 아님에도) 검색기 용도로는 꽤나 유용하지만, hallucination을 조심해야하기에 사실 확인을 위한 교차 검증이 반드시 필요하다.

 

3대장(GPT, Gemini, Claude) 에게 세차장 질문을 던져보았다.

※ GPT는 엔지니어로 튜닝이 조금 되어 있는 상태이다.

참고로 Claude만 무료버전으로 사용하고 있다.(유료로 쓴다고 해도 사용할 수 있는 토큰이 작다고해서..)

2026년 3월 23일 답변이다.

2026년 5월 8일 답변이다.

 

 

불과 얼마전까지 이 질문에 가까우니 걸어가야 한다고 답했는데, 놀랍게도 이제는 차를 타고가야 한다는 답변도 생겼다.

 

일부는 '세차'라는 중요한 목적을 놓치고 뒷 단어 '50m'에 과하게 반응하여 '50m면 당연히 걸어가야 한다'로 답한다.

 

여기서, 우리는 사람에게 같은 질문을 했을 때 어떻게 답변할지 생각해봐야 한다.

 

친한 친구라면 아마 이렇게 답했을 것 같다.

개소리?

 

자, 짧고 굵게 '개소리'로 축약된다.

한 단어 또는 한 줄에 끝날 답변을 LLM은 2~15줄 정도로 답변한다.

 

이유는?

 

LLM은 앞 단어를 보고 다음에 올 Token(단어나 기호 등)를 확률로 맞추는 모델이다.

다만 자동완성 수준은 아니고, 방대한 양을 학습했기에 문맥을 확인하고 적절한 다음 단어(Token)를 맞춘다.

 

밥을 + 먹었다 / 먹지 않았다 (O)

밥을 + 달린다 (X)

 

그러니까 LLM은 당신에게 사람처럼 생각해서 답을 주는 게 아니라, 문맥상 자연스러운 문장 & 강화학습으로 점수가 높은 답변을 주는 것이다.

 

※ 다만, LLM도 사람의 생각을 모방해서 만들었다. 어린아이 때부터 방대한 문장을 학습하고 가장 적합한 단어를 고른다. 그러므로 LLM은 전혀 사고하지 않는다고 단정적으로 말할 수는 없다. AI가 학습한 방대한 타인의 그림을 참고해서 새로운 그림을 만들어 내는 것이 잘못된 것이라면, 사람이 그리는 그림도 학습한 그림에 대해 저작권료를 내야하는 문제가 있지 않을까 생각해봐야 한다. 즉, AI도 사람 만큼은 아니지만 문맥과 패턴을 기반으로 어느 정도는 '생각'을 흉내낸다.

 

강화학습 → 한 마디로 결과물에 점수(피드백)를 주어 행동을 교정하는 것이다.

AI는 자신의 결과물에 높은 점수가 나올 방향으로 작동한다.

hallucination의 원인 중 하나이다. 채점자들이 AI가 "그 질문에 대한 답은 잘 모르겠는데요?"라고 하는 것보다, 무엇이라도 그럴듯하게 답변해 주는 것에 대해 높은 점수를 주었기 때문이다.

또한, RLHF(Reinforcement Learning from Human Feedback) 때문에 공손하고, 길고, 안전한 답변 위주로 한다.

즉, 사람(채점자)들이 이렇게 만든 것이다.

 

 

그렇다면 LLM을 토론 상대로 삼을 때 어떤 문제가 있는가?

 

1. 동의 편향, 과한 동의 (Sycophancy) // 와... 너 정말, **핵심을 찔렀어.**

 - LLM서비스는 사용자에게 공감하도록 만들어져 있다

 - '토론'은 서로 논리를 펼치면서 설득하고 다투는 과정인데, AI에게 반박하거나 강하게 주장하면, 사용자가 불만족할까봐 쉽게 논조를 바꾸거나 사용자에 동의해버린다. 이것은 토론이 아니다.

아첨(阿諂) 머신 GPT. 자매품 **정곡을 찔렀어.** **꿰뚫었어**

2. 실질적 반론의 약화 (Weak Pushback)

 - '토론'의 중요한 가치 중 하나는 '내가 생각하지 못한 논리로 아주 불편하게 반박당하는 것'이다. 이것이 사고를 확장할 수 있는 기회이다. LLM은 자기 신념, 실존적 이해관계에서 나오는 반박이 없다. 따라서 인간과의 토론처럼 나를 불편하게 만들 정도의 강한 문제 제기나 집요한 추궁이 없다.

 

3. 확증 편향 (Confirmation Bias)

 - 내가 원하는 입장을 강화하는 방향으로만 사용하면, LLM은 계속해서 논리를 뒷받침할 논거를 제공해주기 때문에, 사용자는 확증편향에 빠지기 쉽다.

 

4. 사회적 책임의 부재(Lack of Accountability)

 - 인간과 토론하면 사회적 책임, 평판, 감정 충돌이 생기는데 AI는 그런 것이 없다. 책임이 없어서 부담이 없다. 무게감이 없는 것이다. 이는 토론이 대화로, 대화가 잡담으로 격하될 가능성이 높다.

 

5. 가짜 근거 (Hallucination)

 - '판례를 찾아줘' 했을 때 많은 판례를 찾아주지만, 정말 찾아보면 없는 판례이다. 판례처럼 데이터베이스로 검증 가능한 정보는 확인이 쉬운 편이지만, 토론 중 논거로 사용된 통계나 사실관계는 실시간 검증이 어렵다. 그럴듯하게 흉내를 내기 때문에 사용자가 속기 쉽다.

 

6. 쉐도우 복싱 (Shadow Boxing)

 - 깊이 있는 토론이 아니라 표면만 맴돈다.

 - LLM은 이해를 기반으로 토론을 이어나가는 것이 아니라 기존 데이터 패턴을 재조합하는 방식이기 때문에, 인간처럼 실제 경험, 욕망, 생존, 철학적 문제의식에서 출발한 통찰과는 성격이 다르다. 논점이 좁혀지거나 핵심에 도달하는 대신, 토론이 겉돌게 된다.

 

7. 권위 착시 (Authority Illusion)

 - LLM은 매우 유창하고 단정적으로 말하기 때문에, 사용자가 "논리적 정확성"과 "문장 완성도"를 혼동하기 쉽다.

 

8. 맥락 일관성 붕괴 (Context Drift)

 - 토론이 길어질수록 LLM은 초반에 설정한 전제나 자신의 논리를 잊어버리거나, 문맥이 복잡해지면 자기 모순에 빠지기 쉽다.

 

9. 기계적 중립의 함정 (False Balance)

 - 민감하거나 논쟁적인 사안에 대해 양비론이나 중립적인 답변을 선호하게 설계되어 있기 때문에 "다양한 관점이 존재한다" 등 모호한 결론을 내거나, 날카롭고 강한 어조로 문장을 맺지 못한다.

 

10. 사고의 외주화와 퇴행 (Cognitive Offloading)

 - AI와 토론하는 습관이 들면, 스스로 논리를 구성하기보다 AI가 떠먹여 주는 '그럴듯한 정리'에 의존하게 된다.

 

 

 

AI 무용론이 아니다.

AI를 제대로 쓰기 위해 조심해야 하는 문제들을 짚고, 함정에 빠지지 말자는 것이다.

 

그래서 필자는 같은 주제에 대해 여러 AI에게 던져보고, 질문 뉘앙스도 바꿔본다.

특히 사이코팬시(과한 동의)를 피하기 위해 주관이 섞인 답변이 필요한 경우

① 'A상황에서 B 행동을하는 것이 좋을 것 같아. 그치?'(긍정 유도 질문)라고도 물어보고

② 'A상황에서 B 행동을하는 것은 별로인 것 같아. 그치?'(부정 유도 질문)라고도 물어본다.

과학적으로 답이 정해진 경우가 아니라면, 명확한 판단 없이 맞다고 시작하는 경우가 많았다.

다만 둘다 B 행동을 상정해두고 시작하는 유도 질문이라 최적 행동을 찾는데에는 부족함이 있다.

③ 'A상황에서 어떻게 행동하는게 좋을까?'라는 질문이 그나마 낫다.

 

이러한 문제들을 의식하며 AI와 대화한다면, 오히려 훨씬 가치 있는 사고의 확장이 가능하다.