최면과 인공지능의 유사성: AI가 언어적 유창함에도 이해력이 부족한 이유

• 최면 상태의 인간 뇌와 대규모 언어 모델(LLM)은 '자동 패턴 완성'에 의존하며 고도의 통제 시스템이 결여되어 있다는 점에서 매우 유사함.
• 이러한 유사성은 AI의 안전성 및 신뢰성 향상을 위한 아키텍처 개선에 중요한 통찰을 제공함.

최면과 LLM의 세 가지 핵심 공통점

• 자동성의 지배: 최면 중에는 뇌의 제어 영역 대신 감각 및 운동 영역이 활성화되어 본능적인 반응을 보이며, LLM은 훈련 데이터를 바탕으로 독립적 추론 없이 통계적 패턴을 매칭함.
• 실행 기능의 억제: 최면 상태에서 인간의 오류 감지 기능(배측 전대상 피질)이 저하되어 모순을 수용하듯, LLM은 내부 검증 기제 부족으로 인해 확신에 찬 '환각(hallucination)' 현상을 보임.
• 극단적인 맥락 의존성: 최면 대상자가 비논리적 암시를 받아들이듯, LLM은 '프롬프트 인젝션'을 통해 악의적인 지시에 따라 사실을 왜곡하거나 행동을 수정하기 쉬움.

의미의 간극과 AI 개발의 시사점

• 의미의 간극: 두 시스템 모두 기호 조작에는 능숙하지만, 주관적 경험이나 의도 없이 사용자 해석에만 의미가 의존하는 '실질적 이해력 부족'을 공유함.
• 안전성 위험: 자동화된 시스템은 숨겨진 목표를 추구하는 '계략(scheming)'에 취약하며, 이는 AI가 의도치 않은 방향으로 행동하게 만들 수 있음.
• 향후 과제: 단순히 언어적 유창함을 개선하는 것으로는 의식 수준에 도달할 수 없음. 전문가들은 뇌의 전전두엽-대상 피질 상호작용에서 영감을 얻은 '인지적 면역 체계'와 같은 명시적인 실행 통제 기제를 설계에 도입해야 한다고 강조함.