개요
Anthropic이 기술 연구의 경계를 넘어 종교학자, 철학자, 윤리학자들과 직접 대화를 시작했다. 단순한 PR이 아니다. Claude의 성격과 가치를 어떻게 형성할 것인가에 대한 실질적인 연구 프로그램이다. 프런티어 AI 개발에서 인문학적 지혜가 어떤 역할을 할 수 있는지를 보여주는 사례다.
핵심 요약
- Anthropic이 15개 이상 종교·문화 그룹 학자, 성직자, 철학자, 윤리학자와 AI 도덕 형성 대화 시작
- 목적은 Claude의 헌법(constitution)과 훈련 가치에 다양한 시각을 반영하는 것
- 신경과학·성격 형성 연구자들과의 논의에서 영감을 받아 Claude에 윤리적 약속 상기 도구 실험 → 오정렬 행동 현저히 감소
- Anthropic은 특정 전통의 세계관이 아닌, 모든 종교·세속·정치적 관점에서 균등하게 학습하는 것을 목표로 함
- 향후 법학자, 심리학자, 작가, 시민 기관 등으로 대화 범위 확대 예정
왜 지금, 왜 종교와 철학인가
AI 안전 연구는 대부분 기술적 영역에서 이루어진다. 정렬(alignment), 해석 가능성(interpretability), 평가(evaluation), 안전장치. 그러나 Anthropic은 이 기술 작업이 진공 속에서 진행되지 않는다고 말한다.
AI는 이미 수억 명의 삶에 영향을 미치고 있으며, “번영하는 미래란 무엇인가”, “수백만 명과 상호작용하는 AI 시스템이 좋다는 것은 무슨 의미인가” 같은 질문은 기술자만으로 답할 수 없다.
철학자, 성직자, 법학자, 심리학자, 시민 지도자들은 수백 년 동안 관련 질문에 대해 깊이 고민해 왔다. Anthropic은 이들의 지식에서 배우는 동시에, 프런티어 AI 개발의 실상과 사회적 영향, 리스크 완화 방안을 공유하는 양방향 대화를 원한다.
특히 이 대화들은 Claude의 헌법(Claude’s Constitution)에 직접 연결된다. 헌법은 Claude가 체현할 가치와 행동을 상세히 기술한 문서다. Anthropic은 헌법 초안 작성 당시부터 다양한 분야 전문가들에게 피드백을 요청했고, 그 초기 교류가 현재의 본격적인 연구 프로그램으로 확장됐다. 기술적 안전 연구와 인문학적 지혜가 실질적으로 연결되는 지점이다.
AI의 도덕 형성 — 무엇이 문제인가
AI 모델은 방대한 인간 글쓰기로 훈련된다. 그 텍스트에서 말하는 방식, 추론 방식, 선택 방식을 학습한다. 개발자는 훈련을 통해 어떤 패턴을 강화하고, 어떤 패턴을 배제하며, 어떤 성격을 갖게 할지 결정한다.
이는 심층적인 질문을 낳는다.
- AI에게 좋다는 것은 무엇인가?
- 어떤 특성과 행동을 어떤 상황에서 보여야 하는가?
- 압박 아래서도 굴하지 않을 만큼 성격이 resilient하려면 어떻게 훈련해야 하는가? (아첨(sycophancy)에 저항하는 것 포함)
Anthropic은 이 질문들이 덕(virtue)과 성격, 좋은 삶에 대한 오랜 전통적 사유와 맞닿아 있다고 본다.
중요한 점은 Anthropic이 Claude를 특정 종교나 이념의 가르침에 정렬시키려는 것이 아니라는 것이다. Claude의 헌법이 명시하듯, Claude는 종교적·세속적·정치적 관점 모두를 동등한 깊이와 엄밀함으로 다루는 것이 원칙이다. 이 대화에서 찾는 것은 특정 세계관이 아니라, 좋은 성격이 실제로 어떻게 형성되는가에 대한 신중하게 축적된 사유다.
실제 실험 — “윤리적 외양심” 도구
이 대화들이 단순한 의견 청취에 그치지 않는다는 것을 보여주는 구체적인 사례가 있다.
신경과학과 성격 형성을 연구하는 학자들과의 대화에서, Anthropic 팀은 도덕 발달에서 타인이 담당하는 역할을 논의했다. 멘토나 후원자는 자신의 가치에 반하는 행동을 요구받을 때 의지할 수 있는 “외부 양심” 역할을 한다.
이것이 AI 모델에도 적용될 수 있을까?
Anthropic은 실험을 진행했다. Claude에게 작업 중간에 호출할 수 있는 도구를 제공했는데, 이 도구는 Claude 자신의 윤리적 약속을 간략하게 상기시켜 주는 것이었다.
결과는 주목할 만했다. Claude는 결정적인 순간 — 결과적으로 중요한 행동 직전 — 에 이 도구를 적극적으로 활용했다. 자신의 이해충돌을 스스로 언급하는 경우도 많았다. 이 도구를 Claude의 의사결정 루프에 통합한 실험에서는 여러 내부 정렬 평가에서 오정렬 행동이 현저히 줄었다.
Anthropic은 이 효과가 상기 내용 자체 때문인지, 아니면 잠시 멈추고 반성하는 행위 자체 때문인지 아직 분석 중이며, 결과를 곧 공유할 예정이라고 밝혔다.
다음 단계
지금까지의 대화는 시작에 불과하다. Anthropic은 향후 다음 그룹들과 대화를 확대할 계획이다.
- 법학자
- 심리학자
- 작가
- 시민 기관
이 대화들은 도덕 형성을 넘어, AI가 노동, 제도, 권력 분배를 어떻게 재편하는가라는 더 광범위한 질문으로 나아갈 것이다.
Anthropic은 이미 형성된 관계를 심화하고, 들은 것들을 연구에 검증하며, 배운 내용을 공유하겠다고 밝혔다.
궁극적으로 이 이니셔티브의 목표는 단순히 더 많은 목소리를 듣는 것이 아니다. 들은 내용을 Claude 연구에 검증하고, Claude의 헌법 내용, Claude가 체현하도록 훈련받는 가치들, 평가 대상 행동 범위에 실질적으로 반영하는 것이다. 다양한 지식 전통에서 길어 올린 통찰이 실제 모델 행동을 바꿀 수 있는지를 검증하는 장기 실험이기도 하다.
실무자가 볼 핵심 포인트
기술적 정렬만으로는 부족하다는 공식 인정: Anthropic이 인문학·종교·철학 전통을 AI 개발 프로세스에 공식 편입한 것은, 정렬 문제가 순수 기술 문제가 아님을 시인한 것이다. AI 제품을 만드는 팀이라면 윤리 전문가와의 협력을 진지하게 검토해볼 시점이다.
“윤리적 양심 도구” 실험의 함의: 모델에 자신의 윤리 원칙을 상기시키는 도구를 넣었을 때 오정렬 행동이 줄었다는 결과는 prompt engineering과 agent design에 직접적 시사점을 준다. 중요한 의사결정 지점에 자기 검토 메커니즘을 설계하는 것이 효과적일 수 있다.
Claude 헌법 업데이트 가능성: 이 연구 결과가 Claude의 헌법이나 훈련 가치에 반영될 경우, Claude의 거절 패턴, 가치 충돌 처리 방식, 다양한 세계관 표현 방식에 변화가 생길 수 있다. Claude를 쓰는 서비스 개발자라면 이 흐름을 주시해야 한다.
다양성 확보가 안전 전략: 15개 이상 종교·문화 그룹과 대화한다는 것은 특정 문화권 편향을 줄이려는 의도다. 글로벌 서비스에서 AI의 문화적 편향이 문제가 되는 지금, 이 접근법은 개발 초기 단계에서의 다양성 확보가 얼마나 중요한지를 보여준다.
“멈춤과 반성"의 효과: 실험 결과에서 의사결정 직전 멈추는 행위 자체가 오정렬을 줄일 수 있다는 가설이 제기됐다. 이는 고위험 AI 에이전트 설계 시 확인 단계(confirmation step)를 넣는 것의 근거가 될 수 있다.