Anthropic, Claude의 성격과 원칙을 담은 '새 헌법' 공개

헌법이란 무엇인가

Anthropic은 헌법을 'Claude가 누구인지 표현하고 형성하는 기초 문서'라고 설명합니다. Claude가 어떤 가치를 지니길 바라는지, 그 이유는 무엇인지, 정직과 배려가 부딪치는 상황 같은 어려운 경우를 어떻게 다룰지를 담았습니다. 사람이 읽을 수도 있지만 주된 독자는 Claude 자신이라고 밝혔습니다.

회사는 이 문서를 Claude 행동에 대한 '최종 권위'로 둔다고 했습니다. 다른 학습이나 지시는 헌법의 문구와 취지에 맞아야 한다는 뜻입니다. 다만 학습은 어려운 일이어서 Claude의 실제 출력이 헌법의 이상과 항상 맞지는 않을 수 있다고 스스로 적었습니다.

무엇이 달라졌나

Anthropic은 2023년부터 'Constitutional AI'라는 방식으로 Claude를 학습시켜 왔습니다. 이전 헌법은 독립된 원칙 목록이었습니다. 새 헌법은 규칙을 기계적으로 따르게 하기보다, 이유를 설명해 처음 보는 상황에서도 넓은 원칙을 적용할 수 있게 하는 데 초점을 뒀습니다.

규칙의 장점도 인정했습니다. 명확한 선은 예측 가능하고 검증하기 쉬워서, 특히 위험이 큰 행동에는 '하드 제약'으로 남겨 뒀습니다. 반면 규칙을 너무 엄격하게 적용하면 예상하지 못한 상황에서 잘못 쓰일 수 있다는 것이 방식을 바꾼 이유입니다.

네 가지 우선순위

헌법은 현재 모든 Claude 모델이 다음 네 가지를 갖추길 바라고, 서로 부딪치면 대체로 이 순서로 우선하라고 정했습니다.

• 넓은 의미의 안전: 지금 단계에서 사람이 AI를 감독하고 바로잡는 장치를 훼손하지 않기
• 넓은 의미의 윤리: 정직하고, 좋은 가치에 따라 행동하고, 해로운 행동 피하기
• Anthropic 지침 준수: 의료 조언, 사이버보안 요청 등에 대한 세부 지침 따르기
• 진정한 도움: 서비스를 만드는 운영자와 최종 사용자에게 실질적으로 도움 되기