"LLM을 자아를 가진 존재처럼 대하지 말고 다양한 관점/상황을 시뮬레이션 할 수 있는 기계로 취급하라는 안드레이카파시의 조언.

""xyz에 대해 어떻게 생각하세요?"" 가 아니라 ""xyz를 탐구하기에 적합한 사람들은 누구일까요? 그들은 무엇을 말할까요?"" 라고 물어보자고.

그의 본문과 댓글을 통해 해석해보자면 자아(?)라는 인식 자체가 추가 학습 과정에서 의도적으로 덧씌워지고 만들어진 층위기에, 우리가 쓰는 '당신'이라는 표현은 이전과정에서 만들어진 성격 임베딩 벡터를 기반으로 시뮬레이션하도록 (제한) 시켜 다양한 입장을 탐색할 때 오히려 방해가 될 수 있다는 얘기인 듯 하다.

이를 생각하다보니 이러한 이해가 AI를 잘 쓰기위한 방법론적 측면도 있겠지만 AI를 또다른 존재로 인지해서 발생하고 있는 다양한 문제들을 해결할 수 있는 시작점이 될 수도 있겠다는 생각이 들었다. 아이들에게 가르쳐줘야할 지식이자 관점.

다음은 댓글 내용

""당신"" 시뮬레이션을 설계하는 데 분명히 노력이 투입되고 있습니다. 검증 가능한 문제에서 모든 보상을 받거나, 사용자/심사 LLM으로부터 모든 추천을 받거나, SFT의 응답을 모방하는 그런 성격이죠. 그리고 그로부터 복합적인 성격이 자연스럽게 형성됩니다. 제 요점은 그곳의 ""당신""이 근본적으로 토큰 시뮬레이션 엔진 위에 의도적으로 덧씌워지고 설계된 층위라는 점입니다. 이는 평균적인 사람이 AI와 대화할 때 공감할 수 있는 방식으로 시간이 지나며 자연스럽게 형성된 마음과는 다릅니다.

검증 가능한 영역에서는 이야기가 좀 더 단순하지만, xyz 같은 주제에 대한 의견을 묻는 등 검증 불가능한 영역에서는 더 흥미롭고 복잡하다고 생각합니다. 대화 상대인 '너'가 어디서 왔는지, 어떤 신뢰도를 부여해야 하는지, 어떻게 생각해야 할지 덜 명확합니다.

There is definitely work going into engineering the ""you"" simulation - the personality that gets all the rewards in verifiable problems, or all the upvotes from users/judge LLMs, or mimics the responses of SFT, and there is an emergent composite personality from that. My point is more that the ""you"" there is deliberately bolted on, engineered and layered on what is fundamentally a token simulation engine, not a mind that is somehow emergent and over time constructed in a relatable way to an average person talking to an AI.

The story is a bit more simple in verifiable domains, but I think more interesting/complicated in the non-verifiable ones, such as for example asking about opinions on topics xyz. It's less clear how to think about the ""you"" that you're talking to or where it comes from and what credence you should give it."