Stateful API가 기대되는 이유
다음 달에 OpenAI에서 Stateful API를 공개한다는 루머가..!
이게 어느 정도 조작가능한 수준으로 제공될지는 모르겠지만, 이전 대화 내역을 기억하고 유지해준다면, 속도 문제가 크리티컬 하지 않는 상황에서는 연속 N번 콜 하는 방식을 적극적으로 검토해볼 수 있을듯 하다.
현재는 인풋이 긴 경우 2번 콜하는게 부담스러워 대부분의 경우에는 Step으로 가이드하고 한번에 다 몰아 콜 하는데 결과물만 놓고 보자면 한번 콜한 결과(Step1)를 기반으로 다시 콜(Step2) 하는 경우가 훨씬 좋기에...
The planned release of the so-called stateful API (Application Program Interface) will make it cheaper for companies to create applications by remembering the conversation history of inquiries.
Related
3사 AI 리서치 비교해보기
3사 AI 리서치 기능을 업무용으로 비교한 결과, 클로드가 858개 출처에서 100여 개 데이터셋을 찾아내며 압도적이었다. 정보 수집 작업에서 에이전틱 동작의 차이가 크다.
LLM JSON 출력의 현실적 문제
LLM의 JSON 아웃풋이 가끔 깨지는 문제와 이를 위한 후처리 도구 소개. 포맷 지시를 마지막 유저 메시지에 넣는 것이 실용적 팁이다.
카파시는 LLM을 자아를 가진 존재가 아니라 시뮬레이션 엔진으로 대해야 한다고 조언한다. 이 관점은 AI 활용법을 넘어 AI를 존재로 인식하는 문제의 해결 시작점이 될 수 있다.