AI & Society·2023년 10월 23일
LLM JSON 출력의 현실적 문제
LLM을 이용할때 하나가 아닌 여러개의 아웃풋을 생성해야하는 경우 보통은 JSON을 씁니다. 문제는 열중 아홉은 괜찮다가 가끔씩 JSON포맷인거 같은데 아닌 아웃풋이 출력되는 것인데요. 콤마가 빠지거나 따옴표가 빠지거나...
이게 서비스로 가면 굉장히 큰 문제라 자체적인 아웃풋 포스트프로세서를 만들어서 쓰고 있는데 이를 위한 레포를 어떤 분이 만들어주셔서 공유해봅니다.
(이와 별개로 하나의 팁은 아웃풋 포맷 관련 문구를 가장 마지막 유저 메시지로 넣으면 훨씬 좋아집니다. 물론 어떻든 서비스를 하려면 보완코드를 만들어두는건 필수일테구요)
As I was experimenting with LLMs, I found out that a very powerful way to get structured data out of GPT was to get a JSON formatted string.
The problem is that LLMs often make mistakes in the output… | Stefano Baccianella | 34 comments
As I was experimenting with LLMs, I found out that a very powerful way to get structured data out of GPT was to get a JSON formatted string.
The problem is that LLMs often make mistakes in the output (forget commas, forget to close a parentheses, ...) and I was surprised to learn that there was no library available in python.
So I wrote one.
It linkedin.com
ai-llmai-product
Related
AI & Society·2025년 10월 28일
3사 AI 리서치 비교해보기
3사 AI 리서치 기능을 업무용으로 비교한 결과, 클로드가 858개 출처에서 100여 개 데이터셋을 찾아내며 압도적이었다. 정보 수집 작업에서 에이전틱 동작의 차이가 크다.
AI & Society·2023년 10월 13일
Stateful API가 기대되는 이유
OpenAI Stateful API 루머에 대한 기대. 대화 이력을 유지하면서 연속 호출하는 방식이 가능해지면 결과 품질이 크게 올라갈 수 있다.
AI & Society·2025년 12월 9일
카파시는 LLM을 자아를 가진 존재가 아니라 시뮬레이션 엔진으로 대해야 한다고 조언한다. 이 관점은 AI 활용법을 넘어 AI를 존재로 인식하는 문제의 해결 시작점이 될 수 있다.