"OpenAI devday 요소 분리해서 생각해보기.
""OpenAI API 써주시는 우리 고갱님들 뭐가 불편하세요? 음 너무 요청사항이 많으니까... 그냥 다 해결해드릴게요(?)""
- 출력을 JSON으로만 하고싶은데 잘 안돼요 -> JSON만 츨력하게 해드립니다. JSON 모드
- Temperature 0으로 해도 계속 값이 달라지니 실 서비스에 쓰기 어려워요 -> 파라미터로 seed 넣으면 됩니다.
- 아웃풋이 텍스트로만 나오니 결과 활용이 제한적이에요 -> log probabilities 알려드릴게요(즉 실제 확률값을 통해 고객에게 정해진 결과가 아닌 여러 결과 중 선택할 수 있도록 제공할 수 있게 됨)
- Rate limit 맨날 걸려요. Azure랑 같이 쓰면서 에러 보완코드 써야하나요? -> 2배 늘려드립니다.
- API call state 유지안되니 여러번 콜 해서 결과 얻으려면 토큰 낭비가 심해요 -> Assistants API에서 Threading 지원해드려요.
""RAG? Agent? ㅋㅋ 그냥 고민하지 말고 저희꺼 갖다 쓰세요. 동시에 여러개, 알아서 선택해서 호출해줍니다""
- Assistants API에서 Retrieval, Code interpreter + function calling 지원 (retriever 지원 파일이 Assistant당 512 MB 파일을 20 개 까지...)
- 입력 가능한 컨텍스트 128,000까지
- 데이터 학습 2021년 9월에서 2023년 4월까지 반영.
""이번에도 성능 또 업글해드렸어요. 물론 가격도 싸게 해주는 센스!"" (이건 이젠 뭐 놀랍지도 않다. 전 세계가 따라잡으려고 하는데도 아직 못따라 갔는데 또 달아남...)
""새로운 모델도 지원해 드립니다.""
- GPT4도 파인튜닝 지원
- 모달리티 모델도 API로 제공 (GPT-4 Turbo with vision, DALL·E 3, TTS 등 모두 API 로 사용 가능.)
- Whisper V3도 API로 제공
""일반 이용자님들도 OpenAI 가지고 이것저것 만들어보세요. 돈도 드려요"": 진정한 자연어 코딩의 시대 도래
- GPTs, GPT Store: 단순히 프롬프트 짜서 넣으면 챗봇 만들수 있게 해준다가 아니라 일부 개요만 넣으면 gpt가 알아서 적절한 프롬프트와 선택지까지 알아서 넣고, 직접 편집할 수 있게 해줍니다. 이건 직접 시연연상(댓글)을 보시는걸 추천.
단상
-
시장핏뿐만 아니라 'OpenAI핏'도 고민해야하는 시대. 얘네가 앞으로 어느 방향으로 갈지에 대한 예측이, 그리고 OpenAI에 대한 '믿음(?)' 이 동시에 필요한 시대가 아닌가 합니다. 즉 1. 얘네가 만들거 개발하지 않기, 2. 얘네가 업데이트 할거 같은건 됐다고 믿고 딴거 개발하고 있기(즉 AI 모델 속도, 성능, 컨텍스트 길이, 가격은 고민하지 마라) 등...
-
API 래핑수준의 앱들은 물론이고 OpenAI API를 활용하지만 추가적인 기술을 덧대서 기술 moat를 구축하던 스타트업들도 위기 ㅠㅠ CharacterAI 같은 곳들도 엔터테인먼트쪽까진 모르겠지만 생산성쪽 챗봇들은 다 털릴지도 모르겠네요. 조금 더 오버하면 진짜 기술력이 아니라 OpenAI느님이 주신 불을 활용하여 누가 사용성 좋은 앱을 빨리만들어서 커뮤니티를 먼저 구축하냐의 싸움이 될 지도.
-
개인적으로는 retriever, 특히나 한국어 RAG쪽은 인풋에 맞는 적절한 전처리가 필요하고 여전히 임베딩모델의 병목으로 여러 작업들이 필요하기에, 이를 플랫폼 수준에서 제공하는건 어렵고 여전히 틈이 있다고 보여지지만... OpenAI라면 또 언제 어떻게 해결할지 잘 모르겠습니다.
-
1인 개발자가 개발하고 살아가기는 너무 좋은 세상이 됨과 동시에, 회사 수준에서 회사가 돌아갈만한 이득을 얻기에는 어려워지는 세상이 되는게 아닐까...
-
Llama는 물론이고 Langchain 같은 오픈소스 생태계에도 꽤나 큰 영향이 있을듯. 특히 Langchain은 사람들이 1. 여러 모델들을 복합적으로 사용해야 하거나 전환 가능서이 높다고 여겨질 때, 2. 실제로 쓰려면 전처리 모듈 등 부가적인 코딩이 필요할 때여야 쓰게 되는건데 OpenAI API의 확장성은 이 두 조건 모두를 집어 삼키는 중.
-
Text/Vision/Audio의 상호 전환 가능 기존 LLM에 vision이 더해지고 여기에 DALL·E 3, Whisper, TTS 모델이 더해졌는데, 결과적으로 input과 아웃풋의 모든 요소, 텍스트, 비전, 오디오가 서로 전환가능해짐. 그럼 output이 input이 되고 input이 output이 되고... Text/Vision/Audio <-> Text/Image/Audio 간 순환이 가능해짐. 여기서 새로운 서비스 기회가...
-
내가 API 사용자로서 느꼈던 문제들을 거진 다 해결해준 느낌. 근데 이걸 고객의 니즈나 시장을 잘 안다고 해야하는건지, 아님 그냥 우린 잘하니 우선순위 모르겠고 싸그리 다 해결해준다고 해야하는건지 모르겠네요. 이게 어떻게 가능한거야... 이전에 기고했던 글에서 기술만 잘하는 기업이 아니라 비즈니스도 너무 잘한다고 그랬는데 그냥 기술력이 미친듯이 뛰어난걸지도...
-
OpenAI는 이런 발표 전에 매번 기술문서를 잘 정리해서 업데이트 해놓는다. 더 대단한건 이런 대규모 발표가 아니더라도 거의 수시로 업데이트 된다는 것. 가끔씩 들어가보면 매번 이번주에 업데이트 되었다고 적힌 모습을 볼 수 있다. 아마도 이거만 담당하는 포지션이 따로 있을듯"