AI의 병목은 기억력이다

최근 이틀 동안 특정 분야 상담 모델 구축을 위한 데이터 생성 작업을 Opus 4.5와 함께 했다. 그 과정에서 몇 번이나 감탄하는 순간을 경험했다.

Opus 4.5는 무엇이 달라졌나.

물론 Opus 4.5는 기존에도 계속 쓰고 있었다.

달라진 점이 있다면, 이전에는 프로젝트 전반을 이해해야 하는 작업이었는데 반해, 이번에는 몇 개의 파일 정도만 고려하면 되는 작업이었다는 것이다.

상대적으로 쉬운 작업이니 잘하는 게 당연한 거 아니냐고 물을 수도 있겠다. 하지만 봐야 할 컨텍스트가 줄어든 상태에서 체감되는 이놈의 지능은 이전과는 비교할 수 없을 만큼 높아졌다.

내가 시켜놓고 ""아 이것도 시켜야 하는데 빠트렸네. 다시 해야지"" 하는 순간에 이미 그걸 알아채고 나에게 다시 물어보거나 수행하고 있었다. 거기서 한 발 더 나아가 내가 생각치 못했지만 꼭 해야하는 일을 해주었다.

사실 필요 없는 일을 하는 멍청함과 알잘딱 알아채고 필요한 일을 하는 것은 한 끗 차이다. 지금까지는 전자가 대부분이었는데, 이번에는 대부분 후자였다. 똑똑한 인간에게 동일한 환경에서 동일하게 지시해도 이 정도로 할 수 없을거란 생각이 들었다. 좁은 컨텍스트라는 환경에서는 이미 어떤 인간보다 뛰어난 듯 하다. 속도는 물론이고 질적인 면에서.

그래서 핵심은 어떻게 컨텍스트를 제한시킬 것인가 이다.

이를 위해서는 코드를 바라보는 관점에 있어서도 전환이 필요할 것 같다. 모듈화 단위를 함수가 아닌 좀 더 큰 단위, 앱 보다는 작지만 함수보다는 큰 라이브러리 수준으로 보는 시각이 필요할 것 같다.

이렇게 하면 컨텍스트를 제한시켜 AI 성능을 극대화할 수 있을 뿐만 아니라, 이로 인해 극대화된 AI 성능을 활용하여 라이브러리 내부에 대한 세부 구현은 온전히 AI에게 맡길 수 있고, 그럼 테스트와 검증의 단위도 개별 함수가 아닌 라이브러리 수준으로 높일 수 있게 된다. 사실 AI와 개발에 있어 가장 큰 병목이 코드 모듈화, 그리고 문서와 테스트코드의 지속적인 관리인데, 이걸 함수 수준이 아닌 라이브러리 수준으로 높인다면 결과적으로 훨씬 적은 개입과 빠른 개발이 가능해진다.

AI의 병목은 인지능력이 아니라 기억력

아직 인간이 AI에 비해 우위에 설 수있는건 짧은 시간에 많은 양을 이해하지도, 이를 기반으로 한 추론 능력이 더 뛰어나지도 못하지만, 암묵적으로든 명시적으로든 맥락을 기억하고 필요한 것을 나도 모르게 기억에서 인출할 수 있는 능력 때문이 아닐까. AI든 컴퓨터든 저장소가 내부/외부, 단기/장기 처럼 2개로 완전히 분리되는 2-stage를 탈피하여 인간처럼 애매모호한 경계의 연속선상에서 기억하는 방식, 또는 인지능력과 고용량의 기억력이 완전히 하나의 지능으로 통합되는 진화가 다음 시대의 AI를 열 수 있는 키일지도.

미래 협업의 모습은

• 여기까지 생각이 미치니 가까운 미래에 대부분이 프리랜서처럼 일할 거라는 내가 가지고 있던 미래상이 흔들렸다. 프리랜서를 고용해서 할 만큼 어느정도 분리된 태스크라면 섭외의 용이함, 채용 비용, 무엇보다 시키기 위해 태스크를 문서화하고 이해시키기 위해 들여야 하는 커뮤니케이션 비용 등 모든 면에서 AI가 인간보다 월등해질텐데, 과연 인간 프리랜서 시장이 워킹할 수 있을까?

물론 초반에는 정보격차로 인해 인간 프리랜서 시장이 활성화 될 수도 있고, 조금 지나면 개인이 아닌 인간과 agent가 결합된 그룹이 프리랜서 시장 플레이어로 활동할거고, 커뮤니케이션 코스트를 낮추기 위해 사이의 소통에도 AI가 연계할테지만, 이는 일시적인 현상일뿐일 것 같다. 인간들이 협업해야만 하는 큰 규모의 태스크는 지금처럼 회사의 형태를 유지하고, 그렇지 않으면 모두가 1인 기업처럼 살아가는 양극화된 형태가 좀 더 확률이 높아 보인다.

그 밖의 생각들

• 앞으로의 프롬프팅에는 무엇을 하라고(what) 시키는 것보다 왜 하는지(why)에 대해 알려주는 게 점점더 중요해질 것 같다. 비슷한 얘기가 최근에 업데이트된 GPT 프롬프트 가이드에도 있었던 것 같은데, 직접 체감해보니 확실히 그렇다. why를 알면 이놈은 더 적절한 what을 스스로 도출한다.

• AI 구독을 이미 쓴 매몰비용으로 간주한다면 이제 이런 작업에 필요한 비용은 이미 무료다. API가 아닌 Claude Code나 Codex 등을 CLI로 직접 콜하는 방식으로 꽤 많은 데이터를 공짜로 생성했다. 안정화 단계의 태스크라면 Claude Code 남은 usage를 모니터링하고 태스크 돌리는 걸 스케줄링화하면 효율을 극대화할 수 있겠다."