AI 모델 비용, 고급 모델로 오히려 낮춘 비결은?
단 3일 만에 전 세계 IT 업계가 뜨겁게 달아올랐습니다. 바로 최신 AI 모델의 등장 때문인데요. 그런데 여기, 최첨단 AI 모델을 사용하면서도 오히려 비용은 절감했다는 놀라운 이야기가 있습니다. 그것도 'Opus'라는 이름의 강력한 모델을 사용하면서 말이죠. '아니, 비싼 최신 AI를 쓰면 비용이 더 많이 드는 거 아니야?'라고 생각하시겠죠. 하지만 Mendral이라는 회사는 정반대의 경험을 했다고 합니다. 오늘은 이 흥미로운 이야기와 함께, 우리에게 어떤 인사이트를 줄 수 있는지 함께 파헤쳐 보겠습니다.
최신 AI 모델 'Opus', 그런데 비용은 왜 내려갔을까?
최근 IT 업계에서는 OpenAI의 'Opus' 같은 최신 AI 모델들이 연달아 출시되며 성능 경쟁을 벌이고 있습니다. 이 모델들은 이전 세대 모델들에 비해 훨씬 복잡하고 방대한 양의 정보를 처리할 수 있다는 장점이 있죠. 그래서 많은 기업들이 더 나은 결과와 효율성을 기대하며 이러한 고급 모델로 업그레이드를 시도합니다. 하지만 일반적으로 고급 모델일수록 사용 비용이 높아지기 마련입니다. 그런데 Mendral은 최신 모델인 Opus를 사용하면서 이전 세대 모델인 'Sonnet'을 사용할 때보다 오히려 비용이 감소했다고 말합니다. 도대체 어떻게 이런 일이 가능했을까요?
80%의 실패는 비싼 모델에게 맡기지 않는다는 전략
Mendral의 핵심 전략은 '모든 문제를 가장 비싼 AI 모델이 다 처리하게 하지 않는다'는 것입니다. 이들은 자신들의 시스템에서 발생하는 전체 문제 중 80% 이상이 이미 파악되었거나, 비교적 단순한 원인으로 발생하는 '반복적인 문제'라고 분석했습니다. 예를 들어, 며칠 전에도 발생했던 동일한 테스트 오류라거나, 일시적인 네트워크 문제 같은 것들이죠. 이런 문제들을 해결하기 위해 매번 최고 성능의 Opus 모델을 호출하는 것은 비효율적인 낭비라는 것입니다.
그래서 Mendral은 '트리아저(Triager)'라는 패턴을 도입했습니다. 먼저, 빠르고 저렴한 AI 모델인 'Haiku'에게 '이 문제는 이미 해결된 적이 있는가?' 또는 '기존에 보고된 문제인가?'를 판단하는 임무를 맡깁니다. Haiku는 수백 테라바이트의 CI(Continuous Integration) 로그 데이터를 분석하여 이미 파악된 문제인지, 아니면 새로운 문제인지 구분합니다. 이 과정에서 80%의 반복적인 문제는 Opus에게 전달되지 않고, Haiku 선에서 대부분 해결됩니다.
결과적으로 Opus가 실제로 분석하게 되는 문제는 전체의 20% 미만이며, 이마저도 대부분은 로그를 '읽는' 것이 아니라 '특정 정보를 요청'하는 방식으로 처리됩니다. 이러한 '선별 과정' 덕분에 Opus 모델의 사용 빈도를 획기적으로 줄이면서도, 복잡하고 새로운 문제에 대해서는 최고 수준의 성능을 활용할 수 있게 된 것입니다.
고급 모델에게 '정보를 끌어오게' 하는 똑똑한 방식
또 다른 중요한 비결은 바로 AI 모델에게 '데이터를 직접적으로 주입하는 방식'을 버렸다는 점입니다. 많은 경우, AI 모델에게 분석을 요청할 때 필요한 모든 로그 데이터나 관련 정보를 미리 추려서 프롬프트에 넣어줍니다. 하지만 Mendral은 이와 반대되는 방식을 취했습니다. 그들은 Opus에게 직접 데이터를 던져주는 대신, ClickHouse라는 데이터베이스에 SQL(Structured Query Language) 인터페이스를 제공했습니다.
이렇게 하면 Opus 모델은 자신이 필요한 정보가 무엇인지 스스로 판단하고, ClickHouse에 직접 쿼리를 날려 원하는 데이터를 가져오게 됩니다. 이는 마치 경험 많은 개발자가 문제를 해결할 때, 필요한 정보가 어디에 있는지 스스로 찾아가는 것과 같습니다. 사용자는 어떤 정보가 중요할지 미리 예측하고 큐레이션할 필요 없이, AI 모델에게 '데이터 접근 권한'만 주는 셈이죠.
이 방식의 장점은 두 가지입니다. 첫째, 방대한 양의 로그 데이터를 모두 프롬프트에 담을 필요가 없어 토큰 비용을 절감할 수 있습니다. 둘째, AI 모델이 데이터에 대한 편견 없이 스스로 문제 해결에 필요한 맥락을 탐색할 수 있게 되어, 더 정확하고 심층적인 분석이 가능해집니다. 만약 AI가 처음부터 제한된 정보만 받는다면, 실제 문제의 원인이 그 정보 안에 없을 경우 해결이 어려워질 수 있습니다. 데이터를 AI 스스로 탐색하게 함으로써, 예상치 못한 문제까지도 효과적으로 발견할 가능성을 높인 것입니다.
똑똑한 '하위 에이전트'를 활용한 문제 해결
Opus와 같은 고급 모델은 단순히 문제를 분석하는 것뿐만 아니라, 문제 해결을 위한 '하위 에이전트'를 생성하고 지시하는 역할까지 수행합니다. Mendral의 시스템에서는 Opus가 복잡한 문제의 가설을 세우고, 그 가설을 검증하기 위해 필요한 구체적인 작업을 수행할 '하위 에이전트'를 만들어냅니다. 각 하위 에이전트에게는 '무엇을 검색해야 하고, 어떻게 검색해야 하며, 어떤 형태로 결과를 반환해야 하는지'에 대한 명확한 지시가 내려집니다.
이때 중요한 것은, 이 하위 에이전트들은 한 단계 깊이까지만 작동하도록 제한된다는 점입니다. 즉, 하위 에이전트가 또 다른 하위 에이전트를 만들지는 못합니다. 이는 마치 팀 프로젝트에서 각 팀원이 자신의 역할을 충실히 수행하지만, 무한정 하위 단계를 만들지 않아 전체적인 관리와 비용 통제가 용이해지는 것과 같습니다. 이러한 '계층적 에이전트 구조'는 불필요한 리소스 낭비와 통제 불능 상태로 이어지는 '런어웨이 비용'을 방지하는 데 결정적인 역할을 합니다.
예를 들어, 몇 주 전 Storybook CI 작업에서 pnpm install 단계에 오류가 발생했습니다. Opus는 즉시 'gyp ERR! not found: make'라는 오류 메시지를 감지하고, 해당 오류가 발생한 CI 로그를 확인했습니다. ClickHouse에 관련 로그가 아직 충분히 축적되지 않았다는 것을 인지한 Opus는, GitHub CLI를 이용해 로그를 가져오는 하위 에이전트를 생성했습니다. 결과적으로 'make'가 러너에 없어서 're2' 모듈이 컴파일되지 않았다는 근본적인 원인을 빠르게 파악할 수 있었습니다. 이처럼 Opus는 문제의 초기 징후를 파악하고, 필요한 추가 정보를 수집하며, 심지어 이전 14일간의 실패 추세를 분석하여 문제가 발생한 시점을 특정하는 등 다단계의 분석 과정을 효과적으로 수행했습니다.
결국 우리가 알아야 할 것: 전략적 AI 활용의 힘
Mendral의 경험은 AI 모델의 성능이 곧 비용으로 직결된다는 단순한 공식이 항상 성립하지 않음을 보여줍니다. 핵심은 '어떤 AI 모델을, 어떤 방식으로 활용할 것인가'에 대한 전략입니다.
첫째, 가장 강력하고 비싼 모델은 '결정적인 순간'을 위해 아껴두어야 합니다. 대부분의 반복적이거나 단순한 문제는 더 가볍고 저렴한 모델로 해결하고, 복잡하거나 새로운 문제에만 최고 성능의 모델을 투입하는 '계층적 접근'은 비용 절감의 핵심입니다.
둘째, AI에게 '스스로 필요한 정보를 찾아오게' 하는 프롬프트 엔지니어링이 중요합니다. 모든 데이터를 미리 가공하여 주입하는 대신, AI가 데이터베이스나 API에 접근하여 필요한 맥락을 스스로 탐색하게 함으로써 효율성과 정확도를 동시에 높일 수 있습니다.
셋째, AI 에이전트의 동작 범위를 명확히 제한하고 관리해야 합니다. 특히 복잡한 작업을 수행할 때는 하위 에이전트의 깊이를 제한하여 통제 불능의 비용 상승을 막는 것이 필수적입니다.
이러한 전략들은 단순히 IT 업계뿐만 아니라, AI 기술을 도입하려는 모든 분야에 중요한 시사점을 던져줍니다. 앞으로 우리도 AI를 단순한 '성능 경쟁'의 도구가 아닌, '비용 효율적인 문제 해결'을 위한 '전략적 파트너'로 바라보아야 할 것입니다. 최신 기술의 발전이 반드시 우리에게 더 큰 부담으로 다가오는 것은 아니라는 것을 Mendral의 이야기가 증명해주고 있습니다. AI를 똑똑하게 사용한다면, 더 나은 성능을 누리면서도 지갑은 가볍게 유지할 수 있다는 희망적인 메시지를 말이죠.
원문 참고: https://www.mendral.com/blog/frontier-model-lower-costs
댓글 쓰기