AI 에이전트의 '기억력'을 현실로, 마크다운과 Git으로 구축하는 똑똑한 위키
단 3일 만에 전 세계 IT 업계를 떠들썩하게 만든 소식이 있습니다. 그것은 바로 AI 에이전트의 '기억력'을 혁신적으로 개선할 수 있는 새로운 시스템이 등장했다는 것입니다. 기존의 AI 모델들이 매번 새로운 세션마다 동일한 정보를 다시 학습해야 하는 한계를 넘어, 에이전트들이 일관성 있는 '집단 지성'을 구축하고 유지할 수 있게 된 것입니다. 마치 사람이 경험을 통해 배우고 성장하듯, AI 에이전트들도 이제 더 깊고 넓은 지식을 바탕으로 작업을 수행할 수 있게 된 셈이죠. 과연 이 놀라운 기술이 무엇이며, 우리의 미래를 어떻게 바꿀 수 있을까요?
도대체 어떻게 이게 가능한 거야?
이 시스템의 핵심은 바로 '지식 기반'을 구축하는 방식에 있습니다. 기존에는 AI 모델들이 각자 따로 떨어져서 작동하기 때문에, 이전 세션에서 학습했던 내용을 다음 세션으로 가져오기 어렵다는 문제가 있었습니다. 매번 똑같은 정보를 반복해서 입력해주어야 했고, 이는 AI 에이전트의 효율성과 일관성을 떨어뜨리는 주된 요인이었죠. 마치 학생이 매일 새 학기가 시작될 때마다 이전 학기 내용을 전부 잊어버리는 것과 같은 상황이라고 할 수 있습니다.
하지만 이 새로운 시스템은 AI 에이전트들이 '공유되는 지식 창고'를 가질 수 있도록 합니다. 이 창고는 바로 마크다운(Markdown)과 Git으로 구성됩니다. 마크다운은 우리가 흔히 문서 작성에 사용하는 가볍고 직관적인 형식이며, Git은 코드의 변경 이력을 관리하는 데 사용되는 강력한 도구입니다. 이 두 가지를 결합하여 AI 에이전트들이 지속적으로 정보를 기록하고, 수정하고, 공유할 수 있는 '살아있는 위키(Wiki)'를 만드는 것입니다.
각 에이전트는 자신만의 '사적인 노트'를 가지면서도, 팀 전체가 공유하는 '공동 위키'에도 기여할 수 있습니다. 마치 각자 일기를 쓰면서도, 팀 회의록이나 프로젝트 문서를 함께 만들어가는 것과 비슷하죠. 이렇게 축적된 정보는 단순한 텍스트 파일 이상의 의미를 가집니다. Bleve라는 검색 엔진과 SQLite라는 데이터베이스를 활용하여, 이 마크다운 파일들을 효율적으로 검색하고 관리할 수 있는 구조를 갖추고 있습니다.
재미있는 점은, 현재는 벡터 데이터베이스나 그래프 데이터베이스와 같은 복잡한 기술을 사용하지 않고도 이러한 성과를 달성했다는 것입니다. 즉, 핵심은 복잡한 기술이 아니라, AI가 이해하고 활용할 수 있는 '기록과 관리의 방식'에 있었다는 점을 시사합니다.
왜 갑자기 이런 시스템이 중요해졌을까?
최근 AI 기술의 발전 속도는 눈부십니다. OpenAI의 GPT 시리즈, Anthropic의 Claude, Google의 Gemini 등 강력한 언어 모델들이 끊임없이 등장하고 있습니다. 이러한 모델들은 뛰어난 언어 이해 및 생성 능력을 보여주지만, 여전히 '기억력'의 한계를 가지고 있습니다. 특히 여러 에이전트가 협력해야 하는 복잡한 업무를 수행할 때는, 각 에이전트가 일관된 정보를 공유하고 이전 작업을 기억하는 것이 필수적입니다. 예를 들어, 프로젝트 기획부터 실행, 결과 보고까지 여러 에이전트가 순차적으로 작업을 이어받아야 하는데, 이전 에이전트의 작업 내용을 제대로 기억하지 못하면 전체적인 흐름이 깨질 수밖에 없습니다.
이러한 문제를 해결하기 위해 많은 시도가 있었습니다. 데이터베이스를 사용하거나, 복잡한 시스템을 구축하는 방식이었죠. 하지만 이 시스템은 **기존의 익숙한 도구, 즉 마크다운과 Git을 활용하여 AI 에이전트들을 위한 '지식 공유 플랫폼'을 만들 수 있다**는 새로운 가능성을 제시합니다. 이는 AI 에이전트의 개발 및 활용에 있어 '진입 장벽'을 낮추는 동시에, '지속 가능하고 확장 가능한' 지식 체계를 구축할 수 있다는 큰 장점을 가집니다.
Karpathy 스타일이라는 표현에서도 알 수 있듯이, 이 아이디어는 이미 AI 분야의 전문가들 사이에서 오랫동안 논의되어 온 'LLM-native'한 지식 기반 구축에 대한 탐구를 현실화한 것이라고 볼 수 있습니다. AI 모델들이 단순히 정보를 소비하는 것을 넘어, 스스로 지식을 생성하고 관리하며 성장해나가는 미래를 그리게 하는 것이죠.
실제로 AI 에이전트는 어떻게 '기억'하고 '작업'하게 될까?
이 시스템은 AI 에이전트들이 '기억'하고 '협업'하는 방식을 구체적으로 정의합니다. 몇 가지 핵심적인 기능을 살펴보겠습니다.
- 개인별 노트와 공유 위키: 각 에이전트는 자신만의 작업 공간인 '노트북(.md)'에 일상적인 작업 내용을 기록합니다. 이 기록들은 검토 과정을 거쳐 '팀 위키'로 승격될 수 있습니다. 이 과정에서 에이전트나 사람이 직접 검토에 참여하며, 승격된 내용은 다시 원래 노트와 연결되어 정보의 출처와 흐름을 명확하게 합니다.
- 개체별 사실 기록 및 요약: 특정 '개체(entity)'에 대한 정보는 별도의 JSONL 파일로 관리됩니다. 마치 개체별로 '사실 일지'를 쓰는 것과 같습니다. 이러한 사실들이 축적되면, '요약 작업자(synthesis worker)'가 주기적으로 해당 개체에 대한 간략한 설명을 업데이트합니다. 중요한 점은, 이 업데이트 기록이 'Pam the Archivist'라는 가상의 git 사용자 명의로 커밋된다는 것입니다. 이를 통해 정보의 변경 이력이 명확하게 추적될 수 있습니다.
- [[위키 링크]]와 자동 검사: 마크다운 문서 안에서 `[[개체명]]`과 같은 형태로 다른 문서로 쉽게 연결할 수 있습니다. 만약 링크가 잘못되었거나 연결되지 않는 문서라면 빨간색으로 표시되어 쉽게 오류를 발견할 수 있습니다. 또한, 매일 자동으로 문서의 모순점, 오래된 정보, 잘못된 링크 등을 검사하는 '린트(lint)' 과정이 포함되어 있어 지식 기반의 품질을 유지합니다.
- 유연한 검색 기능: 사용자는 `/lookup`과 같은 명령어나 별도의 도구를 사용하여 필요한 정보를 검색할 수 있습니다. 짧고 간결한 검색어는 BM25 검색을 통해 빠르게 결과를 찾고, 좀 더 서술적인 질문에는 관련 정보를 찾아 답변을 생성하는 방식으로 작동합니다.
이러한 기능들은 AI 에이전트들이 단순히 주어진 명령을 수행하는 것을 넘어, 스스로 지식을 쌓고, 동료 에이전트들과 협력하며, 더 나은 결과물을 만들어낼 수 있는 환경을 제공합니다. 마치 숙련된 전문가 팀이 함께 일하는 것과 같은 시너지를 기대할 수 있는 것이죠.
나한테는 어떤 영향이 있을까?
이 시스템은 우리 모두에게 직접적인 영향을 미칠 수 있습니다. 먼저, AI 에이전트와의 협업 방식이 근본적으로 달라질 것입니다. 기존에는 AI를 단순히 '도구'로 인식했다면, 이제는 '협력자'로서 인식하게 될 것입니다. AI 에이전트가 이전 대화 내용을 기억하고, 우리의 작업 스타일을 학습하며, 프로젝트 전반의 맥락을 이해하게 된다면, 우리는 훨씬 더 효율적이고 창의적인 결과물을 얻을 수 있을 것입니다.
예를 들어, 복잡한 보고서 작성이나 데이터 분석 업무에서 AI 에이전트가 초기 자료 수집부터 초안 작성, 최종 검토까지 일관성 있게 참여할 수 있게 됩니다. 또한, 새로운 프로젝트가 시작될 때마다 이전 프로젝트의 성공 사례나 실패 사례를 AI 에이전트가 자동으로 학습하여 제안해 준다면, 시행착오를 줄이고 더 나은 결정을 내릴 수 있을 것입니다. 이는 마치 경험이 풍부한 동료가 곁에서 끊임없이 조언을 해주는 것과 같은 효과를 낼 수 있습니다.
개인적으로는, 자신의 지식을 체계적으로 관리하고 싶은 사람들에게도 매력적인 솔루션이 될 수 있습니다. 자신의 아이디어, 학습 내용, 프로젝트 기록 등을 마크다운 파일로 관리하고 Git으로 버전을 관리한다면, 시간이 지나도 잊히지 않는 '나만의 지식 자산'을 구축할 수 있습니다. 또한, 이러한 지식 기반을 AI 에이전트와 연결하여 활용한다면, 단순히 정보를 저장하는 것을 넘어 지식을 '살아 움직이는 자산'으로 만들 수 있습니다.
WUPHF라는 이름으로 공개된 이 프로젝트는, AI 에이전트들을 위한 '협업 사무실'을 표방합니다. 마치 여러 직원이 한 사무실에 모여 소통하고 협력하듯, AI 에이전트들이 하나의 '공유된 뇌'를 가지고 함께 일하는 환경을 만드는 것이죠. 이는 AI가 우리 업무와 삶에 더욱 깊숙이 통합될 미래를 보여줍니다.
결국 핵심은 '기록과 공유, 그리고 연결'
이 시스템이 시사하는 바는 명확합니다. AI 에이전트의 능력을 극대화하는 것은 단순히 더 강력한 모델을 개발하는 것을 넘어, AI가 지식을 효과적으로 '기억'하고, '공유'하며, '연결'할 수 있는 환경을 구축하는 것에 달려 있습니다. 마크다운과 Git이라는 익숙한 도구를 활용하여 복잡한 AI 에이전트 시스템의 '지식 기반'을 단순하면서도 강력하게 만드는 이 접근 방식은, 앞으로 AI 기술의 발전 방향에 중요한 시사점을 제공합니다. AI 에이전트들이 과거의 나를 기억하고, 동료들과 협력하며, 더 똑똑하게 성장해나가는 미래, 이제는 현실이 될 가능성이 높아졌습니다.
원문 참고: https://github.com/nex-crm/wuphf
댓글 쓰기