LLM 기반 자동 위키 컴파일 도구 ‘OpenKB’ 기술 분석 보고서

#

1. 개요 및 배경

#

최근 대형 언어 모델(LLM)을 활용한 지식 관리 솔루션으로 검색 증강 생성(RAG, Retrieval-Augmented Generation)이 각광받고 있으나, 전통적인 RAG 시스템은 정보가 필요할 때마다 실시간으로 벡터 데이터베이스에서 관련 청크를 검색하는 일회성(Stateless) 아키텍처에 의존함. 이로 인해 다수의 문서에 흩어져 있는 기존 지식의 누적, 교차 참조(Cross-reference), 상호 모순되는 정보의 자동 식별 및 정제가 어렵다는 근본적인 한계가 존재함.

AI 분야의 오피니언 리더인 안드레 카파시(Andrej Karpathy)는 지식을 실시간으로 단순 검색하는 것을 넘어, 지속적으로 위키(Wiki) 형태로 컴파일하고 업데이트하는 상시 구조화 방식의 필요성을 제기한 바 있음. 오픈소스 커맨드라인 도구인 OpenKB는 이러한 철학을 완벽히 구현하여, 다양한 형식의 정형·비정형 문서 집합을 LLM을 통해 가시성 높은 요약 페이지, 개념 페이지, 상호 참조 링크가 내장된 ‘상호작용형 지식 베이스(Knowledge Base)‘로 자동 빌드 및 영속화해 주는 기술 프레임워크임.

2. 전통적 RAG vs OpenKB 위키 컴파일 아키텍처 비교

#

3. 핵심 동작 아키텍처 및 처리 메커니즘

#

OpenKB의 핵심 파이프라인은 입력 문서의 분량에 따른 가변적 처리 방식 및 영속적 컴파일 구조를 취함.

3.1 멀티모달 문서 수집 및 전처리

#

• 마이크로소프트의 markitdown 라이브러리를 통해 PDF, Word, Markdown, PPT, HTML, Excel 등 다양한 이종(Heterogeneous) 문서를 파싱함.
• 이미지, 표, 도표 등을 네이티브 멀티모달 프레임워크를 통해 추상화하여 표준 마크다운(Markdown) 포맷으로 통일함.

3.2 분량별 적응적 처리 아키텍처 (Adaptive Processing Pipeline)

#

• 단기 문서 (< 20페이지): LLM이 전체 컨텍스트를 직접 분석하여 핵심 개체명(Entity) 및 관계(Relationship)를 파악하고 개념을 추출함.
• 장기 문서 (>= 20페이지): ‘PageIndex’ 기법 기반의 계층적 요약 트리를 구축함. LLM이 이 트리를 횡단 탐색하는 방식으로 컨텍스트 창 제한을 극복하고, 토큰 소모를 방지하면서 정확성을 확보함.

3.3 상태 보존형 영속적 컴파일 (Stateful Incremental Update)

#

• 신규 문서 수집 시 단순 임베딩 벡터를 적재하는 방식 대신, 기존의 ‘개념 페이지’와 ‘요약 페이지’를 로드하여 수정·보완하거나 신규 노드를 생성함.
• 문서 하나가 추가될 때마다 평균 10~15개의 관련 위키 페이지가 유기적으로 업데이트되며, 지식 네트워크가 지속 확장됨.

[이종 문서 수집 (PDF, DOCX 등)] 
            │
            ▼
     [Markitdown 변환]
            │
            ├─► 단기 문서 (<20p): LLM 직접 분석 및 Concept 추출
            └─► 장기 문서 (>=20p): PageIndex 트리 구조화 후 계층적 탐색
            │
            ▼
[Incremental Wiki Compilation]
- 요약 페이지 병합 및 신규 생성
- 개념 노드 업데이트
- [[wikilinks]]를 통한 관계 매핑
            │
            ▼
[Obsidian 호환 Markdown 로컬 저장]

4. 주요 기능 인터페이스 (CLI)

#

OpenKB는 엔지니어링 및 실무 환경에서 직관적인 제어가 가능하도록 강력한 CLI 명령어를 제공함.

• openkb query / openkb chat: 위키 기반의 1회성 또는 멀티턴(Multi-turn) 구조적 대화 수행.
• openkb lint: 지식 베이스의 정합성을 자체 검증하여 데드링크(Orphan page), 상호 모순, 오래된 정보를 탐지 및 교정.
• openkb watch: 로우(Raw) 디렉터리를 실시간으로 감시하여 파일 추가/수정 시 위키를 자동으로 즉각 갱신.

5. 산업적 시사점 및 한계점

#

5.1 비즈니스 시사점 (데이터 주권 확보)

#

• 사내 문서 자산 관리 방식을 수동적인 단순 아카이빙에서 실시간 자동 갱신형 지식 그래프 구조로 전환 가능함.
• 최종 산출물이 특정 벤더에 종속(Lock-in)되지 않는 표준 마크다운 파일 구조로 저장되어, 로컬 지식 관리 도구(Obsidian 등)와의 호환성이 매우 높으며 기업 내부 데이터 주권을 온전히 보장함.

5.2 기술적 한계 및 개선 과제

#

• 현재 영어를 비롯한 라틴 계열 문자 위주로 설계되어 있어 한국어, 중국어, 일본어(CJK) 등 비라틴계 문자 처리를 위한 토크나이저 최적화 측면에서 약점이 존재함.
• 국내 비즈니스 실무에 적용하기 위해서는 로컬 형태소 분석기와의 연계, 검색 파이프라인 최적화 등 기술적 보완 작업이 선행되어야 함.

🔗 원문 기사 출처: PyTorch 한국 사용자 모임 - OpenKB 소개