「AI에게 사내 문서를 답변하게 하고 싶지만, 거짓말을 하면 어쩌지」「질문이 복잡해지면 검색이 빗나간다」. AI 지식베이스 도입을 검토 중인 고객들로부터 가장 자주 듣는 우려입니다.

Monoshiri AI도 서비스 시작 당시에는 다른 많은 AI 서비스와 마찬가지로 RAG(Retrieval-Augmented Generation, 검색 증강 생성) 를 채택하고 있었습니다. 그러나 실제 운영을 이어가는 과정에서, 고객의 업무에 대해 RAG의 구조적 한계가 무시할 수 없는 수준임을 깨달았습니다. 그래서 2026년 4월, Monoshiri AI는 skill 모드(Corpus2Skill) 라는 새로운 방식으로 전면 이행했습니다.

이 글에서는 왜 RAG만으로는 답하기 어려운 질문이 생기는지, 그리고 Monoshiri AI가 skill 모드를 통해 고객에게 약속하는 것을 실제 활용 장면과 함께 설명합니다.

이 글에서 알 수 있는 것

RAG가 환각(거짓 답변)을 일으키는 구조적 이유
대량의 문서, 여러 항목에 걸친 질문에서 RAG가 약한 이유
Monoshiri AI가 skill 모드로 해결한 세 가지 과제
실제 사내 지식 활용 환경에서 RAG와 skill 모드의 답변이 어떻게 다른지

1. 왜 RAG는 「거짓말」을 하는가

RAG의 동작은 대략 다음과 같은 흐름으로 이루어집니다.

문서를 작은 조각(청크)으로 나누어 미리 벡터화해 둡니다
사용자의 질문도 벡터화하여 비슷한 조각을 몇 건만 가져옵니다
가져온 조각을 AI에게 전달하여 답변을 생성하게 합니다

단순하면서도 강력하지만, 「몇 건만 가져온다」「그 범위 안에서만 답하게 한다」 는 설계가 환각의 온상이 됩니다.

자주 발생하는 실패 패턴

질문에 가장 관련성 높은 조각이 검색 상위에 올라오지 못한 경우 → AI는 「가지고 있는 조각」만으로 답을 만들려 하면서 부족한 부분을 추측으로 메웁니다
중요한 정보가 청크 경계에서 잘려 나간 경우 → 표 헤더와 수치, 규정의 전제 조건과 단서 조항 등이 다른 청크로 분리되어 문맥이 깨진 채 AI에게 전달됩니다
답이 「문서 어디에도 없는」 경우 → AI는 검색 결과를 보고 그럴듯한 표현으로 글을 지어냅니다

즉 RAG는 「검색 결과의 품질」이 그대로 답변의 품질을 결정하는 구조입니다. 검색이 빗나가는 순간 AI는 거리낌 없이 거짓말을 합니다. 이는 고객의 업무에 치명적이었습니다.

법무·인사·경리처럼 「정확성」이 업무의 전제가 되는 부서에서는, AI의 답변을 자신 있게 따르지 못한다는 점이 도입을 망설이게 하는 가장 큰 이유입니다.

2. Monoshiri AI가 직면한 세 가지 한계

Monoshiri AI는 사내 규정·매뉴얼·FAQ 활용을 중심으로 한 지식베이스 SaaS입니다. 실제 RAG로 운영하는 과정에서 다음 세 가지 장면에서 한계에 부딪혔습니다.

한계 1. 여러 문서에 걸친 질문에 답하지 못한다

예를 들어 다음과 같은 질문입니다.

「취업규칙과 인사평가제도 규정을 비교해서 평가 면담의 빈도가 어떻게 다른지 정리해 줘」

이는 두 문서를 동시에 읽고 비교 하지 않으면 답할 수 없습니다. 그러나 RAG는 「질문에 가까운 조각을 몇 건 가져온다」는 설계이기에 한쪽 문서의 조각만 가져오고 다른 한쪽은 무시하는 일이 자주 발생합니다. 결과적으로 「취업규칙에는 이렇게 적혀 있습니다」라고만 답하고 정작 비교는 성립하지 않거나, 최악의 경우 「인사평가제도 규정에는 이렇게 적혀 있다」고 멋대로 작문하는 환각이 발생합니다.

한계 2. 대량 문서에서 좁혀 들어갈 수 없다

지식이 100건, 300건으로 늘어남에 따라 검색 정확도는 확실히 떨어집니다. 그 이유는,

문서 수가 늘어나면 비슷한 표현의 조각이 여러 문서에 흩어진다
「관련도 점수가 비슷한 조각」이 늘어나, 정작 필요한 것이 묻히게 된다
사용자의 질문이 추상적일수록 엉뚱한 문서의 조각이 섞이기 쉽다

「문서를 많이 쌓을수록 AI가 둔해진다」는 역설적인 현상이 일어나는 것입니다. 사내 지식은 시간이 지남에 따라 늘어나기 마련이므로, 이는 운영의 근본에 관계되는 문제였습니다.

한계 3. 「정보가 없다」고 정직하게 말하지 못한다

마지막이자 가장 까다로운 것이 「문서에 적혀 있지 않은 질문」에 대한 대응 입니다.

「API 키 발급 절차는?」(지식베이스에 포함되어 있지 않은 정보의 경우)

RAG는 「가장 가까운 조각을 끌어온다」는 구조이기 때문에 완전히 무관한 정보라도 어쨌든 무언가가 나옵니다. AI는 그것을 보고 「API 키는 관리 화면에서 발급할 수 있습니다」와 같은 그럴듯한 거짓말 을 돌려줍니다.

「정보가 없다는 것을, 정보가 없다고 답하지 못한다」 는 점은 업무 활용에서는 치명적입니다.

3. Monoshiri AI의 해답: skill 모드

이러한 한계를 극복하기 위해 Monoshiri AI가 채택한 것이 skill 모드(Corpus2Skill) 입니다.

한마디로 설명하자면,

AI에게 「목차」를 건네주고, 필요한 문서를 스스로 읽으러 가게 하는 방식

입니다. RAG가 「검색해서 결과를 건네는」 방식이라면, skill 모드는 「목차에서 따라가서 본문을 읽는」, 즉 인간이 자료를 참조하는 것과 동일한 과정으로 지식을 활용합니다.

고객 관점에서 무엇이 달라지는가

관점	RAG	skill 모드
답변의 근거	검색된 조각(몇 건)	AI가 실제로 읽은 문서 전체
거짓말할 위험	검색이 빗나가면 작문	「해당 문서 없음」이라고 답할 수 있음
여러 문서 비교	취약	필요한 문서를 순서대로 읽으러 감
대량 문서	늘어날수록 정확도 저하	목차로 좁혀 들어가므로 영향 적음
출처 명시	점수가 매겨진 조각	「○○ 규정의 ○페이지를 참조했습니다」와 같이 구체적으로 제시

skill 모드는 「답변에 도달하기까지 어떤 문서를 읽었는지」가 그대로 이력으로 남기 때문에, 사용자는 「AI가 어떻게 사고했는지」를 사후에 검증할 수 있습니다. 이는 업무 활용에서 매우 큰 안심감으로 이어집니다.

4. 실제 활용 장면에서 무엇이 다른가

구체적인 예로 살펴보겠습니다. 사내에 「취업규칙」「인사평가제도 규정」「괴롭힘 대응 매뉴얼」「급여·상여·퇴직금 규정」 등 20건의 인사 관련 규정이 등록되어 있는 경우입니다.

장면 1: 「평가 면담의 빈도를 취업규칙과 인사평가제도 규정으로 비교해 줘」

RAG의 경우: 「취업규칙」의 조각만 가져와 「연 1회」라고 답변합니다. 인사평가제도 규정의 조각을 가져오지 못해 비교가 성립하지 않습니다. 최악의 경우, 멋대로 「인사평가제도 규정에서는 반년에 1회」라고 작문하기도 합니다.
skill 모드의 경우: AI가 목차에서 「취업규칙」「인사평가제도 규정」을 모두 선택하고, 각각의 해당 부분을 읽은 후 「취업규칙에서는 연 1회, 인사평가제도 규정에서는 분기마다 라고 기재되어 있습니다」라고 정확하게 답변합니다.

장면 2: 「육아휴직에서 복귀할 때의 흐름을 알려줘」

RAG의 경우: 「육아휴직」이라는 키워드를 포함한 조각을 모으지만, 복귀 후 절차나 평가에 미치는 영향 등 여러 규정에 걸친 정보를 통합하지 못해 단편적인 답변이 되기 쉽습니다.
skill 모드의 경우: 「육아휴직」 관련 규정을 여러 건 읽고, 복귀 전 절차 → 복귀 시 업무 조정 → 복귀 후 평가에 미치는 영향과 같이 시간 순으로 정리된 답변 을 돌려줍니다.

장면 3: 「API 키 발급 방법은?」(해당 문서 없음)

RAG의 경우: 관련성이 낮은 문서에서 무리하게 조각을 가져와 그럴듯한 절차를 작문해 버립니다.
skill 모드의 경우: 목차를 확인한 후 「이 정보는 등록된 문서에 포함되어 있지 않습니다」라고 명확히 밝히고, 담당자에게 문의하도록 안내합니다.

업무로 안심하고 쓸 수 있는 것은 명백히 후자입니다.

5. 왜 「목차에서 따라가기」 방식이 업무 지식에 맞는가

사내 지식은 웹 페이지처럼 무질서하게 쌓인 정보 집합과는 다른 특성을 가지고 있습니다.

구조화되어 있다: 규정은 장 구성, 매뉴얼은 절차, FAQ는 카테고리로 정리되어 있다
갱신 단위가 문서: 규정 개정은 「문서 통째로 교체」가 기본이다
정확성이 업무에 직결된다: 법무·인사·경리는 오해로 인해 중대한 문제가 발생할 수 있다

이러한 특성은 RAG보다 「목차에서 따라가는」 방식과의 궁합이 압도적으로 좋습니다.

Monoshiri AI는 이 궁합을 최대한 살리는 설계로 방향을 잡았습니다. 고객이 폴더에 문서를 넣으면 AI가 자동으로 의미적인 그룹핑과 목차 를 구축하고, 질문이 들어올 때마다 목차에서 따라가 필요한 문서를 읽으러 갑니다. 고객이 새 문서를 추가하거나 교체하면 목차도 자동으로 갱신되므로 운영 비용도 RAG에 비해 현저히 낮아집니다.

6. Monoshiri AI가 고객에게 드리는 약속

skill 모드로의 이행을 계기로 Monoshiri AI는 고객에게 다음 세 가지를 약속드립니다.

1. 「모른다」는 분명히 「모른다」고 답한다

지식베이스에 적혀 있지 않은 질문에는 그럴듯한 작문이 아니라, 명확히 「해당 기재가 없습니다」 라고 답합니다. 업무상 판단 실수를 막기 위한 가장 중요한 원칙입니다.

2. 출처는 반드시 명시한다

AI의 답변에는 「어떤 문서의 어떤 부분을 읽고 답했는지」 가 반드시 첨부됩니다. 답변을 읽은 사람이 원본 문서를 즉시 확인할 수 있도록 출처는 구체적인 파일명과 해당 부분까지 제시합니다.

3. 문서가 늘어나도 정확도를 유지한다

사내 지식은 시간이 지나면 반드시 늘어납니다. skill 모드는 목차에서 좁혀 들어가는 구조이기 때문에, 문서가 100건, 500건, 1000건으로 늘어나도 답변 정확도가 안정적 입니다. 「처음에는 잘 답하더니 문서를 늘리니 둔해졌다」는 일이 일어나지 않습니다.

정리 -- 지식 AI는 「속도」보다 「정확성」

ChatGPT나 Claude 같은 범용 AI가 보급되면서 「AI에게 무엇이든 물어볼 수 있다」는 기대가 높아지고 있습니다. 그러나 업무에 사용하는 지식 AI에 요구되는 것은 범용 AI의 유창한 답변 이 아니라, 자사 문서에 뿌리내린 정확한 답변 입니다.

Monoshiri AI는 그 「정확성」을 기술 선정의 최우선 축에 둔 결과, RAG보다 skill 모드 쪽이 고객의 업무에 맞는다 고 판단했습니다.

「AI가 거짓말할까 두려워서 사내 지식베이스에 도입할 수 없다」고 느끼는 분일수록, 꼭 한 번 skill 모드의 답변 품질을 체험해 보시기 바랍니다.

기술적인 판단 배경을 알고 싶은 분께: skill 모드 이행의 기술적 배경·구현 이야기는 개발자 본인이 Qiita에 작성한 글(일본어)에서 더 자세히 다루고 있습니다: RAG をやめました -- ナレッジAI SaaS「ものしりAI」が Corpus2Skill (skill モード) に全面移行した理由.

RAG만으로는 답할 수 없었다 -- Monoshiri AI가 skill 모드로 전환한 이유