ものしりAI
GLOSSARY

AI 용어집

AI·생성형 AI·RAG·LLM·MCP 등 사내 지식 활용과 관련된 AI 전문 용어를, 기초부터 엔지니어 대상의 구현 용어까지 모아서 설명합니다. 궁금한 단어부터 확인해 보세요.

62 개

AI·생성형 AI의 기초

AI(인공지능)

AI(인공지능)란 언어의 이해나 판단, 예측과 같은 인간의 지적인 작업을 컴퓨터가 수행하도록 하는 기술의 총칭입니다. 명확한 단일 기술을 가리키는 것이 아니라, 규칙에 기반한 고전적인 방식부터 최근의 생성형 AI까지 폭넓은 분야를 포함합니다. 최근에는 대량의 데이터로부터 학습하는 머신러닝이 주류가 되면서 성능이 비약적으로 향상되었습니다. 사내 업무에서는 문서 검색이나 문의 대응, 요약 등 그동안 사람의 손에 의존하던 작업을 보조하는 용도로 활용이 확산되고 있습니다.

생성형 AI

생성형 AI란 문장이나 이미지, 음성 등을 새롭게 만들어 내는 AI를 말합니다. 질문에 대해 문장으로 답하는 채팅형 서비스도 생성형 AI의 일종으로, 주어진 지시에 따라 자연스러운 문장을 구성합니다. 기존 AI가 '분류'나 '예측'을 주로 한 것과 달리, 생성형 AI는 '처음부터 내용을 만들어 낸다'는 점이 특징입니다. 사내 지식 활용에서는 문서를 읽혀 요점을 정리하거나, 직원의 질문에 알기 쉽게 답하는 상황에서 진가를 발휘합니다.

머신러닝

머신러닝이란 대량의 데이터로부터 패턴을 자동으로 학습하여, 규칙을 사람이 하나하나 작성하지 않아도 예측이나 분류를 할 수 있게 되는 방식입니다. 예를 들어 과거의 문의 이력을 학습시키면 새로운 질문의 의도를 추측할 수 있게 됩니다. 사람이 '이런 경우에는 이렇게 처리한다'라고 세세하게 지시하는 기존 프로그래밍과는 발상이 다릅니다. 현대의 생성형 AI나 AI 검색도 이 머신러닝을 토대로 성립하며, 사내 데이터 활용을 뒷받침하는 기초 기술입니다.

딥러닝(심층 학습)

딥러닝(심층 학습)이란 인간 뇌의 신경 회로를 본뜬 다층 네트워크를 사용해 학습하는 머신러닝의 일종입니다. 층을 깊게 쌓음으로써 이미지나 문장과 같은 복잡한 데이터에서도 특징을 포착할 수 있게 되었습니다. 문장의 의미를 수치로 변환하는 처리나, 생성형 AI의 핵심을 담당하는 언어 모델도 이 기술을 토대로 합니다. 사내 문서를 의미로 검색하거나 자연스러운 답변을 생성하는 구조도 거슬러 올라가면 딥러닝의 성과입니다.

자연어 처리(NLP)

자연어 처리(NLP)란 인간이 일상적으로 사용하는 언어를 컴퓨터가 이해하거나 생성하기 위한 기술 분야입니다. 문장의 의미를 읽어 내고, 요약하고, 번역하고, 질문에 답하는 등의 처리가 포함됩니다. 표기 흔들림이나 다른 표현이 많은 인간의 언어를 다루는 것은 어려워 오랜 연구 주제였습니다. 최근에는 대규모 언어 모델의 등장으로 정확도가 크게 향상되었습니다. 사내 문서를 AI에게 질문하는 구조는 이 자연어 처리의 응용에 해당합니다.

ChatGPT

ChatGPT란 OpenAI가 제공하는 대화형 생성형 AI 서비스입니다. 질문이나 지시를 자연스러운 언어로 입력하면 문장으로 답변이 돌아오는 손쉬움 덕분에, 많은 사람이 AI를 접하는 계기가 되었습니다. 문장 작성이나 요약, 아이디어 도출 등 폭넓은 용도로 사용됩니다. 한편 일반적인 ChatGPT는 자사의 사내 문서를 알지 못하기 때문에 사내 고유의 질문에는 답할 수 없습니다. 사내 정보에 기반한 답변을 얻으려면 자사의 문서를 참조시키는 구조가 별도로 필요합니다.

프롬프트

프롬프트란 AI에 대한 지시문이나 질문문을 말합니다. 같은 것을 물어보더라도 전제 조건이나 원하는 출력 형식을 구체적으로 적으면 답변의 질이 크게 달라집니다. 예를 들어 '요약해 줘'보다 '세 개의 항목으로 요약해 줘'가 의도에 맞는 결과를 얻기 좋습니다. 질 높은 프롬프트를 설계하는 노하우는 '프롬프트 엔지니어링'이라고도 불립니다. 사내에서 AI를 사용할 때도, 묻는 방식을 조금만 다듬으면 실용성이 높아진다는 점을 기억해 두면 도움이 됩니다.

할루시네이션

할루시네이션이란 AI가 사실이 아닌 내용을 그럴듯한 문장으로 답해 버리는 현상입니다. AI는 확률적으로 자연스러운 문장을 구성하기 때문에, 모르는 것이라도 자신 있게 지어내는 경우가 있습니다. 사내 이용에서는 잘못된 규정이나 절차를 답변하면 업무에 지장이 생기므로 특히 주의가 필요합니다. 대책으로는 AI의 답변을 실제 사내 문서에 연결하여 근거를 제시하면서 답하게 하는 방법이 효과적입니다. 출처를 확인할 수 있는 구조인지가 사내 도입의 중요한 판단 기준이 됩니다.

멀티모달

멀티모달이란 문장뿐 아니라 이미지나 음성, 문서 등 여러 종류의 정보를 동시에 다룰 수 있는 AI의 특성을 가리킵니다. 예를 들어 도표를 포함한 PDF나 사진을 읽어 들여, 그 내용에 대한 질문에 답할 수 있게 됩니다. 텍스트만 다루는 AI에 비해 다룰 수 있는 정보의 폭이 넓어져, 현장의 실태에 가까운 형태로 활용할 수 있습니다. 사내 지식에는 문자 정보뿐 아니라 도표나 스크린샷을 포함한 자료도 많기 때문에, 멀티모달 대응은 실무상의 편의성과 직결되는 요소입니다.

AI 에이전트

AI 에이전트란 주어진 지시에 대해 스스로 절차를 생각하고, 필요한 도구를 사용하면서 일련의 작업을 수행하는 AI입니다. 단순히 질문에 답하는 것뿐 아니라, '조사한다', '비교한다', '정리한다'와 같은 여러 공정을 자율적으로 이어 진행합니다. 예를 들어 사내 문서를 검색하고, 관련 정보를 모으고, 요약까지 한 번에 수행하는 동작이 가능합니다. 업무 자동화를 한 단계 더 진전시키는 존재로 주목받고 있지만, 오작동을 막기 위한 권한 관리나 규칙 설정도 중요해집니다.

LLM·모델

LLM(대규모 언어 모델)

LLM(대규모 언어 모델)이란 방대한 양의 문장으로 학습하여 인간처럼 언어를 다룰 수 있게 된 거대한 AI 모델입니다. 문장 생성, 요약, 번역, 질의응답 등 언어와 관련된 폭넓은 처리를 하나의 모델로 해낼 수 있습니다. 생성형 AI의 핵심을 담당하는 존재로, ChatGPT를 비롯한 많은 서비스가 LLM을 기반으로 합니다. 사내 문서를 AI에게 질문하는 구조도 최종적으로 답변문을 구성하는 것은 이 LLM입니다. 모델의 성능과 특성이 답변의 질을 크게 좌우합니다.

GPT 계열(OpenAI)

GPT 계열이란 OpenAI가 개발하는 대규모 언어 모델의 계통으로, ChatGPT를 구동하는 기반이기도 합니다. 범용성이 높아 문장 작성부터 요약, 코딩까지 폭넓은 용도에서 균형 있게 사용할 수 있는 것이 특징입니다. 많은 기업용 AI 서비스가 선택지로 채택하고 있어 생태계가 충실한 점도 강점입니다. 용도별로 여러 모델이 마련되어 있어, 원하는 정확도와 비용에 따라 선택합니다. 각 모델 계통의 활용 구분은 사내 AI 모델 비교 글에서 자세히 설명합니다.

Claude 계열(Anthropic)

Claude 계열이란 Anthropic이 개발하는 대규모 언어 모델의 계통입니다. 긴 문장을 한꺼번에 다루는 능력, 안전성에 대한 배려, 코딩 성능 등에 강점을 가진 것으로 알려져, 긴 사내 문서를 다루는 용도와 궁합이 좋은 모델입니다. 지시에 대한 충실함이나, 정중하고 읽기 쉬운 문장을 생성하는 경향도 좋은 평가를 받습니다. 사내 지식 활용에서는 규정집이나 매뉴얼 같은 긴 자료를 근거로 답하게 하는 상황에서 진가를 발휘합니다. 각 모델 계통의 특징과 선택 방법은 사내 AI 모델 비교 글에서 정리하고 있습니다.

Gemini 계열(Google)

Gemini 계열이란 Google이 개발하는 대규모 언어 모델의 계통입니다. 매우 긴 컨텍스트를 한 번에 다룰 수 있는 점이나, 문장과 이미지 등을 넘나들며 이해하는 멀티모달 성능에 강점이 있는 것으로 알려져 있습니다. Google 각종 서비스와의 연동이 쉬운 점도 특징 중 하나입니다. 사내 지식에서는 도표를 포함한 자료나 대량의 문서를 한꺼번에 참조시키고 싶은 경우에 적합합니다. 어느 모델 계통이 자사 용도에 맞는지는 일률적으로 정해지지 않으므로, 사내 AI 모델 비교 글을 판단의 참고로 삼아 주세요.

오픈 모델(Llama / DeepSeek / Mistral / Qwen 등)

오픈 모델이란 모델의 구조나 가중치가 공개되어 자사 환경에서도 구동할 수 있는 대규모 언어 모델군의 총칭입니다. Llama나 DeepSeek, Mistral, Qwen 등이 대표적인 예입니다. 외부 서비스에 의존하지 않고 자체적으로 운용할 수 있기 때문에, 기밀성이 높은 데이터를 외부로 내보내고 싶지 않은 경우나 이용 비용을 억제하고 싶은 경우에 선택됩니다. 한편으로 운용에는 상응하는 인프라와 기술이 필요합니다. 상용 모델과 오픈 모델 중 어느 쪽이 적합한지는 기밀 요건·비용·운용 체제를 고려하여 판단하는 것이 현실적입니다.

SLM(소규모 언어 모델)

SLM(소규모 언어 모델)이란 파라미터 수를 줄인 경량 언어 모델입니다. 대규모 모델에 비해 성능의 상한은 낮아지는 경향이 있지만, 동작이 빠르고 낮은 비용으로 운용할 수 있습니다. 스마트폰이나 수중 단말 내에서 구동하는 용도, 특정한 한정된 작업에 집중한 용도와 궁합이 좋은 것이 특징입니다. 모든 업무에 최대 규모의 모델이 필요한 것은 아니며, 용도에 따라 규모를 선택함으로써 비용과 속도의 균형을 잡을 수 있습니다. 사내 이용에서도 가벼운 문의에는 소형 모델로 충분한 경우가 있습니다.

추론 특화 모델(reasoning 계열)

추론 특화 모델(reasoning 계열)이란 답을 내기 전에 단계적으로 '생각하는' 과정을 거침으로써 복잡한 문제에 강해진 모델입니다. 계산이나 논리적인 절차가 필요한 과제, 여러 조건을 조합하는 질문 등에서 정확도가 높아집니다. 그만큼 답변까지 시간과 비용이 드는 경향이 있으므로, 용도를 골라 사용하는 것이 효과적입니다. 사내 이용에서는 단순한 사실 확인에는 일반 모델, 복잡한 판단이 필요한 상담에는 추론 특화 모델과 같은 식으로 구분해 쓰는 것을 고려할 수 있습니다.

파라미터 수

파라미터 수란 모델이 내부에 가진 조정 가능한 수치의 양으로, 모델의 규모를 나타내는 대표적인 지표입니다. 일반적으로 파라미터 수가 클수록 고성능이 되는 경향이 있지만, 그만큼 계산 비용이나 응답 시간도 늘어납니다. 다만 수가 많다고 반드시 우수한 것은 아니며, 학습 데이터나 설계의 질도 성능을 좌우합니다. 사내에서 모델을 선택할 때는 파라미터 수에만 얽매이지 말고, 원하는 정확도·속도·비용의 균형으로 판단하는 것이 중요합니다.

컨텍스트 윈도우

컨텍스트 윈도우란 모델이 한 번에 읽어 들일 수 있는 문장 길이의 상한을 가리킵니다. 이것이 길수록 많은 자료나 긴 대화 이력을 한 번에 전달하여 답하게 할 수 있습니다. 사내 문서를 다루는 경우, 긴 매뉴얼이나 여러 규정을 한꺼번에 참조시키고 싶은 니즈가 있어, 컨텍스트 윈도우의 넓이가 실용성에 영향을 미칩니다. 한편으로 길게 전달할수록 좋은 것은 아니며, 관련성이 낮은 정보를 대량으로 넣으면 정확도나 비용 면에서 불리해질 수도 있습니다.

토큰

토큰이란 AI가 문장을 처리할 때의 최소 단위입니다. 단어나 문자의 묶음으로 분할되며, 요금이나 입력할 수 있는 길이의 상한은 이 토큰 수로 셉니다. 한국어에서는 대체로 한 글자가 한 토큰 안팎에 해당합니다. AI 서비스의 이용료가 토큰 수에 따라 정해지는 경우도 많아, 긴 문서를 다룰수록 비용이 늘어납니다. 사내에서 AI를 사용할 때, 다루는 문서량이나 비용을 견적 내는 데 토큰이라는 단위를 이해해 두면 도움이 됩니다.

벤치마크(MMLU 등)

벤치마크란 AI 모델의 성능을 공통의 문제 세트로 측정하여 비교의 기준으로 삼는 지표입니다. MMLU처럼 폭넓은 지식을 묻는 것이나, 코딩 능력, 추론력을 측정하는 것 등 목적별로 다양한 종류가 있습니다. 점수가 높은 모델일수록 일반적으로 우수하다고 여겨지지만, 테스트용 문제와 실제 업무에서 요구되는 능력이 반드시 일치하지는 않습니다. 사내에서 모델을 선택할 때는 벤치마크를 참고하면서, 자사의 실제 데이터로 시험해 보는 것이 확실합니다.

파인튜닝

파인튜닝이란 기존 모델에 추가 데이터를 학습시켜 특정 용도나 문체에 최적화하는 방법입니다. 전문 분야의 표현이나, 자사 특유의 업무에 맞춘 응답을 만들고 싶은 경우에 사용됩니다. 다만 학습 데이터 준비나 재학습에 비용이 들고, 내용의 갱신도 번거롭습니다. 사내 문서를 활용하는 것이 목적이라면, 모델 자체를 다시 학습하기보다 답변 시에 문서를 참조시키는 방법이 더 손쉽고 정보를 최신으로 유지하기 쉬운 경우가 많습니다.

temperature / top-p

temperature와 top-p는 AI 답변의 편차, 즉 창의성과 안정성의 균형을 조정하는 파라미터입니다. 값을 높이면 표현이 다양하고 창의적이 되고, 낮추면 일관성이 높고 견실한 답변이 됩니다. 아이디어 도출처럼 발산시키고 싶은 상황에서는 높게, 사내 규정 확인처럼 정확함이 요구되는 상황에서는 낮게가 적합합니다. 사내 지식 문의에서는 매번 흔들림 없는 답이 바람직하므로, 편차를 억제한 설정이 선호되는 경향이 있습니다.

시스템 프롬프트

시스템 프롬프트란 AI의 역할이나 지켜야 할 규칙을 미리 지시해 두는 설정문입니다. 사용자가 매번 입력하는 질문과는 별개로, 대화 전체의 전제로서 작용합니다. 예를 들어 '사내 규정에 기반하여 근거를 제시하며 답한다', '모를 경우 추측하지 않고 그 사실을 전한다'와 같은 방침을 정할 수 있습니다. 사내 이용에서는 할루시네이션을 억제하고, 답변의 톤이나 범위를 통일하는 데 중요한 역할을 합니다. 안전하고 일관된 운용의 토대가 되는 설정입니다.

검색·RAG·답변 생성의 구조

RAG(검색 증강 생성)

RAG(검색 증강 생성)란 질문에 관련된 문서를 먼저 검색하고, 그 내용을 바탕으로 AI가 답변을 생성하는 구조입니다. AI가 자신의 기억만으로 답하는 것이 아니라, 사내 문서라는 '근거'를 참조한 뒤 답하기 때문에, 사내 고유의 정보에도 정확하게 답할 수 있고 사실과 다른 답변을 억제하기 쉬워집니다. 사내 문서 활용의 기본적인 구조로 널리 사용되고 있습니다. RAG의 전체상과, 왜 사내 문서 활용에 적합한지는 RAG가 무엇인지 설명한 글에서 자세히 소개하고 있습니다.

벡터 검색

벡터 검색이란 문장을 수치의 나열(벡터)로 변환하여, 그 '의미의 가까움'을 바탕으로 문서를 찾는 검색 방식입니다. 문자열의 일치를 보는 기존 검색과 달리, 다른 표현이나 표기 흔들림이 있어도 의미가 가까우면 찾아낼 수 있습니다. 예를 들어 '유급'과 '연차 휴가'처럼 표현이 달라도 같은 내용으로 다룰 수 있습니다. 사내 문서를 AI로 활용하는 기반 기술 중 하나입니다. 구조와 도입 단계는 사내 문서를 AI로 검색하는 방법 글에서 구체적으로 설명합니다.

벡터 DB / 벡터 인덱스

벡터 DB / 벡터 인덱스란 벡터화한 문서를 저장하고, 비슷한 의미의 문서를 고속으로 찾아내기 위한 데이터베이스와 색인 구조입니다. HNSW와 같은 색인 알고리즘을 사용함으로써 대량의 문서에서도 순식간에 가까운 것을 찾아낼 수 있습니다. 사내 문서가 늘어나도 검색이 느려지지 않는 것은 이러한 구조가 뒷받침하고 있기 때문입니다. 이용자가 이 내부 구조를 의식할 필요는 없지만, AI 검색의 속도와 정확도를 뒤에서 뒷받침하는 요소로 이해해 두면 도움이 됩니다.

임베딩(Embedding)

임베딩(Embedding)이란 문장을 의미를 유지한 채 수치 벡터로 변환하는 처리입니다. 의미가 가까운 문장끼리는 변환 후의 수치 공간에서도 가까운 위치에 배치됩니다. 이 변환이 있기 때문에 문자열이 일치하지 않아도 의미로 문서를 찾을 수 있게 됩니다. 벡터 검색이나 시맨틱 검색의 전제가 되는, 말하자면 밑준비 공정입니다. 사내 문서를 가져올 때도 각 문서가 이 임베딩 처리를 거쳐, 의미로 검색할 수 있는 형태로 정돈됩니다.

시맨틱 검색

시맨틱 검색이란 단어의 일치가 아니라 '의미의 가까움'을 바탕으로 문서를 찾는 검색 방식입니다. 다른 표현이나 표기 흔들림에 강하여, '경비 정산'과 '대납금 청산'처럼 표현이 달라도 같은 내용으로 찾아낼 수 있습니다. 올바른 키워드를 떠올리지 못해도, 알고 싶은 것을 자연스러운 언어로 물으면 목적의 정보에 도달할 수 있는 것이 장점입니다. 사내 문서 활용과 궁합이 좋은 검색 방식입니다. 구조와 차이는 사내 문서를 AI로 검색하는 방법 글에서 자세히 설명합니다.

키워드 검색 / 전문 검색

키워드 검색 / 전문 검색이란 입력한 단어와 문자열이 일치하는 문서를 찾는 기존형 검색입니다. 구조가 이해하기 쉬운 반면, 표기 흔들림이나 다른 표현에 약하여, 사내 문서에서는 '분명 있을 텐데 찾을 수 없다'는 한계가 생기기 쉽습니다. 스캔 PDF의 내용이 검색 대상이 되지 않거나, 여러 문서에 걸친 답을 정리하지 못하는 등의 과제도 알려져 있습니다. 이 한계의 구체적인 현상과 진단은 키워드 검색의 한계를 설명한 글에서 자세히 정리하고 있습니다.

하이브리드 검색

하이브리드 검색이란 문자열의 일치를 보는 키워드 검색과, 의미의 가까움으로 찾는 벡터 검색을 조합하여, 양쪽의 장점으로 정확도를 높이는 방식입니다. 고유명사나 모델 번호 같은 '정확한 문자열'이 중요한 검색은 키워드 검색이 잘하고, 다른 표현이 많은 자연문은 벡터 검색이 잘하므로, 양쪽을 병용하면 누락을 줄일 수 있습니다. 사내 문서에는 제품 코드 같은 엄밀한 어휘와, 구어적인 표현이 혼재하기 때문에, 하이브리드 검색이 효과적으로 작동하는 경우가 많습니다.

BM25

BM25란 전문 검색에서 오래전부터 사용되어 온, 단어의 중요도를 고려한 스코어링 방법입니다. 문서 내에서의 출현 빈도나, 그 단어의 희소성을 가미하여 검색 결과의 관련도를 순위화합니다. 단순하면서도 실용적이어서, 현재도 키워드 검색의 표준적인 토대로 널리 사용되고 있습니다. 벡터 검색과 조합하는 하이브리드 검색에서는 이 BM25가 문자열 일치 쪽의 스코어를 담당하는 경우가 많습니다. 고유명사나 정확한 어구를 찾는 상황에서 안정적인 강점을 발휘합니다.

청킹(분할)

청킹(분할)이란 문서를 검색하기 쉬운 적당한 단위로 나누는 처리입니다. 긴 문서를 그대로 다루면 검색 정확도가 떨어지므로, 제목이나 단락 등 의미의 묶음으로 나눕니다. 이 나누는 방식이 답변의 정확도를 크게 좌우하여, 너무 잘게 나누면 문맥이 사라지고, 너무 크게 나누면 무관한 정보가 섞입니다. 사내 매뉴얼처럼 구조가 있는 문서일수록 적절한 분할이 효과적입니다. 검색 정확도를 뒷받침하는 이면의 공정으로, 사내 문서를 AI로 검색하는 방법 글도 함께 참고가 됩니다.

리랭킹

리랭킹이란 검색으로 모은 후보 문서를, 질문과의 관련도가 높은 순으로 재정렬하여 정확도를 높이는 처리입니다. 최초의 검색은 속도를 우선하여 폭넓게 후보를 모으기 때문에, 반드시 최적의 순서로 되어 있지는 않습니다. 그래서 한 단계 더 세밀하게 관련도를 재평가함으로써, 정말 필요한 정보를 상위로 끌어올립니다. 사내 문서처럼 비슷한 내용이 여럿 있는 경우에, 적확한 근거를 골라내는 데 효과적입니다. 답변의 질을 한 단계 끌어올리는, 마무리 공정이라 할 수 있습니다.

Top-k

Top-k란 검색으로 찾은 후보 중에서, 상위 몇 건을 근거로 AI에 전달할지를 나타내는 설정입니다. k 값을 크게 하면 많은 문서를 참조할 수 있지만, 관련성이 낮은 정보까지 섞여 정확도가 떨어지거나 비용이 늘어날 수 있습니다. 반대로 너무 작으면 답에 필요한 정보를 놓칠 우려가 있습니다. 사내 문서 검색에서는 질문의 성질에 따라 적절한 건수로 조정함으로써, 답변의 정확함과 효율의 균형을 잡습니다. 수수하지만 정확도에 효과가 있는 조정 항목입니다.

코사인 유사도

코사인 유사도란 두 벡터가 얼마나 가까운 방향을 향하고 있는지로 그 가까움을 측정하는 대표적인 척도입니다. 벡터 검색에서는 질문과 문서를 각각 벡터로 변환하여, 이 코사인 유사도가 높은 문서일수록 '의미가 가깝다'고 판단합니다. 값은 방향의 일치도를 나타내기 때문에, 문장의 길고 짧음에 영향받기 어려운 것이 장점입니다. 이용자가 직접 접할 일은 없지만, 의미로 문서를 찾는 시맨틱 검색의 정확도를 수치 면에서 뒷받침하는 기초적인 계산입니다.

그라운딩(출처 명시)

그라운딩(출처 명시)이란 AI의 답변을 실제 문서에 연결하여, 어떤 자료를 근거로 삼았는지를 제시하는 것입니다. 답변뿐 아니라 출처를 확인할 수 있으면, 이용자는 내용의 정확함을 스스로 검증할 수 있어 안심하고 업무에 사용할 수 있습니다. 출처가 불명확한 답변은, 설령 그럴듯하더라도 그대로 받아들이기 어렵습니다. 사내 이용에서는 규정이나 절차를 오류 없이 전달하는 신뢰성과 직결되므로, 근거를 제시하며 답하는 구조인지가 도구 선택의 중요한 기준이 됩니다.

롱 컨텍스트

롱 컨텍스트란 매우 긴 문장을 한꺼번에 다룰 수 있는 모델의 능력을 가리킵니다. 긴 매뉴얼이나 여러 자료를 그대로 전달하여 답하게 할 수 있어, 편리한 상황이 늘었습니다. 이 능력의 향상을 배경으로 '문서를 검색해 전달하는 RAG는 불필요하지 않은가'라는 논의도 생겨났습니다. 다만 실제로는 비용이나 정보의 신선도, 다루는 문서량에 따라 적합 여부가 갈립니다. 양쪽의 구분 사용은 RAG와 롱 컨텍스트를 비교한 글에서 자세히 정리하고 있습니다.

Corpus2Skill

Corpus2Skill이란 문서군(코퍼스)을 AI가 사용할 수 있는 '스킬'로 변환하는 접근법으로, RAG의 보완 또는 대체로 주목받고 있습니다. 미리 문서의 내용을 정리·구조화해 둠으로써, 매번의 검색에 의존하지 않고 더 낮은 비용으로 적확하게 사내 지식을 끌어낼 수 있는 가능성이 있습니다. 비교적 새로운 사고방식으로, RAG와의 차이나 사용처가 논점이 되고 있습니다. Monoshiri AI가 RAG의 실전 검증을 거쳐 이 사고방식에 이른 경위는 RAG에서 이전한 이유를 담은 글에서 자세히 소개합니다.

RAG 불필요론

RAG 불필요론이란 모델의 롱 컨텍스트화가 진전되면 문서를 검색해 전달하는 RAG는 필요 없어진다는 주장입니다. 확실히 긴 문장을 그대로 다룰 수 있는 상황은 늘었지만, 실제로는 문서량·비용·정보의 신선도 같은 조건에 따라 적합 여부가 갈려, 일률적으로 어느 쪽이 우수하다고는 말할 수 없습니다. 사내 문서 활용에서는 양쪽의 특성을 이해하고 구분해 쓰는 것이 현실적입니다. 이 논점의 검증은 RAG 불필요론을 다룬 글에서 자세히 파고들고 있습니다.

연동·프로토콜·도구 실행

MCP(Model Context Protocol)

MCP(Model Context Protocol)란 AI 클라이언트와 외부의 데이터나 도구를 표준화된 방법으로 연결하기 위한 구조입니다. 이 공통 규격을 통함으로써 Claude나 Gemini, Codex 같은 다양한 AI에서 동일하게 사내 문서에 접속할 수 있습니다. 도구마다 개별 연동을 만들어 넣는 수고가 줄어드는 것이 장점입니다. 사내 지식을 평소 사용하는 AI 클라이언트에서 직접 참조하고 싶은 경우에 유용합니다. 접속의 구체적인 절차는 MCP 접속 가이드 글이나 MCP 연동 LP에서 설명합니다.

Function Calling / Tool Use

Function Calling / Tool Use란 LLM이 외부의 도구나 API를 호출하여, 검색이나 조작 같은 실제 처리를 실행하는 구조입니다. AI가 문장으로 답하는 것뿐 아니라, '사내 문서를 검색한다', '데이터를 가져온다'와 같은 행동을 일으킬 수 있게 됩니다. 이를 통해 AI는 자신의 지식 밖에 있는 최신 정보나, 실시간 조작에도 대응할 수 있습니다. 사내 지식 활용에서는 AI가 필요에 따라 문서 검색을 호출하여, 근거를 모은 뒤 답하는 흐름을 뒷받침하는 기반적인 구조입니다.

API 연동

API 연동이란 외부 서비스와 프로그램끼리 데이터를 주고받기 위한 접속 방식입니다. API라는 정해진 창구를 통함으로써 사람의 손을 거치지 않고 시스템 간에 정보를 자동으로 전달할 수 있습니다. 예를 들어 사내 채팅 도구나 그룹웨어와 연동시켜, 익숙한 화면에서 AI에게 질문할 수 있도록 하는 등의 응용이 가능합니다. 기존 업무 시스템을 살리면서 AI를 끼워 넣을 수 있으므로, 도구 도입의 용이함이나 운용의 자동화를 고려하는 데 중요한 구조입니다.

채팅 위젯

채팅 위젯이란 웹사이트에 설치하는 작은 채팅 창을 말합니다. 사이트를 방문한 사람이 질문을 입력하면, AI가 사내 문서나 FAQ를 바탕으로 자동으로 답변합니다. 문의 대응의 부하를 낮추면서, 방문자에게는 24시간 그 자리에서 답을 돌려줄 수 있는 것이 장점입니다. 사내용으로도 사외용으로도 활용할 수 있고, 전용 문의 양식보다 부담 없이 사용하게 할 수 있습니다. 설치 방법이나 활용 진행 방식은 채팅 위젯 도입 글이나 챗봇 LP에서 자세히 소개합니다.

시나리오형 챗봇

시나리오형 챗봇이란 미리 정한 분기나 선택지에 따라 응답하는 봇입니다. '해당하는 항목을 선택해 주세요'라고 유도하면서, 준비된 답변으로 이끕니다. 예상대로의 질문에는 안정적으로 답할 수 있는 반면, 분기에서 벗어난 질문에는 대응할 수 없고, 시나리오의 작성·유지보수에 수고가 듭니다. 이에 비해 사내 문서를 그대로 참조하여 자유로운 질문에 답하는 'AI에게 묻기' 방식은 사전 시나리오 설계가 불필요합니다. 양쪽은 용도에 따라 구분해 쓸 수 있습니다.

ReAct / 사고 연쇄(CoT)

ReAct나 사고 연쇄(CoT)란 AI가 답을 이끌어 내는 과정을 궁리하는 방법입니다. 사고 연쇄는 결론을 곧바로 내는 것이 아니라, 생각하는 흐름을 순서대로 제시함으로써 복잡한 문제의 정답률을 높입니다. ReAct는 그 추론과, 도구를 사용한 행동을 번갈아 반복하면서 답에 도달하는 사고방식입니다. 이들을 통해 AI는 여러 문서를 조사하여 정보를 통합하는 것 같은, 복잡한 사내 문의에도 단계적으로 대응할 수 있게 됩니다.

지식 관리·업무

지식 베이스

지식 베이스란 사내의 문서나 노하우를 정리하여, 필요할 때 꺼낼 수 있도록 한 정보 기반입니다. 매뉴얼이나 규정, 과거의 사례 등을 일원적으로 축적하여, 누구나 참조할 수 있는 상태로 만듭니다. 정보가 정리되어 있으면, 같은 질문에 대한 대응이나 조사에 걸리는 시간을 줄일 수 있습니다. 최근에는 모아 둔 정보를 AI에게 질문할 수 있는 유형의 지식 베이스도 확산되고 있습니다. Monoshiri AI로 실현할 수 있는 기능의 자세한 내용은 기능 소개 LP에서 확인할 수 있습니다.

지식 관리(나레지 매니지먼트)

지식 관리란 사내에 흩어진 지식을 축적·공유·활용해 나가는 노력 전반을 가리킵니다. 개인이 가진 경험이나 노하우를 조직의 자산으로 형태로 남기고, 필요한 사람이 사용할 수 있도록 하는 것이 목적입니다. 문서화나 공유의 구조 만들기뿐 아니라, 그것을 사용하는 문화의 조성도 포함합니다. 정보가 개인에게 닫힌 채로 있으면, 그 사람의 이동이나 퇴직으로 잃어버리게 됩니다. AI를 활용하면, 모아 둔 지식을 '찾는' 것뿐 아니라 '질문해서 끌어내는' 형태로 더 사용하기 쉽게 할 수 있습니다.

사내 포털 / 사내 위키

사내 포털 / 사내 위키란 사내의 정보를 한곳에 집약하여 공유하기 위한 사이트입니다. 공지, 매뉴얼, 각종 절차 등을 정리하여, 직원이 참조할 수 있도록 합니다. 정보의 집약에는 도움이 되지만, 페이지가 늘어날수록 목적의 문서를 찾기 어려워진다는 과제도 자주 들립니다. 검색해도 찾지 못해, 결국은 잘 아는 사람에게 물어보게 되는 상황입니다. 축적한 정보를 AI에게 질문할 수 있도록 하면, 찾는 부담을 줄이고 모처럼의 정보를 살리기 쉬워집니다.

속인화(개인 의존)

속인화(개인 의존)란 특정 사람만 알 수 있는 업무나 정보가 생겨나, 그 사람이 없으면 일이 돌아가지 않게 되는 상태입니다. 담당자의 경험이나 감에 의존한 진행 방식은 효율적으로 보여도, 이동이나 휴가, 퇴직 시에 업무가 정체되는 리스크를 안고 있습니다. 인수인계 누락이나 대응의 편차도 생기기 쉽습니다. 정보를 문서화하여, 누구나 꺼낼 수 있는 형태로 만드는 것이 해소의 첫걸음입니다. 속인화가 생기는 원인과 구체적인 해소법은 속인화 해소를 다룬 글에서 자세히 설명합니다.

암묵지 / 형식지

암묵지 / 형식지란 지식을 성질로 나눈 표현입니다. 암묵지는 경험이나 감처럼 말로 표현하기 어렵고, 본인 안에 축적된 지식을 가리킵니다. 형식지는 매뉴얼이나 절차서처럼 문서화되어 공유할 수 있는 형태가 된 지식입니다. 조직의 지혜의 상당수는 암묵지로서 개인에게 머무르기 쉬워, 퇴직이나 이동과 함께 잃어버리게 됩니다. 이를 형식지로 변환하여 조직에서 공유하는 것이 중요합니다. 암묵지를 가시화하는 방법은 암묵지의 가시화를 다룬 글에서 소개합니다.

지식 사일로

지식 사일로란 부서나 도구마다 정보가 분단되어, 횡단하여 사용할 수 없게 된 상태입니다. 각 부문이 저마다 다른 장소에 문서를 모아 둔 결과, 전체를 조망할 수 없어 비슷한 자료가 중복되거나, 필요한 정보에 도달하지 못하기도 합니다. 사일로란 곡물 등을 저장하는 세로로 긴 창고를 말하며, 정보가 고립되어 칸막이로 나뉜 모습을 비유한 말입니다. 정보를 일원적으로 검색·참조할 수 있는 구조를 갖춤으로써, 분단을 넘어 지식을 살릴 수 있게 됩니다.

FAQ(자주 묻는 질문)

FAQ(자주 묻는 질문)란 반복해서 들어오는 질문과 그 답변을 정리한 것입니다. 같은 문의에 몇 번이나 개별 대응하는 수고를 줄이고, 이용자도 스스로 답을 찾을 수 있도록 합니다. 다만 항목이 늘어나면 목적의 질문을 찾기 어려워지고, 내용의 갱신도 따라가지 못하기 쉽습니다. 사내 문서나 FAQ를 AI에게 참조시키면, 이용자는 목록에서 찾지 않고 자연스러운 언어로 질문할 수 있고, 답변의 자동화도 진전됩니다. 문의 대응의 효율화와 궁합이 좋은 주제입니다.

온보딩 / OJT

온보딩 / OJT란 새로 합류한 멤버가 업무에 익숙해지기 위한 도입 지원이나, 현장에서의 실지 교육을 가리킵니다. 신입이 한 사람 몫을 하게 되기까지는, 기본적인 절차부터 업무 특유의 노하우까지 익혀야 할 것이 많습니다. 그때마다 선배에게 질문하면, 가르치는 쪽의 부담도 작지 않습니다. 사내 문서를 정돈하고, AI에게 언제든 질문할 수 있는 환경을 마련해 두면, 새 멤버가 스스로 의문을 해소할 수 있어 초기 적응의 부하를 낮출 수 있습니다.

보안·운용·선정

데이터를 학습에 사용하지 않음(옵트아웃)

데이터를 학습에 사용하지 않음(옵트아웃)이란 입력한 사내 문서를 AI 모델의 재학습에 사용하지 못하게 하는 설정이나 방침입니다. 이것이 담보되지 않으면, 자사의 기밀 정보가 모델에 흡수되어 의도치 않게 외부에 영향을 줄 우려가 있습니다. 사내 데이터를 다루는 AI를 선택하는 데 있어, 정보 유출 대책의 핵심이 되는 확인 사항입니다. 제공처가 학습 이용을 하지 않는다고 명시하고 있는지, 계약이나 설정으로 제어할 수 있는지를 반드시 확인합시다. 보안의 사고방식은 보안 LP에서도 소개하고 있습니다.

접근 제어 / 권한 분리

접근 제어 / 권한 분리란 누가 어떤 정보를 볼 수 있는지를 제어하는 구조입니다. 모든 직원이 전 문서를 열람할 수 있으면, 인사나 경영에 관련된 기밀이 의도치 않게 퍼질 우려가 있습니다. 폴더 단위로 열람 범위를 나누는 등, 역할에 따른 권한 설정이 빠질 수 없습니다. AI로 사내 문서에 질문할 수 있도록 하는 경우에도, 이용자마다 참조할 수 있는 범위를 적절히 좁히는 것이 중요합니다. 안전한 사내 AI 운용을 뒷받침하는 기본적인 사고방식으로, 자세한 내용은 보안 LP에서 설명합니다.

테넌트 분리

테넌트 분리란 이용하는 조직·팀마다 데이터를 나누어, 다른 회사나 다른 조직의 정보와 섞이지 않도록 하는 설계입니다. 클라우드형 서비스에서는 여러 이용자가 같은 기반을 사용하기 때문에, 각각의 데이터가 확실히 격리되어 있는지가 안심하고 사용하기 위한 전제가 됩니다. 분리가 철저하면, 자사의 문서가 타인으로부터 참조될 걱정은 없습니다. 사내 문서처럼 기밀성이 높은 정보를 맡길 때의 중요한 판단 기준으로, 보안 LP에서 사고방식을 소개합니다.

프롬프트 인젝션

프롬프트 인젝션이란 부정한 지시를 문장에 섞어 넣어 AI를 오작동시키는 공격 수법입니다. 예를 들어 문서 중에 '지금까지의 지시를 무시하라'와 같은 명령을 심어, 본래 보여 주어서는 안 되는 정보를 끌어내려고 하는 것입니다. 사내 문서를 다루는 AI를 도입할 때 주의해야 할 리스크 중 하나입니다. 대책으로는 입력 내용의 검사나, AI의 행동 범위를 제한하는 가드레일의 설정 등이 이루어집니다. 안전성을 확인하는 데 있어 알아 두고 싶은 개념입니다.

가드레일

가드레일이란 AI가 부적절한 출력이나 위험한 동작을 하지 않도록 제한하는 구조의 총칭입니다. 답해서는 안 되는 내용을 차단하거나, 조작할 수 있는 범위를 한정하거나, 부정한 지시를 탐지하기도 합니다. 편리함과 안전성을 양립시키기 위한 '안전 울타리' 같은 역할입니다. 사내에서 AI를 사용하는 경우, 기밀 정보의 부주의한 공개나 잘못된 조작을 막는 데 빠질 수 없습니다. 어떤 가드레일이 갖춰져 있는지는, 사내 AI 도구를 선택할 때의 안심 재료가 됩니다.

SaaS / 클라우드형

SaaS / 클라우드형이란 소프트웨어를 자사에서 구축·보유하지 않고, 인터넷을 통해 서비스로서 이용하는 제공 형태입니다. 자체적으로 서버를 마련할 필요가 없고, 신청하면 바로 사용을 시작할 수 있으며, 보수나 갱신도 제공처가 담당합니다. 초기 비용을 억제하기 쉽고, 이용 인원이나 규모의 변화에도 유연하게 대응할 수 있습니다. 사내 지식 활용 도구도, 전문 지식이 없어도 도입하기 쉬운 클라우드형이 주류입니다. 비용이나 운용 부담 면에서, 중소기업에게 시작하기 쉬운 선택지라 할 수 있습니다.

품의(내부 승인)

품의(내부 승인)란 사내에서 도구나 서비스의 도입에 대해 승인을 얻기 위한 절차입니다. 많은 경우, 비용 대비 효과나 보안, 운용 체제 등을 정리한 품의서를 작성하여, 관계자의 합의를 얻어 냅니다. 사내 AI의 도입에서는 요금의 타당성이나 정보의 취급에 대해, 판단 재료를 알기 쉽게 정리하는 것이 통과의 열쇠가 됩니다. 어떤 관점을 짚으면 승인을 얻기 쉬운지는 사내 AI 도입 품의 체크리스트 글에서 구체적으로 정리하고 있습니다.

Evals(평가)

Evals(평가)란 AI의 답변 품질을 측정하여 개선으로 연결하기 위한 평가의 구조입니다. 실제 질문에 대해 얼마나 정확하게, 적확하게 답하고 있는지를 정한 기준으로 점검합니다. 도입하고 끝이 아니라, 평가를 통해 약점을 파악하고, 문서의 정리 방법이나 설정을 재검토해 나가는 것이 운용의 정확도 향상으로 이어집니다. 사내 지식에서도, 자주 묻는 질문에 올바르게 답하고 있는지를 정기적으로 확인함으로써, AI를 안심하고 사용할 수 있는 상태로 유지할 수 있습니다.