문서 기반 LLM 서비스란
범용 LLM은 공개된 자료로 학습했기 때문에 기관 내부 규정이나 업무 문서의 내용을 알지 못합니다. 문서 기반 LLM 서비스는 질문이 들어오면 기관 문서에서 관련 내용을 먼저 찾고, 찾은 내용을 근거로 답을 만듭니다. 이런 방식을 RAG(Retrieval-Augmented Generation, 검색 증강 생성)라고 합니다.
도입 배경
기관에는 업무 문서가 많이 쌓여 있었고, 이 문서를 근거로 질문에 답하는 서비스가 필요했습니다.
적용 범위
- 기관 내부의 비정형 문서 연동
- 문서를 근거로 질문에 답하는 LLM 서비스
- 기관 서버에 설치하는 온프레미스(on-premise) 구성
온프레미스 구성은 무엇이 다른가요
온프레미스는 서비스를 기관이 관리하는 서버에 설치해 운영하는 방식입니다. 외부 클라우드 서비스를 쓰는 방식과 비교하면 다음과 같은 차이가 있습니다. 어느 쪽이 맞는지는 문서의 보안 등급과 기관의 운영 여건에 따라 달라집니다.
| 항목 | 온프레미스 | 외부 클라우드 |
|---|---|---|
| 설치 위치 | 기관이 관리하는 서버 | 서비스 제공 업체의 서버 |
| 문서가 머무는 곳 | 기관 내부 | 외부 서버로 전송 |
| 서버 준비 | 기관이 서버와 GPU 자원을 준비 | 업체가 준비 |
| 운영과 보안 관리 | 기관 정책에 맞춰 직접 관리 | 업체 정책을 따름 |
결과
사용자가 질문하면 답과 함께 출처 문서가 표시되고, 원문 보기로 해당 내용을 바로 확인할 수 있습니다.
답마다 출처를 붙이면 사용자는 답을 그대로 믿지 않고 원문과 대조해 쓸 수 있습니다.
출처 표시가 중요한 이유
LLM은 근거가 없는 내용을 그럴듯하게 만들어 내는 경우가 있습니다. 이런 현상을 환각(hallucination)이라고 합니다. 공공 업무에서는 잘못된 답이 민원 응대나 행정 판단에 그대로 쓰일 수 있으므로, 답의 근거를 사용자가 직접 확인할 수 있어야 합니다.
출처와 원문 보기를 함께 보여 주면 사용자는 답이 어느 문서의 어느 부분에서 나왔는지 확인하고, 필요하면 원문을 직접 읽고 판단할 수 있습니다.
비슷한 서비스를 준비한다면
문서 기반 LLM 서비스를 검토하는 기관이라면 아래 항목을 먼저 정리해 보세요.
- 대상 업무와 문서: 질문이 많이 나오는 업무와 그 업무에서 쓰는 문서 목록
- 문서 형식: 스캔한 이미지 문서와 표·서식이 많은 문서의 비율
- 접근 권한: 부서와 직급에 따라 볼 수 있는 문서의 범위
- 설치 환경: 서버와 GPU 자원, 내부망 구성, 보안 심사 절차
- 갱신 방식: 규정이 개정될 때 서비스에 반영하는 방법과 담당자
각 항목을 확인하는 방법은 사내 문서 검색 AI 도입 전 준비할 데이터에서 자세히 다룹니다.