문서 검색 AI가 답을 만드는 방식
“3호기 컨베이어 점검 주기는 어디에 정해져 있나요?”
이 질문에 답하려면 설비 점검 기준서에서 해당 조항을 찾아야 합니다. 담당자라면 파일 서버에서 기준서를 찾아 열고, 목차를 보고, 해당 쪽을 읽을 것입니다. 사내 문서 검색에는 보통 RAG(Retrieval-Augmented Generation, 검색 증강 생성) 방식을 씁니다. 질문이 들어오면 연결한 문서에서 관련 문단을 먼저 찾고, 그 문단을 근거로 답을 작성하는 방식입니다.
이 구조에서 답의 근거는 연결한 문서뿐입니다. 그래서 어떤 문서를 연결하는지, 문서가 어떤 상태인지에 따라 답의 품질이 달라집니다.
연결하지 않은 문서에서는 답을 찾을 수 없고, 낡은 문서를 연결하면 낡은 답이 나옵니다.
1. 연결할 문서의 범위를 정합니다
처음부터 모든 문서를 연결하면 준비 기간이 길어지고, 질문과 관계없는 문단이 근거로 섞일 수 있습니다. 질문이 많이 나오는 업무 하나부터 시작합니다.
| 업무 | 자주 나오는 질문 | 먼저 연결할 문서 |
|---|---|---|
| 설비 정비 | 점검 주기, 교체 부품 | 설비 매뉴얼, 정비 기록 |
| 생산·품질 | 작업 순서, 검사 기준 | 작업 표준서, 품질 기준서 |
| 안전 | 작업 허가 절차, 보호구 기준 | 안전 규정, 작업 허가 절차서 |
| 경영 지원 | 규정 해석, 신청 절차 | 사내 규정, 업무 매뉴얼 |
범위를 정할 때는 담당자에게 최근 한 달 동안 문서를 찾느라 시간이 걸렸던 질문을 모아 달라고 요청해 보세요. 이 질문 목록은 뒤에서 다룰 답변 품질 점검에도 그대로 씁니다.
2. 문서 형식을 확인합니다
글자를 선택할 수 있는 PDF와 문서 파일은 텍스트를 바로 추출할 수 있습니다. 스캔한 이미지 문서는 OCR(Optical Character Recognition, 광학 문자 인식)을 한 번 더 거쳐야 하고, 인식 결과를 검수하는 시간도 필요합니다.
| 문서 형식 | 처리 방법 | 확인할 점 |
|---|---|---|
| 텍스트 PDF, 문서 파일 | 텍스트를 바로 추출 | 머리말·꼬리말 같은 반복 문구 |
| 스캔 PDF, 이미지 | OCR 후 검수 | 글자 인식이 잘 되는 해상도인지 |
| 엑셀, 표 | 행과 열 구조를 유지해 추출 | 병합된 셀, 여러 줄 머리글 |
| 도면, 주석이 많은 문서 | 주석과 본문을 나눠 처리 | 도면 번호와 본문의 연결 |
- 스캔 문서 비율: 전체 문서 중 이미지로만 된 문서가 얼마나 되는지
- 표와 도면: 표 안의 수치나 도면 주석에서 답을 찾아야 하는 질문이 많은지
- 판 관리: 같은 문서의 여러 판이 함께 저장되어 있는지
3. 문서를 나누는 기준을 정합니다
문서 검색 AI는 긴 문서를 통째로 다루지 않고, 일정한 크기의 조각으로 나눠 검색합니다. 이 조각을 청크(chunk)라고 부릅니다. 조각이 너무 크면 관계없는 내용이 함께 근거로 들어가고, 너무 작으면 문맥이 끊깁니다.
일반적으로는 문서의 장과 절, 조항처럼 원래 구조를 따라 나누는 편이 좋습니다. 조항 번호나 표 제목을 조각에 함께 남겨 두면, 답에 근거 위치를 표시할 때도 정확해집니다.
4. 누가 어떤 문서를 볼 수 있는지 정리합니다
답은 질문한 사람이 볼 수 있는 문서 안에서만 나와야 합니다. 인사 규정이나 원가 자료처럼 일부 직원만 봐야 하는 문서가 있다면, 부서와 직급별 접근 범위를 먼저 표로 정리합니다.
| 문서 종류 | 생산팀 | 품질팀 | 관리자 |
|---|---|---|---|
| 설비 매뉴얼·정비 기록 | 열람 | 열람 | 열람 |
| 품질 기준서 | 열람 | 열람 | 열람 |
| 원가 자료 | 제한 | 제한 | 열람 |
| 인사 규정 | 제한 | 제한 | 열람 |
접근 권한은 답을 작성하는 단계가 아니라 문서를 찾는 단계에서 적용해야 합니다. 볼 수 없는 문서가 검색되지 않아야 답에도 섞이지 않습니다.
이미 문서 관리 시스템에 권한이 설정되어 있다면, 그 권한을 그대로 가져올 수 있는지 확인합니다. 권한을 따로 관리하면 두 시스템의 권한이 어긋날 수 있습니다.
5. 개정된 문서를 어떻게 반영할지 정합니다
매뉴얼이 개정되었는데 이전 판이 그대로 연결되어 있으면 이전 기준으로 답하게 됩니다. 문서가 어디에 저장되고 개정될 때 누가 올리는지 확인해 갱신 방식을 정합니다.
- 저장 위치: 파일 서버, 문서 관리 시스템, 개인 PC 중 어디에 있는지
- 갱신 주기: 정해진 시간마다 다시 읽을지, 개정될 때마다 반영할지
- 이전 판 처리: 이전 판을 지울지, 남기되 답의 근거에서 뺄지
6. 답변 품질을 점검하는 방법을 정합니다
도입 전에 답변 품질을 확인할 질문 목록을 만들어 두면, 시스템을 연결한 뒤 바로 점검할 수 있습니다. 1단계에서 모은 질문 목록에 담당자가 정답과 근거 위치를 적어 두는 방식이 가장 간단합니다.
점검할 때는 답이 맞는지와 함께, 근거로 표시한 문서와 쪽수가 맞는지도 확인합니다. 답은 맞는데 근거가 틀리면 사용자가 원문을 확인할 수 없기 때문입니다. 운영을 시작한 뒤에는 답하지 못한 질문을 모아 연결할 문서를 늘리는 데 씁니다.
도입 전 점검표
- 첫 적용 업무와 연결할 문서 목록을 정했다
- 스캔 문서와 표·도면 비율을 확인했다
- 문서를 나누는 기준(장, 절, 조항)을 정했다
- 부서·직급별 접근 범위를 표로 정리했다
- 문서 저장 위치와 갱신 방식을 정했다
- 답변 품질 점검용 질문 목록과 정답을 준비했다
Ultivis Agent는 사내 서버에 설치해 운영하며, 답마다 근거 문서와 쪽수, 원문 보기를 함께 보여 드립니다. 부서와 직급에 따라 찾을 수 있는 문서를 나눠 둘 수 있습니다.