PoC가 끝나도 결론이 나지 않는 이유
“PoC는 잘 끝났는데, 그래서 도입하는 건가요?”
PoC 결과 보고 자리에서 자주 나오는 질문입니다. 감지 정확도가 몇 퍼센트 나왔다는 숫자는 있지만, 그 숫자가 충분한지 판단할 기준이 없습니다. 현장 담당자는 실제로 써 보니 불편했다고 말하고, 경영진은 투자 대비 효과를 묻습니다. 결국 PoC를 한 번 더 하자는 결론이 나거나, 결론 없이 흐지부지되기도 합니다.
이런 상황은 대부분 PoC를 시작하기 전에 합의해야 할 항목이 빠져서 생깁니다.
- 무엇을 측정할지
- 지금 방식에서는 그 값이 얼마인지
- 어떤 결과가 나오면 다음 단계로 갈지
PoC의 목적은 기술 시연이 아니라, 도입 여부를 판단할 근거를 만드는 것입니다.
이 글에서 다루는 순서를 그림으로 정리하면 다음과 같습니다.
1단계. 과제를 업무 하나, 대상 하나로 좁힙니다
"현장 안전을 높인다"나 "설비 고장을 줄인다"는 방향으로는 맞지만 PoC 과제로는 너무 넓습니다. 무엇을 측정할지 정해지지 않기 때문입니다.
과제는 어느 구역에서 무엇을 찾아 누구에게 알릴지가 한 문장에 들어가는 크기가 적당합니다. 대상이 좁을수록 데이터 준비가 빠르고, 결과를 해석하기도 쉽습니다.
| 넓은 목표 | PoC 과제 | 결과를 받는 사람 |
|---|---|---|
| 현장 안전을 높인다 | 적재 구역 카메라 2대에서 안전모 미착용을 감지한다 | 안전 담당자 |
| 설비 고장을 줄인다 | 3호기 컨베이어 모터의 진동 데이터로 이상 징후를 찾는다 | 보전팀 |
| 문서 찾는 시간을 줄인다 | 설비 매뉴얼과 정비 기록에서 점검 기준을 찾아 근거와 함께 답한다 | 설비 담당자 |
과제를 고를 때 흔히 하는 실수도 있습니다.
- 목표를 여러 개 넣는 경우: 감지, 분석, 보고서 자동화를 한 PoC에 모두 넣으면 어느 하나도 충분히 검증하지 못합니다.
- 결과를 받을 사람이 없는 경우: 알람이나 답변을 받아 실제로 쓸 담당자가 정해지지 않으면 정성 기준을 확인할 수 없습니다.
- 가장 어려운 문제부터 고르는 경우: 효과를 확인하기 쉬운 과제로 먼저 성과를 보고, 어려운 과제는 다음 단계로 넘기는 편이 좋습니다.
2단계. 데이터 준비 상태를 확인합니다
과제를 정했다면 PoC에 쓸 데이터가 실제로 있는지, 꺼낼 수 있는지 확인합니다. 데이터 준비가 늦어지면 PoC 기간의 대부분을 연결 작업에 쓰게 됩니다.
| 과제 유형 | 필요한 데이터 | 미리 확인할 점 |
|---|---|---|
| 영상 위험 감지 | 대상 구역의 CCTV 영상 | RTSP 지원 여부, 화각, 시간대별 화면 |
| 설비 이상 감지 | 대상 설비의 센서·PLC 데이터, 정비 기록 | 수집 경로, 수집 주기, 과거 고장 기록 |
| 문서 질의응답 | 대상 업무의 매뉴얼, 규정, 정비 기록 | 문서 형식, 스캔 문서 비율, 접근 권한 |
실제 데이터 일부를 샘플로 받아 보면 형식과 품질 문제를 일찍 찾을 수 있습니다. 보안 때문에 외부 반출이 어렵다면 현장에서 확인하는 일정을 따로 잡습니다.
3단계. 지금 방식의 기준값을 먼저 잽니다
성공 여부는 지금과 비교해야 판단할 수 있습니다. 담당자가 그 일에 쓰는 시간, 놓치는 건수, 상황을 알아차리기까지 걸리는 시간처럼 과제와 직접 관련된 값을 PoC 전에 기록합니다.
기록이 없다면 1~2주 동안 직접 세어 보는 것도 방법입니다.
- CCTV 관제 과제: 근무 시간 동안 화면에서 확인한 상황의 수와, 나중에 영상을 다시 보다가 발견한 상황의 수를 함께 적습니다.
- 설비 이상 감지 과제: 최근 1년 정비 기록에서 대상 설비의 고장 횟수와, 고장이 났을 때 라인이 멈춘 시간을 정리합니다.
- 문서 질의응답 과제: 담당자가 자주 찾는 질문 몇 가지를 정해, 지금 방식으로 답을 찾는 데 걸리는 시간을 잽니다.
기준값이 없으면 PoC 결과로 나온 숫자를 해석할 수 없습니다.
4단계. 정량 기준과 정성 기준을 나눕니다
정량 기준은 숫자로 확인하는 기준이고, 정성 기준은 현장 담당자가 판단하는 기준입니다. 둘 중 하나만 있으면 판정이 한쪽으로 기웁니다. 정량 기준만 있으면 현장에서 쓰지 않는 결과가 나오기 쉽고, 정성 기준만 있으면 경영진을 설득할 근거가 약해집니다.
| 과제 유형 | 정량 기준 | 정성 기준 |
|---|---|---|
| 영상 위험 감지 | 실제 상황 중 감지한 비율 잘못 울린 알람 건수 | 담당자가 알람을 믿고 조치하는지 |
| 설비 이상 감지 | 고장 전에 이상을 알린 건수 알람이 고장보다 앞선 시간 | 정비 일정에 반영할 수 있는지 |
| 문서 질의응답 | 답변에 근거 문서가 붙은 비율 답을 확인하는 데 걸린 시간 | 담당자가 원문을 다시 찾지 않고 쓸 수 있는지 |
정량 기준은 목표치를 함께 정합니다. 목표치는 기준값과 비교해 얼마나 나아져야 의미가 있는지를 기준으로 잡습니다. 정성 기준은 짧은 설문이나 인터뷰로 확인하며, 누구에게 언제 물을지도 PoC 계획에 적어 둡니다.
5단계. 판정 규칙을 PoC 전에 합의합니다
결과가 나온 뒤에 기준을 정하면 결과에 맞춰 기준을 고르게 됩니다. 결과별로 다음에 할 일을 미리 정해 둡니다.
| 결과 | 다음 단계 |
|---|---|
| 정량·정성 기준을 모두 넘음 | 적용 범위를 넓히는 본 구축으로 넘어갑니다 |
| 정량 기준만 넘음 | 화면과 알림 방식을 고쳐 현장 검증을 한 번 더 합니다 |
| 정성 기준만 넘음 | 데이터와 모델을 보강하고 정량 기준을 다시 측정합니다 |
| 두 기준 모두 못 미침 | 원인을 정리하고 과제를 바꿀지, 중단할지 결정합니다 |
PoC 일정은 어떻게 잡나요
Ultivis는 현장 진단부터 PoC 결과 보고까지 다음 순서로 진행합니다. 성공 기준은 두 번째 단계인 SOW·KPI 합의에서 정하며, 이 글에서 다룬 항목이 이때 합의할 내용입니다.
SOW(Statement of Work)는 PoC에서 할 일의 범위를, KPI(Key Performance Indicator)는 성공을 판단할 지표를 말합니다. 이 단계에서 범위와 일정, 예산, 성공 기준, 단계별 마일스톤을 함께 정합니다.
PoC 계획서에 꼭 들어갈 항목
앞의 내용을 정리하면 PoC 계획서에는 다음 항목이 들어가야 합니다.
- 과제 정의: 업무, 대상, 결과를 받는 사람
- 사용할 데이터와 접근 방법
- 기준값과 측정 방법
- 정량 기준과 정성 기준, 각각의 목표치
- 측정 기간과 담당자
- 결과별 다음 단계
계획서를 쓸 때는 현장 담당자와 의사결정권자가 함께 검토해야 합니다. 현장 담당자는 과제와 기준값이 실제 업무와 맞는지를, 의사결정권자는 판정 규칙이 투자 판단에 충분한지를 확인합니다.