문서 이해 파이프라인

기술 개요

문서를 구조화된 지식으로 바꾸는 파이프라인. 품질 계약 기반 OCR, 파싱·청킹, 출처 보존 수집(ingestion)을 포함합니다.

도입 배경

기업 지식의 대부분은 PDF·한글·스캔 문서에 갇혀 있습니다. OCR 품질과 청킹 전략이 나쁘면 그 위에 얹은 AI 전부가 쓰레기를 재확인하는 일이 됩니다.

구현 및 검증

OCR을 "품질 계약"으로 다룹니다. 신뢰도 점수가 임계치 아래인 영역은 플래그되어 사람 검증 큐로 갑니다.

청킹은 문서 구조(제목·조항·표)를 따르며, 모든 청크에 원문 위치(provenance)를 태그해 답변의 근거가 문서 위치까지 역추적 가능합니다.