한국어 특화 RAG
한국어 RAG의 품질은 벡터 검색 하나가 아니라 문서 구조, 형태 변이, 조직 용어와 인용 검증의 결합에서 나옵니다.
한글 문서 수집부터 구조 보존 청킹, 혼합 검색, 재순위, 답변 근거와 접근 제어까지 설계합니다.
§ 01
한국어 특화 RAG이 필요한 운영 조건
띄어쓰기·어미·약어와 한영 혼용은 단일 임베딩 검색의 재현율과 순위를 흔듭니다.
검색된 문장이 맞아도 표·각주·개정 상태를 잃으면 답변은 업무 근거가 될 수 없습니다.
- 한국어 규정·매뉴얼·보고서가 답변의 근거여야 할 때
- 문서 권한과 인용을 답변 단위로 감사해야 할 때
- 원문이 자주 바뀌지만 개정 상태를 관리할 수 없을 때
- 검색 없이 구조화 질의로 정확히 해결되는 데이터일 때
한국어 특화 RAG 시스템 플레이트
- 01
1단계
HWP·HWPX·PDF의 제목, 표, 각주와 개정 메타데이터를 보존해 수집합니다.
- 02
2단계
형태 변이·초성·조직 동의어를 고려한 희소·밀집 혼합 검색을 구성합니다.
- 03
3단계
질의 유형별 후보 생성과 재순위 단계를 held-out 질문으로 조정합니다.
- 04
4단계
문장·표 셀 단위 인용, 권한 필터와 무응답 조건을 답변 계약으로 검증합니다.
- 작업은 HWP·HWPX·PDF의 제목, 표, 각주와 개정 메타데이터를 보존해 수집합니다.에서 시작합니다.
- 근거 recall@k와 순위 품질을 통해 수용 여부를 결정합니다.
§ 03
구현보다 먼저 경계와 수용 기준을 고정합니다.
한국어 RAG의 품질은 벡터 검색 하나가 아니라 문서 구조, 형태 변이, 조직 용어와 인용 검증의 결합에서 나옵니다.
- 01
1단계
HWP·HWPX·PDF의 제목, 표, 각주와 개정 메타데이터를 보존해 수집합니다.
검토 산출물 1 - 02
2단계
형태 변이·초성·조직 동의어를 고려한 희소·밀집 혼합 검색을 구성합니다.
검토 산출물 2 - 03
3단계
질의 유형별 후보 생성과 재순위 단계를 held-out 질문으로 조정합니다.
검토 산출물 3 - 04
4단계
문장·표 셀 단위 인용, 권한 필터와 무응답 조건을 답변 계약으로 검증합니다.
검토 산출물 4
§ 04
가상의 업무 조건으로 적용 범위를 확인합니다.
한국어 규정·매뉴얼·보고서가 답변의 근거여야 할 때
띄어쓰기·어미·약어와 한영 혼용은 단일 임베딩 검색의 재현율과 순위를 흔듭니다.
- APPROACH
- HWP·HWPX·PDF의 제목, 표, 각주와 개정 메타데이터를 보존해 수집합니다.
- BOUNDARY
- 검색 적중을 답변 사실성으로 등치하지 않습니다.
문서 권한과 인용을 답변 단위로 감사해야 할 때
검색된 문장이 맞아도 표·각주·개정 상태를 잃으면 답변은 업무 근거가 될 수 없습니다.
- APPROACH
- 형태 변이·초성·조직 동의어를 고려한 희소·밀집 혼합 검색을 구성합니다.
- BOUNDARY
- 문서 권한이 없는 사용자의 모델 지식을 우회 경로로 허용하지 않습니다.
§ 05
이득과 비용을 같은 표에서 검토합니다.
| Decision | Gain | Cost | Watch |
|---|---|---|---|
| 한국어 규정·매뉴얼·보고서가 답변의 근거여야 할 때 | HWP·HWPX·PDF의 제목, 표, 각주와 개정 메타데이터를 보존해 수집합니다. | 검색 적중을 답변 사실성으로 등치하지 않습니다. | 근거 recall@k와 순위 품질 |
| 문서 권한과 인용을 답변 단위로 감사해야 할 때 | 형태 변이·초성·조직 동의어를 고려한 희소·밀집 혼합 검색을 구성합니다. | 문서 권한이 없는 사용자의 모델 지식을 우회 경로로 허용하지 않습니다. | 인용 정확성·완전성 |
한국어 특화 RAG 시스템 플레이트
| Item | 방법 | 증거 | 경계 |
|---|---|---|---|
| 계층 1 | HWP·HWPX·PDF의 제목, 표, 각주와 개정 메타데이터를 보존해 수집합니다. | 근거 recall@k와 순위 품질 | 검색 적중을 답변 사실성으로 등치하지 않습니다. |
| 계층 2 | 형태 변이·초성·조직 동의어를 고려한 희소·밀집 혼합 검색을 구성합니다. | 인용 정확성·완전성 | 문서 권한이 없는 사용자의 모델 지식을 우회 경로로 허용하지 않습니다. |
| 계층 3 | 질의 유형별 후보 생성과 재순위 단계를 held-out 질문으로 조정합니다. | 권한 누출·무응답 정확도 | 검색 적중을 답변 사실성으로 등치하지 않습니다. |
- 작업은 HWP·HWPX·PDF의 제목, 표, 각주와 개정 메타데이터를 보존해 수집합니다.에서 시작합니다.
- 근거 recall@k와 순위 품질을 통해 수용 여부를 결정합니다.
§ 07
성과 수치보다 먼저 측정 조건을 합의합니다.
| Measure | Method | Pass condition | Caveat |
|---|---|---|---|
| 근거 recall@k와 순위 품질 | HWP·HWPX·PDF의 제목, 표, 각주와 개정 메타데이터를 보존해 수집합니다. | 도입 검토에서 합의한 기준을 반복 측정으로 충족 | 검색 적중을 답변 사실성으로 등치하지 않습니다. |
| 인용 정확성·완전성 | 형태 변이·초성·조직 동의어를 고려한 희소·밀집 혼합 검색을 구성합니다. | 도입 검토에서 합의한 기준을 반복 측정으로 충족 | — |
| 권한 누출·무응답 정확도 | 질의 유형별 후보 생성과 재순위 단계를 held-out 질문으로 조정합니다. | 도입 검토에서 합의한 기준을 반복 측정으로 충족 | — |
§ 08
적용하지 말아야 할 조건도 설계의 일부입니다.
원문이 자주 바뀌지만 개정 상태를 관리할 수 없을 때
검색 적중을 답변 사실성으로 등치하지 않습니다.
검색 없이 구조화 질의로 정확히 해결되는 데이터일 때
문서 권한이 없는 사용자의 모델 지식을 우회 경로로 허용하지 않습니다.
§ 09
진단, 설계, 검증의 세 게이트로 진행합니다.
- 01
진단
Patty현행 구조와 실패 신호를 기술적으로 분석합니다.
Client대표 업무, 데이터 경계, 운영 제약을 제공합니다.
근거 recall@k와 순위 품질 - 02
설계
Patty형태 변이·초성·조직 동의어를 고려한 희소·밀집 혼합 검색을 구성합니다.
Client소유자와 수용 기준을 확정합니다.
인용 정확성·완전성 - 03
검증
Patty질의 유형별 후보 생성과 재순위 단계를 held-out 질문으로 조정합니다.
Client운영 전환 또는 중단 결정을 내립니다.
권한 누출·무응답 정확도
§ 10
프로젝트가 끝나도 운영 조직에 남아야 합니다.
- 한국어 특화 RAG 의사결정 기록
- 한국어 RAG의 품질은 벡터 검색 하나가 아니라 문서 구조, 형태 변이, 조직 용어와 인용 검증의 결합에서 나옵니다.고객 소유 · Patty 검토
- 검증 하네스와 수용 기준
- 근거 recall@k와 순위 품질 · 인용 정확성·완전성 · 권한 누출·무응답 정확도공동 관리
- 운영·복구 런북
- 검색 적중을 답변 사실성으로 등치하지 않습니다. · 문서 권한이 없는 사용자의 모델 지식을 우회 경로로 허용하지 않습니다.운영 조직 소유
§ 11
같은 단어를 같은 운영 의미로 사용합니다.
- 한국어 특화 RAG
- 한글 문서 수집부터 구조 보존 청킹, 혼합 검색, 재순위, 답변 근거와 접근 제어까지 설계합니다.
- 수용 기준
- 근거 recall@k와 순위 품질
- 운영 경계
- 검색 적중을 답변 사실성으로 등치하지 않습니다.
REFERENCES
참고 문헌과 1차 자료
- BEIR
방법과 용어를 확인하기 위한 1차 자료입니다.
- NIST AI RMF: Map
방법과 용어를 확인하기 위한 1차 자료입니다.
한국어 특화 RAG이 필요한 조건부터 함께 검토하겠습니다.
대표 업무, 데이터와 인프라 경계, 실패 조건을 기준으로 적용 범위와 검증 계획을 구체화합니다.