한국어 특화 모델링

기술 개요

형태소·어미 처리를 포함한 한국어 토크나이제이션 전략과 형태소 인지 커리큘럼. 학습과 검색 양쪽에 동일하게 적용합니다.

도입 배경

한국어는 교착어로서 토큰 경계가 곧 의미 경계가 아닙니다. 영어 중심 토크나이저를 그대로 쓰면 같은 예산에서 실질 언어 커버리지가 떨어지고, 검색에서는 조사 변형이 재현율을 깨뜨립니다.

구현 및 검증

오프라인 형태소 분석기를 파이프라인에 통합하는 패턴(mecab-ko 계열 제네릭 기술)으로 학습 코퍼스와 검색 인덱스 양쪽의 정규화를 맞춥니다.

커리큘럼 설계에서 형태소 단위 난이도를 반영해, 어미 활용이 많은 문서 유형에 단계적으로 노출합니다.