사전학습 & 지속 사전학습 (CPT)

기술 개요

한국어 중심 도메인 코퍼스에 대한 처음부터의 사전학습과 기존 모델의 지속 사전학습. 토크나이저 설계부터 코퍼스 믹싱, 체크포인트 검증까지 전 과정을 자체 파이프라인으로 수행합니다.

도입 배경

일반 목적 모델은 한국어 전문 도메인에서 미세조정만으로 도달할 수 없는 언어적·개념적 기반을 요구합니다. 조직 고유의 문서, 용어, 추론 패턴이 모델 안에 있어야 검색이 아니라 "이해"가 일어납니다. 지속 사전학습은 그 기반을 통제된 비용으로 만들어 줍니다.

구현 및 검증

MoE(Mixture of Experts) 아키텍처 대상 bf16 LoRA 지속 사전학습을 수행합니다. 멀티GPU torchrun 학습과 융합 MoE 커널을 적용해 HF(HuggingFace) 베이스라인 대비 약 1.7~7배의 학습 처리량을 확보합니다. 처리량 수치는 사용 하드웨어·모델 구성에 따라 달라집니다.

코퍼스 믹싱 비율을 실험 단위로 기록합니다. 어떤 데이터가 어떤 비율로 섞였는지, 어떤 체크포인트에서 평가가 어떻게 변했는지가 남으므로 "왜 이 모델이 이렇게 말하는가"를 설명할 수 있습니다.

FP8/W4A16 양자화 경로로 학습된 모델을 추론 비용 최적화합니다. 학습과 양자화를 하나의 파이프라인으로 묶어 "학습된 모델이 실제 서비스 가능한 형태"까지를 우리 작업으로 봅니다.