SFT는 모든 토큰을 배워야 할까, 수학 추론에서 덜어내는 학습이 말해주는 것
모든 토큰에 똑같은 손실을 주는 SFT의 관행을 logit gap 가중으로 다시 묻는 TrimSFT 논문을 해설합니다. 양쪽 끝을 덜어내고 중간에 집중하는 이유와 여섯 개 모델에서의 결과를 따라갑니다.
핵심 주제
AI 인프라
모델을 실제 서비스로 만드는 추론과 GPU 인프라
분산 추론, GPU 스케줄링, KV 캐시, MoE와 온프레미스 운영에서 성능과 안정성을 좌우하는 선택을 분석합니다.
관련 글
페이지 4
얽혀서 배우는 AI는 혼자 똑똑한 AI와 무엇이 다를까
확률 파동으로 얽힌 집단 행동을 설명하고 중국 장중 거래 데이터로 검증한 논문을 따라가며, AGI에 얽힌 게임 모듈이 필요한 이유와 한계를 함께 읽습니다.
함수 공간에서 다시 쓰는 학습의 통계역학
파라미터가 아닌 함수와 연산자를 거시 변수로 삼아 학습 동역학을 설명하는 이론을 읽고, 오차의 움직임과 요동이 왜 매끈한 방향으로 모이는지 풀어봅니다.
하나의 인코더로 이미지와 텍스트를 함께 읽는 법
별도 비전 타워 없이 단일 트랜스포머로 이미지와 다국어 텍스트를 처리하고 문서 검색에서 작은 크기로 강한 성능을 낸 NeoMME 연구 해설
IFM K2 Horizon 공개, 0.9B부터 375B까지 여섯 개 Apache 2.0 모델을 한 번에 내놓은 이유
MBZUAI의 프론티어 랩 IFM이 0.9B부터 375B까지 여섯 개 모델과 프리트레이닝 코퍼스를 Apache 2.0으로 공개한 배경과 설계 의미를 해설합니다.
DNS의 목적은 사기를 퍼뜨리는 일이라는 불편한 진단
8천5백만 개의 신규 gTLD 중 10퍼센트 이상이 사기라는 측정치를 따라가며 DNS 남용 구조와 엔지니어가 볼 지점을 해설합니다.