DANTINOX: 여러 생성 방식을 한 코드베이스에서 비교하는 법
자기회귀 디코딩과 마스크드 디퓨전과 플로우 매칭을 하나의 Transformer 백본과 하나의 API로 묶은 DANTINOX를 읽고, 구현 차이와 패러다임 차이를 가르는 비교의 조건을 따져봅니다.
핵심 주제
AI 인프라
모델을 실제 서비스로 만드는 추론과 GPU 인프라
분산 추론, GPU 스케줄링, KV 캐시, MoE와 온프레미스 운영에서 성능과 안정성을 좌우하는 선택을 분석합니다.
관련 글
페이지 3
TimeThink: 시계열 언어모델에게 조립식 추론을 가르치는 연구
답만 맞히는 시계열 언어모델을 넘어 추세와 계절성을 조립해 설명하는 추론을 합성 데이터와 검증 가능한 보상으로 가르치는 TimeThink 연구를 읽고 풀어낸 해설입니다.
함수 호출을 어디에서 실행할까, 탄소 배출로 답한 연구
엣지-클라우드 3계층에서 쿼리마다 정확도와 전력, 탄소 강도를 예측해 가장 낮은 배출로 실행 가능한 계층에 라우팅하는 탄소 인식 라우팅 연구를 해설합니다.
언어가 부족한 자리, 숫자를 직접 다루는 모델이 필요한 이유
언어가 수치 기록을 손실 방식으로 줄인 메모에 가깝다는 진단에서 출발해, 재현성과 계보와 교정된 불확실성이 요구되는 자리에서 Large Quantitative Model이라는 별도 갈래가 왜 거론되는지 따라가는 글입니다.
흩어진 커널을 허브로 모으겠다는 선언
Hugging Face의 Kernels 업데이트를 따라가며 버전 관리 허브, 실행 시점 디스패치, autotuning과 캐시, Transformers 통합이 추론 현장에서 무엇을 바꾸는지 해설합니다.
어느 클라우드에서 돌리든 저장은 허깅페이스에
SkyPilot으로 멀티클라우드 GPU를 오가며 Hugging Face Hub에 데이터와 체크포인트를 두는 제로 이그레스 패턴을 따라가 봅니다.
상용 라이선스로 나온 IBM Granite 시계열 PatchTST-FM-r2, SOTA 예측을 가볍게 풀다
IBM Research가 공개한 Granite Time Series PatchTST-FM-r2를 패치 기반 트랜스포머, 제로샷 예측, 상용 친화적 라이선스 관점에서 읽고 기업 예측 파이프라인에 주는 의미를 정리합니다.
OlmoEarth 임베딩 출시, Studio에서 고른 구역과 기간을 벡터로 꺼내는 이유
AllenAI의 OlmoEarth 임베딩과 Studio 맞춤형 임베딩 익스포트를 해설합니다. 전이 가능한 벡터 피처가 분류와 클러스터링, 변화 탐지와 검색으로 이어지는 과정, 지리참조와 메타데이터, 버전 관리와 재현성, 규모가 커질 때의 저장과 계산과 정규화, 그리고 라벨이 부족한 검증의 어려움을 다룹니다.
Diffusion 파인튜닝에서 LoRA 랭크가 갈리는 지점
CIFAR-10과 DDPM, 작은 DiT에서 랭크 2부터 32까지를 같은 조건으로 비교한 연구를 통해 적당한 랭크가 왜 실용적인 기본값이 되는지 읽어봅니다.
외운 다음에 비로소 이해하기 시작할 때
grokking을 384개 설정으로 재현해 일반화 시점을 멱법칙으로 정리한 논문을 해설합니다. 데이터가 왜 가장 센 레버인지, weight decay 1.0의 경계가 무엇을 가르는지 따라갑니다.
모델이 마음을 바꾸기 직전에 가지를 치는 법
트리 구조 강화학습에서 포크 위치가 단계별 신용 할당을 결정하는 이유와 믿음 변화 분기라는 실용적인 해법을 따라가 봅니다.
미분으로 의식을 묻다, 그래드랜드가 제안한 경험의 구조
Jacobian 행렬이 현상적 경험의 구조를 규정한다는 가설을 그래드랜드라는 미분 가능한 세계를 통해 따라가며, effective rank와 cohesion이 생생함과 지속을 어떻게 설명하는지 살펴봅니다.