파라미터 덩어리 너머로, 기억과 스킬을 조립하는 언어모델
FEM-ASM 논문을 따라가며 문서 상태와 실행 가능한 스킬이 타입 있는 제안으로 모이고 잔차 연산자로 맞춰지는 구조, Multi-Mesh 실험과 52,809개 기억 저장소의 의미를 살펴봅니다.
핵심 주제
AI 인프라
모델을 실제 서비스로 만드는 추론과 GPU 인프라
분산 추론, GPU 스케줄링, KV 캐시, MoE와 온프레미스 운영에서 성능과 안정성을 좌우하는 선택을 분석합니다.
관련 글
페이지 2
ROAR: 서로 다른 AI 연구 시스템을 하나로 묶는 실행 기록 인프라
값비싼 AI 연구 실행 기록을 서로 비교할 수 있게 만드는 관계형 스키마와 파싱 계층, 900번 이상의 실행에서 드러난 탐색의 본질을 따라갑니다.
LatentQuant, NVFP4 양자화 아래에서 정책이 믿는 잠복 약속을 지키는 법
복원 점수는 그대로인데 로봇 성공률이 무너진 이유를 따라가며, 인코더 정렬부터 고정하는 2단계 NVFP4 학습으로 정책이 기대하는 잠복 분포를 되찾은 LatentQuant를 해설합니다.
FlashSinkhorn 2: 블록 희소 엔트로피 최적 수송으로 1억 입자를 한 장의 GPU에 올리기
모든 쌍을 매번 계산하지 않고 성긴 해상도와 블록 희소 연산으로 엔트로피 최적 수송을 푸는 FlashSinkhorn 2의 설계와 1억 규모 실험을 해설합니다.
CaLR, 확산 모델이 생각을 고쳐 쓰는 법
추론을 잠재 최적화로 다시 쓴 CaLR을 따라가며 인과 구조와 그라디언트 기반 자기 수정이 병렬 생성을 어떻게 바꾸는지 풀어봅니다.
어텐션을 보는 라우터, MoE의 선택이 달라지는 지점
토큰 hidden state만 보던 MoE 라우터에 어텐션 가중치의 시간적 흐름과 주파수 패턴을 얹은 Attention-Aware Routing을 해설합니다. 얼린 모델에서 라우팅만 바꿔 수학 추론이 개선된 이유와 층별 민감도를 따라갑니다.
어텐션을 통째로 바꾸지 않고 통과시키는 법, TinyCeNN-LM이 보여준 품질 게이트 변환
학습된 어텐션을 무작정 대체하지 않고 표현과 손실 두 관문을 함께 통과한 층만 바꾸는 TinyCeNN-LM의 셀룰러 리커런트 변환을 구조와 숫자, 운영 관점에서 읽어봅니다.
평균에 가려진 토큰을 되찾는 법, RBS-Attention이 프리필을 푸는 방식
긴 컨텍스트 추론에서 프리필 병목을 겨냥한 학습 없는 희소 어텐션 방법 RBS-Attention을 해설합니다. 평균 희석 문제와 반경 기반 구조 브랜치, 블록 희소 실행과 실측 속도 향상을 따라갑니다.
최대 3.2배 빠른 추론, LFM2.5-DSpark가 가리키는 방향
Liquid AI의 LFM2.5-DSpark가 말하는 최대 3.2배 빠른 추론의 조건과 구조를 해설합니다. 어텐션과 KV 캐시, 양자화와 희소성, 하드웨어 맞춤 커널이 서빙 비용을 어떻게 바꾸는지 짚어봅니다.
NCCL 없이 버킷과 프록시로 잇는 비동기 GRPO와 LoRA
Hugging Face Jobs 환경에서 NCCL 대신 버킷과 프록시로 롤아웃과 학습을 분리하고 LoRA 어댑터만 주고받는 비동기 GRPO 구조를 따라가며 왜 이런 설계가 나왔는지 읽는다.
모델을 직접 다루지 말고 가상화하자는 제안이 던진 질문
단일 모델에서 복합 에이전트 시스템으로 넘어간 뒤에도 프레임워크마다 흩어진 상태와 메모리와 가드레일을 어떻게 다룰지, FMOS라는 자기 진화 운영체제 층 제안을 따라가며 읽는다.
물리 법칙으로 센서를 지키는 디지털 트윈이 도시 보행 흐름 속 숨은 조작을 찾는 법
멜버른 6년 데이터로 검증된 물리 제약 디지털 트윈이 희소한 보행 센서망에서 스텔스 데이터 조작을 가려내고 컨포멀 보정으로 경보 기준을 잡는 과정을 따라갑니다.