현실이 빨라질 때 지능은 어디까지 따라갈까
현실의 속도를 올리면서 지능의 신뢰를 재는 새로운 평가 틀과 Co^4 구조가 보여준 일관된 인지의 확장 가능성을 함께 읽어봅니다.
핵심 주제
AI 인프라
모델을 실제 서비스로 만드는 추론과 GPU 인프라
분산 추론, GPU 스케줄링, KV 캐시, MoE와 온프레미스 운영에서 성능과 안정성을 좌우하는 선택을 분석합니다.
관련 글
매번 개입하지 않고도 거의 같은 결과에 도달하는 법
모든 디노이징 스텝에 SMC 가이던스를 거는 대신 예산 안에서 고른 타이밍에만 개입하는 VISTA의 발상과 그 대가를 해설합니다.
Echo: 텐서 병렬 통신을 4비트로 줄이고 오차는 다음 연산에 갚는 방법
텐서 병렬 all-reduce를 4비트로 보내면서 합산은 고정밀로 하고 양자화 오차를 다음 호출에 되돌려주는 Echo의 설계와 A100 측정, 추론과 학습 결과를 따라갑니다.
점수만 보고 고르면 비싸집니다
86개 오픈 가중치 체크포인트를 일곱 개 벤치마크와 여섯 종 하드웨어에서 재고 실측 에너지와 점수를 함께 읽는 법을 정리했습니다.
Hugging Face와 Cerebras가 Gemma 4를 실시간 음성 AI로 가져온 이유
Hugging Face와 Cerebras가 Gemma 4를 실시간 음성 대화에 올린 배경과 구조를 허브 유통부터 웨이퍼 스케일 추론과 전체 음성 파이프라인까지 따라가며 읽습니다.
oMLX를 만든 준 킴이 허깅페이스에 합류한 이유
oMLX를 이끌어온 준 킴의 허깅페이스 합류 소식을 따라가며 MLX와 애플 실리콘 로컬 추론의 현재 위치와 남은 과제를 정리합니다.
토크나이저 v1, 인코딩과 디코딩과 확장을 직접 재다
Hugging Face의 tokenizers v1 측정 글을 따라 인코딩과 디코딩의 비대칭, 왕복 정확도, 길이와 배치와 동시성에 따른 병목을 살펴봅니다.
Transformers에서 llama.cpp 양자화 모델을 바로 돌린다
GGUF 파일을 변환 없이 from_pretrained로 불러오는 통합이 로컬 추론의 풍경을 어떻게 바꾸는지 해설합니다
환경까지 허브에 올리면 강화학습이 달라진다
Hugging Face 허브의 강화학습 환경 공유를 에이전트와 데이터셋, 재현성 구조 중심으로 읽고 한 줄 공유와 버전 고정이 바꾸는 연구 흐름을 따라간다.
목소리 복제 경쟁을 재현 가능하게 만든 평가대
Hugging Face의 Open TTS Leaderboard가 다국어 TTS와 제로샷 음성 복제를 어떻게 같은 조건에서 겨루게 하는지, 자동 지표와 사람 투표의 조합을 뜯어봅니다.
엣지에서 바로 결정하는 멀티모달 오픈 d1
토큰을 생성하지 않고 한 번의 패스로 답하는 Liquid AI의 d1-3B와 d1-omni-600M을 엣지 지연, 벤치마크, 실전 운용 관점에서 읽어봅니다.
비싼 GPU가 노는 시간을 줄이는 법
수천만 달러짜리 GPU 클러스터가 절반만 일하는 이유를 따라가며 gang scheduling과 topology 배치와 bin packing과 탄력적 스케줄링이 실제 처리량을 어떻게 바꾸는지 풀어낸 실용 해설