어텐션을 통째로 바꾸지 않고 통과시키는 법, TinyCeNN-LM이 보여준 품질 게이트 변환
학습된 어텐션을 무작정 대체하지 않고 표현과 손실 두 관문을 함께 통과한 층만 바꾸는 TinyCeNN-LM의 셀룰러 리커런트 변환을 구조와 숫자, 운영 관점에서 읽어봅니다.
블로그
AI 기술, 연구, 제품, 그리고 그 곁에서 일하는 사람들의 이야기
기술과 제품을 설계하고 검증하는 과정, 주목할 논문과 AI 동향에 대한 해설, Patty의 새로운 시도와 일하는 문화까지 깊이 있게 전합니다.
최신 글
페이지 15
에이전트는 더 높은 추상화에서 더 좋은 칩을 설계할까
RTL에 직접 매달리는 대신 HLS라는 높은 추상화에서 출발하고 RTL 다듬기로 마무리하는 흐름이 왜 11개 과제에서 기하평균 2.6배의 속도 향상을 냈는지, FPGA 끝단 평가와 함께 읽어봅니다.
평균에 가려진 토큰을 되찾는 법, RBS-Attention이 프리필을 푸는 방식
긴 컨텍스트 추론에서 프리필 병목을 겨냥한 학습 없는 희소 어텐션 방법 RBS-Attention을 해설합니다. 평균 희석 문제와 반경 기반 구조 브랜치, 블록 희소 실행과 실측 속도 향상을 따라갑니다.
최대 3.2배 빠른 추론, LFM2.5-DSpark가 가리키는 방향
Liquid AI의 LFM2.5-DSpark가 말하는 최대 3.2배 빠른 추론의 조건과 구조를 해설합니다. 어텐션과 KV 캐시, 양자화와 희소성, 하드웨어 맞춤 커널이 서빙 비용을 어떻게 바꾸는지 짚어봅니다.
NCCL 없이 버킷과 프록시로 잇는 비동기 GRPO와 LoRA
Hugging Face Jobs 환경에서 NCCL 대신 버킷과 프록시로 롤아웃과 학습을 분리하고 LoRA 어댑터만 주고받는 비동기 GRPO 구조를 따라가며 왜 이런 설계가 나왔는지 읽는다.
에이전트는 과제를 통과했다, 다시 시키면 어떨까
한 번의 성공이 아니라 반복해도 통하는 실력을 묻는 IBM 리서치의 문제의식을 따라 에이전트 일관성의 원인과 측정법, 현장 대책을 풀어봅니다.
없는 도구를 부르는 에이전트를 앞에 세운 전화번호부로 막는 법
존재하지 않는 도구를 호출하는 tool hallucination을 레지스트리 대조와 시그니처 확인으로 걸러내는 closed-world resolution과 파이프라인 순서에 대한 해설
MAGS, 에이전트가 짠 코드에 증명서를 붙이는 방법
에이전트가 만든 CUDA 커널과 터미널 스크립트, 로봇 팔 코드를 테스트가 아니라 증명으로 확인하는 MAGS의 다중 에이전트 형식화 파이프라인을 해설합니다.
AI 에이전트는 컴퓨터 구조를 이해할까
같은 가속기 설계 문제를 이름 있는 구조와 이름 없는 숫자로 나눠 풀게 한 실험을 따라가며, 에이전트의 성능 향상이 이해에서 왔는지 가려내는 방법을 해설합니다.