Echo: 텐서 병렬 통신을 4비트로 줄이고 오차는 다음 연산에 갚는 방법
텐서 병렬 all-reduce를 4비트로 보내면서 합산은 고정밀로 하고 양자화 오차를 다음 호출에 되돌려주는 Echo의 설계와 A100 측정, 추론과 학습 결과를 따라갑니다.
블로그
AI 기술, 연구, 제품, 그리고 그 곁에서 일하는 사람들의 이야기
기술과 제품을 설계하고 검증하는 과정, 주목할 논문과 AI 동향에 대한 해설, Patty의 새로운 시도와 일하는 문화까지 깊이 있게 전합니다.
최신 글
페이지 3
하네스를 고치는 에이전트, 열린 세계에서 일하는 법
모델을 넘어 실행 하네스를 재귀로 다듬는 Harness^2의 두 층 구조와 정답지 없는 환경에서의 개선 방식을 따라가 봅니다.
운전석에는 누가 앉아야 할까 클라우드가 쓰고 로컬이 읽는 에이전트
클라우드 대형 모델이 짠 프로그램을 기기 안 작은 모델이 해석하는 구조가 데이터를 밖에 내놓지 않고도 에이전트 성공률을 끌어올린다는 arXiv 연구를 해설합니다.
학습 데이터의 어느 조각이 이 답을 만들었을까
이미지와 문장을 잇는 공유 희소 잠재 공간으로 패치와 구절 단위 영향력을 추적하는 MOSAIC 연구를 해설합니다.
보상만 쫓았는데 세상의 규칙을 배웠다고요
보상만 보고 배운 PPO 에이전트의 가치 함수 안에 세상에 대한 이해가 들어 있는지, 같은 장면을 살짝 바꿔 묻는 반사실 개입으로 따져본 Crafter 연구를 구조와 다이아몬드 규칙, 물과 음식, 인벤토리 감각 중심으로 읽는다.
턴 제한을 풀자 오픈 웨이트가 가장 비싼 모델과 어깨를 나란히 했다
CTI-REALM에서 26개 모델을 같은 조건으로 겨뤄 턴 제한이라는 숨은 변수를 걷어내자 비용 10분의 1의 오픈 웨이트 모델이 최상위 보상에 도달한 과정을 따라갑니다.
VETNET: 수의학 AI를 위한 벤치마크 데이터 생태계를 짓는 일
단발성 데이터셋이 아니라 살아 있는 평가 생태계로 수의학 AI를 바꾸려는 VETNET 제안을 해설합니다. 사람 의료와 벌어진 간격, 표준화와 협력과 다양성 문제를 따라갑니다.
오래 일하는 에이전트를 재는 법, 터미널에서 세 시간 버티기
46개 과제를 고치고 31개를 더해 77개로 넓힌 LHTB 2.0이 재구성 파이프라인과 단계별 보상, 세 시간 평가로 에이전트의 지속력을 어떻게 측정하는지 해설합니다.
틀린 예측을 고치면서 그리는 법
학습과 생성 사이의 어긋남을 매 스텝에서 바로잡는 Correction Training을 해설합니다.