무거운 모델을 통째로 고치지 않고 바닷속 표적을 찾아낸 방법
DINOv3 비전 트랜스포머에 LoRA와 대조 학습을 얹은 SAS 표적 인식 연구를 구조와 실험 조건 중심으로 해설합니다.
노시욱 (Patrick Rho)
작성한 글
페이지 11
정확도를 넘어서: 채용 사기 공고를 구조로 읽는 손실 함수
분류 정확도와 latent space 구조를 하나의 손실로 함께 다듬는 centroid-guided contrastive loss를 채용 사기 공고 탐지 맥락에서 읽어봅니다.
CaLR, 확산 모델이 생각을 고쳐 쓰는 법
추론을 잠재 최적화로 다시 쓴 CaLR을 따라가며 인과 구조와 그라디언트 기반 자기 수정이 병렬 생성을 어떻게 바꾸는지 풀어봅니다.
어텐션을 보는 라우터, MoE의 선택이 달라지는 지점
토큰 hidden state만 보던 MoE 라우터에 어텐션 가중치의 시간적 흐름과 주파수 패턴을 얹은 Attention-Aware Routing을 해설합니다. 얼린 모델에서 라우팅만 바꿔 수학 추론이 개선된 이유와 층별 민감도를 따라갑니다.
상식을 재는 자를 재다, CogGym이 던진 질문
258개 인지실험을 같은 trial로 맞춰 사람과 모델 50종을 비교한 CogGym을 해설합니다. 텍스트 0.59, 이미지 0.58, 비디오 0.43이라는 간격이 무엇을 뜻하는지 따라갑니다.
눈과 계획을 하나의 그래프로 묶으면 무슨 일이 생길까
지각을 단단한 기호로 굳히지 않고 부드러운 상태로 들고 가면서, 논리 규칙 위에서 경사하강법으로 계획을 푸는 신경 소프트 기호 프레임워크를 해설합니다.
어텐션을 통째로 바꾸지 않고 통과시키는 법, TinyCeNN-LM이 보여준 품질 게이트 변환
학습된 어텐션을 무작정 대체하지 않고 표현과 손실 두 관문을 함께 통과한 층만 바꾸는 TinyCeNN-LM의 셀룰러 리커런트 변환을 구조와 숫자, 운영 관점에서 읽어봅니다.
에이전트는 더 높은 추상화에서 더 좋은 칩을 설계할까
RTL에 직접 매달리는 대신 HLS라는 높은 추상화에서 출발하고 RTL 다듬기로 마무리하는 흐름이 왜 11개 과제에서 기하평균 2.6배의 속도 향상을 냈는지, FPGA 끝단 평가와 함께 읽어봅니다.
평균에 가려진 토큰을 되찾는 법, RBS-Attention이 프리필을 푸는 방식
긴 컨텍스트 추론에서 프리필 병목을 겨냥한 학습 없는 희소 어텐션 방법 RBS-Attention을 해설합니다. 평균 희석 문제와 반경 기반 구조 브랜치, 블록 희소 실행과 실측 속도 향상을 따라갑니다.
최대 3.2배 빠른 추론, LFM2.5-DSpark가 가리키는 방향
Liquid AI의 LFM2.5-DSpark가 말하는 최대 3.2배 빠른 추론의 조건과 구조를 해설합니다. 어텐션과 KV 캐시, 양자화와 희소성, 하드웨어 맞춤 커널이 서빙 비용을 어떻게 바꾸는지 짚어봅니다.
NCCL 없이 버킷과 프록시로 잇는 비동기 GRPO와 LoRA
Hugging Face Jobs 환경에서 NCCL 대신 버킷과 프록시로 롤아웃과 학습을 분리하고 LoRA 어댑터만 주고받는 비동기 GRPO 구조를 따라가며 왜 이런 설계가 나왔는지 읽는다.
에이전트는 과제를 통과했다, 다시 시키면 어떨까
한 번의 성공이 아니라 반복해도 통하는 실력을 묻는 IBM 리서치의 문제의식을 따라 에이전트 일관성의 원인과 측정법, 현장 대책을 풀어봅니다.