로컬 LLM, 같은 가중치인데 토큰 절반이 뒤집혔다
발행일 2026. 8. 23.
엔비디아 공식 NVFP4 양자화가 88k 컨텍스트에서 토큰 약 50%를 뒤집으며 5종 중 꼴찌였다. 같은 모델·같은 가중치인데 어텐션 백엔드와 KV 캐시 설정만 바꿔도 툴 호출이 깨진다. 로짓을 통째로 캡처한 실측으로 본 로컬 추론의 함정과, 오늘 당장 바꿀 설정.
더 읽기 →태그
inference
전체 글
태그
발행일 2026. 8. 23.
엔비디아 공식 NVFP4 양자화가 88k 컨텍스트에서 토큰 약 50%를 뒤집으며 5종 중 꼴찌였다. 같은 모델·같은 가중치인데 어텐션 백엔드와 KV 캐시 설정만 바꿔도 툴 호출이 깨진다. 로짓을 통째로 캡처한 실측으로 본 로컬 추론의 함정과, 오늘 당장 바꿀 설정.
더 읽기 →