SITE CAPTURE서비스 페이지에 공개된 정보를 바탕으로 표시합니다. 선정·검수 원칙
WHAT IT DOES
무엇을 하나요?
SpectraAdamW는 2차 모멘트를 행과 열의 평균으로 분해해 저장하는 방식으로 분산 상태의 메모리 사용을 줄인다. 설명에 따르면 옵티마이저 상태 오버헤드를 50% 줄이는 것을 목표로 한다. PyTorch용 파이썬 시험 구현은 제공되지만 최적화된 C++ CUDA 백엔드는 비공개 개발 중이다.
KEY FEATURES
주요 기능
- 2차 모멘트를 행·열 평균으로 분해해 저장
- PyTorch AdamW를 한 줄 교체하는 파이썬 시험 구현
- 자체 C++ 백엔드에서 FFT로 모멘텀 압축