huggingface

WHAT IT DOES

무엇을 하나요?

VKORE-325M-NPU-Base는 추론 전용 NPU에서 무작위 초기화부터 학습한 기본 언어 모델이다. 같은 초기화와 데이터, 배치, 학습률 일정으로 학습한 GPU 모델과 미학습 텍스트에서 손실을 비교했다. 두 모델의 가중치와 평가 스크립트가 공개되어 있다.

KEY FEATURES

주요 기능

• 추론 전용 NPU에서 역전파를 실행해 모델의 모든 가중치를 학습했다.
• FineWeb-Edu의 50억 바이트 토큰을 76,292단계에 걸쳐 학습했다.
• 미학습 텍스트 1,024개 구간에서 NPU 모델과 GPU 모델의 손실을 비교했다.
• 두 모델의 가중치와 평가 스크립트를 공개했다.