WHAT IT DOES

무엇을 하나요?

제공된 자료는 Hugging Face의 논문 페이지로, galahad-kv 메모리 계층의 실험을 설명한다. 각 블록의 KV 상태를 암호화된 로컬 NVMe 디스크에 저장하고 나중에 그대로 복원한다. 논문은 5천만 토큰의 공개 텍스트를 대상으로 vLLM과 단일 NVIDIA H100에서 시험했다고 밝힌다.

KEY FEATURES

주요 기능

• 약 1만 6천 토큰 단위의 KV 상태를 암호화된 로컬 NVMe 디스크에 저장
• 저장된 블록을 KV 상태 재계산 없이 불러오기
• vLLM에서 5천만 토큰의 공개 텍스트를 대상으로 시험