SITE CAPTURE서비스 페이지에 공개된 정보를 바탕으로 표시합니다. 선정·검수 원칙
WHAT IT DOES
무엇을 하나요?
livenerf는 고정 프롬프트, 고정 CLI, 정확한 채점기와 원시 로그를 이용해 모델 성능 변화를 장기간 측정한다. 동결된 평가 패널에서 기준선 대비 항목별 점수 차이와 출력 토큰 수를 추적한다. 현재 v0는 로그인된 Claude Code와 Python 3.11 이상 및 uv를 사용한다.
KEY FEATURES
주요 기능
- 고정된 프롬프트와 CLI로 반복 평가
- 원시 실행 로그를 지속적으로 보존
- 출시 주간 기준선과 항목별 점수 차이 비교
- 군집 표준오차를 이용한 통계적 드리프트 측정
- 샘플별 출력 토큰 수 추적
- 시간별 평가 실행과 고정 순환 패널 지원
EDITOR'S NOTE
왜 눈에 띄었나요?
출시 직후 기준선을 잡고 고정 프롬프트·CLI·채점기로 장기간 분포 변화를 관찰한다. 아직 실제 결과가 없다고 명시한 점도 성능 저하 논의를 재현 가능한 측정으로 바꾸려는 태도를 보여준다.