WHAT IT DOES

무엇을 하나요?

이 저장소에는 arXiv 논문에 보고된 tablet-2 구성의 하네스와 채점 스크립트, 질문별 측정 기록이 담겨 있습니다. 실행 파일은 답변과 판정, 검색 문맥 길이, 메모리 수, 검색 시간, 오류를 기록합니다. 스크립트는 MIT 라이선스로 제공되지만 벤치마크 질문과 정답, 루브릭은 포함하지 않습니다.

KEY FEATURES

주요 기능

• 논문에 보고된 구성의 벤치마크 실행 하네스 제공
• BEAM 루브릭과 순서형 문항을 처리하는 채점 스크립트
• 질문별 답변·판정·검색 문맥 길이·메모리 수 기록
• 질문별 검색 시간과 오류 기록
• 일부 실행에서 루브릭 항목별 판정 이유 보존
• 실행 파일에서 검색을 반복하지 않고 재채점