무엇을 하나요?
spinf-serve에 콘텐츠와 선택지가 있는 여러 질문을 보내면 서버는 콘텐츠를 한 번 읽은 뒤 각 질문의 선택지별 확률을 반환한다. 응답에는 콘텐츠가 없을 때의 기준 확률과 선택지 밖으로 간 확률도 포함된다. 질문과 점수 계산 규칙을 담은 프롬프트 팩을 미리 불러와 분류 범주와 결정을 함께 받을 수도 있다. 자체 하드웨어에서 실행할 수 있으며, 문서에 제시된 기본 구성은 24GB NVIDIA GPU 한 대와 Linux를 사용한다.
주요 기능
- 콘텐츠 한 건을 한 번 읽고 여러 질문의 선택지별 확률을 계산한다.
- 콘텐츠가 없는 경우의 기준 확률과 선택지 밖의 잔여 확률을 반환한다.
- 프롬프트 팩을 불러와 범주별 점수와 결정을 응답에 포함한다.
- OpenAI 호환 API로 분류 요청을 받는다.
- Apache 2.0 라이선스로 자체 GPU 서버에 실행한다.