WHAT IT DOES

무엇을 하나요?

llmbridge는 애플리케이션과 모델 공급자 사이에서 OpenAI 형식의 요청을 각 공급자 형식으로 바꾸고 응답을 다시 변환하는 C++ 게이트웨이다. 독립 실행 바이너리로 운영하거나 변환 호출을 C++ 애플리케이션에 직접 포함할 수 있다. 공개 저장소는 단일 업스트림을 위한 오픈 코어이며 다중 공급자 라우팅과 관측성 등은 상용 계층으로 제공된다.

KEY FEATURES

주요 기능

• OpenAI API 요청을 여러 모델 공급자 형식으로 변환
• 공급자 응답을 OpenAI 호환 형식으로 역변환
• 독립 실행 게이트웨이 바이너리 제공
• C++ 애플리케이션에 변환 라이브러리 내장
• 여러 워커를 이용한 CPU 코어 확장
• 대규모 동시 토큰 스트림 중계