Arli AI

Arli AI는 API를 통한 LLM 추론 또는 이미지 생성 추론을 위한 비용 효율적이고 무제한이며 안정적인 AI 추론 플랫폼입니다.

어떤 요금제에서도 처리되는 요청 수에 제한을 두지 않습니다. 저희 시스템은 계정이 동시에 수행할 수 있는 병렬 요청 수만 제한합니다.

일반 요금제(Starter, Core, Plus, Pro, Max)는 모든 사용자에게 적절한 응답 속도를 제공하기 위해 부하 분산 조정이 적용됩니다.

저희는 사용자 요청이나 생성 로그를 절대 보관하지 않습니다. 사용자 요청과 응답은 저장 매체에 전혀 기록되지 않습니다.

저희 LLM의 경우 각 파인튜닝 모델에 대한 LoRA를 추출합니다. 이를 통해 필요에 따라 LoRA를 실시간으로 교체하면서 원본과 유사한 모델 동작(완전히 1:1은 아님)을 유지하며 많은 모델을 호스팅할 수 있습니다.

가능한 가장 높은 양자화로 모든 모델을 실행하며, 대부분의 모델은 8비트로, 일부는 품질 보존을 위해 8-4비트 혼합 양자화로 실행합니다. 파인튜닝된 LoRA 모델(- 접미사 포함)은 그 위에 적용되는 고랭크 FP16 LoRA로 실행됩니다.

프런트엔드가 표준 OpenAI API 엔드포인트 사용을 지원하는 한 Arli AI와 함께 작동합니다. 보너스로, 프런트엔드가 지원하지 않더라도 추론 매개변수를 설정할 수 있는 API 키별 매개변수 재정의도 제공합니다.

다른 옵션보다 비용이 훨씬 저렴할 뿐만 아니라, 서버리스 플랫폼에서 얻을 수 있는 것 중 모델을 로컬에서 실행하는 것에 가장 가깝습니다. 자체 온프레미스 보안 서버에서 실행하며 항상 최신 모델로 업데이트됩니다.

저희 서브레딧과 디스코드 서버에 참여하세요. 정기적으로 업데이트를 게시하고 모델에 대해 논의합니다!

사용하려는 모델이 모델 페이지에 없더라도 기본 모델 중 하나를 기반으로 한다면 문의하여 추가를 요청할 수 있습니다.