Arli AI

Arli AI adalah platform inferensi AI yang hemat biaya, tidak terbatas, dan andal untuk inferensi LLM atau inferensi Pembuatan Gambar melalui API.

Kami tidak memiliki batasan jumlah permintaan yang diproses untuk paket kami. Sistem kami hanya membatasi jumlah permintaan paralel yang dapat dibuat oleh suatu akun pada saat yang bersamaan.

Paket reguler kami (Starter, Core, Plus, Pro, Max) tunduk pada penyesuaian penyeimbangan beban untuk memberikan kecepatan respons yang dapat diterima bagi semua pengguna.

Kami sama sekali tidak menyimpan log permintaan atau pembuatan pengguna. Permintaan pengguna dan responsnya tidak pernah menyentuh media penyimpanan.

Untuk LLM kami, kami mengekstrak LoRA untuk setiap model yang disesuaikan. Ini memungkinkan kami untuk menghosting banyak model dengan menukar LoRA dengan cepat sesuai kebutuhan sambil mempertahankan perilaku model yang mirip dengan aslinya (tetapi tidak persis 1:1).

Kami menjalankan semua model kami dengan kuantisasi tertinggi yang memungkinkan, dengan sebagian besar model dijalankan pada 8-bit dan beberapa pada kuantisasi campuran 8-4 bit untuk menjaga kualitas. Model LoRA yang telah disesuaikan (dengan akhiran -) dijalankan sebagai LoRA FP16 peringkat tinggi yang diterapkan di atasnya.

Selama frontend mendukung penggunaan endpoint API OpenAI standar, maka itu akan berfungsi dengan Arli AI. Sebagai bonus, kami juga memiliki penggantian parameter per-kunci-API yang memungkinkan Anda mengatur parameter inferensi bahkan jika frontend tidak mendukungnya.

Selain biayanya yang jauh lebih murah daripada opsi lain, kami hampir sama dengan menjalankan model secara lokal seperti yang bisa Anda dapatkan dari platform tanpa server. Kami berjalan di server aman on-premise kami sendiri dan selalu terbarui dengan model-model terbaru.

Bergabunglah dengan subreddit dan server discord kami di mana kami secara teratur memposting pembaruan dan mendiskusikan model!

Jika model yang ingin Anda gunakan tidak ada di halaman Model kami, selama itu didasarkan pada salah satu model dasar, Anda dapat menghubungi kami untuk meminta penambahannya.