Panduan Generasi Teks

Penggantian Parameter

Anda dapat mengatur parameter generasi default langsung pada kunci API Anda. Pengaturan ini akan menimpa parameter apa pun yang dikirim dalam permintaan API. Ini memungkinkan Anda untuk memberlakukan pengaturan spesifik atau menggunakan fitur-fitur canggih yang tidak diekspos di antarmuka lain.

• Standard Parameters: Atur default untuk temperature, top_p, top_k, repetition_penalty, dan lainnya.
• Multi-Model (Arli AI Custom): Sediakan daftar model di bidang multi_models. API akan secara acak memilih satu model dari daftar ini untuk setiap permintaan, yang bagus untuk variasi atau pengujian A/B.
• Hide Thinking (Arli AI Custom): Aktifkan kotak centang hide_thinking untuk memastikan proses penalaran model (konten dalam tag <think>...</think>) dihapus dari output akhir.

Penyaringan Model

Gunakan opsi "Model Filter" untuk menentukan daftar putih model yang dapat diakses dengan kunci API tertentu. Ketika kunci ini digunakan untuk menanyakan titik akhir /v1/models/textgen-models, hanya model dari daftar yang Anda filter yang akan dikembalikan.

Parameter Generasi

Ini adalah parameter inti yang mengontrol proses generasi teks. Mereka tersedia dalam mode Obrolan dan Multi Chat.

• Default System Prompt: Tentukan prompt sistem khusus untuk memandu perilaku, kepribadian, dan format respons AI. Ini adalah alat yang ampuh untuk membuat asisten khusus.
• Temperature: Mengontrol keacakan output. Nilai yang lebih tinggi (mis., 1.0) menghasilkan respons yang lebih kreatif dan beragam, sedangkan nilai yang lebih rendah (mis., 0.1) membuat output lebih deterministik dan terfokus.
• Top-P (Nucleus Sampling): Alternatif untuk Temperature. Ini mengambil sampel dari kumpulan token terkecil yang probabilitas kumulatifnya melebihi nilai `p`. Ini dapat menghasilkan teks yang lebih koheren daripada pengambilan sampel dengan temperature tinggi.
• Min-P: Menetapkan probabilitas minimum untuk token yang akan dipertimbangkan. Token dengan probabilitas di bawah ambang ini dikecualikan dari pengambilan sampel.
• Top-K: Membatasi pengambilan sampel ke `k` token berikutnya yang paling mungkin. Nilai -1 menonaktifkan fitur ini.
• Repetition Penalty: Menghukum token yang sudah muncul dalam percakapan, mengurangi kemungkinan model mengulanginya sendiri. Nilai yang lebih besar dari 1.0 akan mencegah pengulangan.
• Presence Penalty: Menghukum token baru berdasarkan apakah mereka muncul dalam teks sejauh ini, meningkatkan kemungkinan model untuk berbicara tentang topik baru.
• Frequency Penalty: Menghukum token baru berdasarkan frekuensi yang ada dalam teks sejauh ini, mengurangi kemungkinan model untuk mengulangi baris yang sama persis.
• Max Tokens: Jumlah maksimum token (kata dan tanda baca) yang dapat dihasilkan model dalam satu respons.
• Seed: Bilangan bulat yang digunakan untuk menginisialisasi generator angka acak. Menggunakan seed yang sama akan menghasilkan output yang sama untuk prompt dan parameter yang sama. Biarkan kosong untuk seed acak.
• Smoothing Factor & Curve: Menerapkan transformasi ke logit untuk meratakan distribusi probabilitas, yang dapat membantu mengurangi kecenderungan model untuk terjebak pada putaran berulang.
• Top-A: Metode pengambilan sampel lain yang menghapus token dengan probabilitas kurang dari `p_top_a ^ 2 * p_top_a_max`, di mana `p_top_a_max` adalah probabilitas token yang paling mungkin.
• TFS (Tail Free Sampling): Teknik pengambilan sampel yang menghapus token dari ujung ekor distribusi probabilitas, membantu menghilangkan token yang kecil kemungkinannya tetapi masih mungkin muncul.
• Skew: Parameter yang dapat digunakan untuk memiringkan distribusi probabilitas ke arah token yang lebih atau kurang mungkin.

Pengambilan Sampel Lanjutan (DRY)

Pengambilan sampel DRY (Don't Repeat Yourself) adalah seperangkat parameter yang dirancang untuk mencegah model mengulangi urutan token.

• DRY Multiplier: Mengontrol kekuatan penalti DRY.
• DRY Base: Nilai dasar untuk perhitungan penalti DRY.
• DRY Allowed Length: Panjang urutan token yang diizinkan untuk diulang sebelum penalti diterapkan.

Fitur Lainnya

• Manajemen Sesi: Semua obrolan Anda disimpan secara lokal. Anda dapat membuat, mengganti nama, menghapus, dan beralih antar obrolan dari bilah sisi kanan.
• Impor/Ekspor: Simpan dan muat riwayat obrolan Anda sebagai file JSON.
• Pengeditan & Regenerasi Pesan: Edit pesan apa pun dalam percakapan atau regenerasi respons kapan saja.

Cara Menggunakan

1. Konfigurasikan setiap panel model (Model 1 dan Model 2) dengan kunci API, titik akhir, model, dan prompt sistemnya sendiri.
2. Sesuaikan parameter generasi umum di bilah sisi yang akan berlaku untuk kedua model.
3. Ketik satu pesan di kotak input di bagian bawah.
4. Klik kirim untuk menerima respons dari kedua model di panel masing-masing, memungkinkan perbandingan langsung dari output mereka.

Pengaturan Utama

• Panel Independen: Setiap sisi (Model 1 dan Model 2) memiliki pengaturan independennya sendiri untuk kunci API, titik akhir, pemilihan model, dan prompt sistem. Ini memungkinkan Anda untuk membandingkan model atau penyedia yang sama sekali berbeda.
• Parameter Bersama: Parameter generasi di bilah sisi utama (Temperature, Top-P, dll.) diterapkan ke *kedua* model secara bersamaan, memastikan perbandingan yang adil, berdampingan dari respons mereka dalam kondisi yang sama.