テキスト生成ガイド

強力なテキスト生成ツールとAPI機能の使用方法を学びます。

APIリファレンスを表示

vLLMを搭載

Arli AIテキスト生成は、vLLMを搭載しています。そのため、利用可能な生成パラメータのほとんどは、vLLMで利用可能なものと似ています。

https://github.com/vllm-project/vllm

認証と使用法

すべてのテキスト生成APIエンドポイントでは、Authorizationヘッダーを介したベアラー認証を使用した認証が必要です。例の{ARLIAI_API_KEY}を実際のAPIキーに置き換えてください。

使用する予定の特定のテキスト生成モデルへのアクセスが許可されていることを確認してください。無料アカウントでは、テスト目的で2日ごとに各モデルを最大5回リクエストできます。テキスト生成リクエストは、アカウントプランに基づいてレート制限と同時実行制限の対象となります。制限を超えると、一時的なアカウント制限が発生する場合があります。

APIキーパラメータのオーバーライド（アカウント設定で設定）は、許可されたパラメータのリクエスト本文で送信されたパラメータとマージされ、優先されます。

並列リクエスト

同時に実行できるリクエストの数は、アカウントに許可されている並列リクエストによって決まります。

許可されているよりも多くのリクエストを並行して送信しようとすると、リクエストはブロックされます。

APIキーの機能

APIキーは認証だけではありません。Account pageから、そのキーで行われたすべてのAPIリクエストに適用される強力なオーバーライドと設定を構成できます。これは、独自の機能のすべてをサポートしていない可能性のあるサードパーティクライアントでAPIを使用するのに最適です。

パラメータのオーバーライド

APIキーで直接デフォルトの生成パラメータを設定できます。これらの設定は、APIリクエストで送信されたパラメータをオーバーライドします。これにより、他のインターフェイスで公開されていない特定の設定を適用したり、高度な機能を使用したりできます。

  • Standard Parameters: temperature、top_p、top_k、repetition_penaltyなどのデフォルトを設定します。
  • Multi-Model (Arli AI Custom): multi_modelsフィールドにモデルのリストを指定します。APIはこのリストから各リクエストに対してランダムに1つのモデルを選択します。これは多様性やA/Bテストに最適です。
  • Hide Thinking (Arli AI Custom): hide_thinkingチェックボックスを有効にして、モデルの推論プロセス（<think>...</think>タグ内のコンテンツ）が最終的な出力から削除されるようにします。

モデルフィルタリング

「Model Filter」オプションを使用して、特定のAPIキーでアクセスできるモデルのホワイトリストを指定します。このキーを使用して/v1/models/textgen-modelsエンドポイントをクエリすると、フィルターされたリストのモデルのみが返されます。

API Key Settings

チャット

Chatは、単一のモデルと対話するための強力なインターフェイスです。チャットプロセスとセッション管理を広範囲に制御できます。

生成パラメータ

これらは、テキスト生成プロセスを制御するコアパラメータです。チャットモードとマルチチャットモードの両方で利用できます。

  • Default System Prompt: AIの動作、個性、応答形式を導くカスタムシステムプロンプトを定義します。これは、特化したアシスタントを作成するための強力なツールです。
  • Temperature: 出力のランダム性を制御します。高い値（例：1.0）はより創造的で多様な応答をもたらし、低い値（例：0.1）は出力をより決定論的で焦点の合ったものにします。
  • Top-P (Nucleus Sampling): Temperatureの代替。累積確率が値 `p` を超える最小のトークンセットからサンプリングします。これにより、高Temperatureサンプリングよりも一貫性のあるテキストを生成できます。
  • Min-P: 考慮されるトークンの最小確率を設定します。このしきい値を下回る確率のトークンはサンプリングから除外されます。
  • Top-K: サンプリングを `k` 個の最も可能性の高い次のトークンに制限します。値-1はこの機能を無効にします。
  • Repetition Penalty: 会話にすでに登場したトークンにペナルティを課し、モデルがそれ自体を繰り返す可能性を減らします。1.0より大きい値は繰り返しを抑制します。
  • Presence Penalty: これまでのテキストに表示されるかどうかに基づいて新しいトークンにペナルティを課し、モデルが新しいトピックについて話す可能性を高めます。
  • Frequency Penalty: これまでのテキストでの既存の頻度に基づいて新しいトークンにペナルティを課し、モデルが同じ行を逐語的に繰り返す可能性を減らします。
  • Max Tokens: モデルが単一の応答で生成できるトークン（単語と句読点）の最大数。
  • Seed: 乱数ジェネレーターを初期化するために使用される整数。同じシードを使用すると、同じプロンプトとパラメーターに対して同じ出力が生成されます。ランダムシードの場合は空のままにします。
  • Smoothing Factor & Curve: ロジットに変換を適用して確率分布を平坦化します。これにより、モデルが反復ループでスタックする傾向を減らすのに役立ちます。
  • Top-A: 確率が `p_top_a ^ 2 * p_top_a_max` 未満のトークンを削除する別のサンプリング方法。ここで、`p_top_a_max` は最も可能性の高いトークンの確率です。
  • TFS (Tail Free Sampling): 確率分布の末尾からトークンを削除するサンプリング手法で、ありそうもないが可能性のあるトークンを排除するのに役立ちます。
  • Skew: 確率分布をより可能性の高いトークンまたはより可能性の低いトークンに歪めるために使用できるパラメータ。

高度なサンプリング（DRY）

DRY（Don't Repeat Yourself）サンプリングは、モデルがトークンのシーケンスを繰り返すのを防ぐように設計された一連のパラメーターです。

  • DRY Multiplier: DRYペナルティの強度を制御します。
  • DRY Base: DRYペナルティ計算の基本値。
  • DRY Allowed Length: ペナルティが適用される前に繰り返すことが許可されているトークンシーケンスの長さ。

その他の機能

  • セッション管理: すべてのチャットはローカルに保存されます。右側のサイドバーからチャットを作成、名前変更、削除、切り替えできます。
  • インポート/エクスポート: チャット履歴をJSONファイルとして保存およびロードします。
  • メッセージの編集と再生成: 会話内の任意のメッセージを編集したり、いつでも応答を再生成したりできます。
Chat Settings

マルチチャット

Multi Chatは、2つのモデルまたは2つの異なる設定セットを同時に比較するための分割画面インターフェイスを提供します。

使用方法

  1. 各モデルペイン（モデル1とモデル2）を独自のAPIキー、エンドポイント、モデル、およびシステムプロンプトで構成します。
  2. 両方のモデルに適用されるサイドバーの共通の生成パラメータを調整します。
  3. 下部の入力ボックスに単一のメッセージを入力します。
  4. 送信をクリックして、それぞれのペインで両方のモデルから応答を受信し、それらの出力の直接比較を可能にします。

主要な設定

  • 独立したペイン: 各側（モデル1とモデル2）には、APIキー、エンドポイント、モデルの選択、およびシステムプロンプトに関する独自の設定があります。これにより、まったく異なるモデルまたはプロバイダーを比較できます。
  • 共有パラメータ: メインサイドバーの生成パラメータ（Temperature、Top-Pなど）は、*両方*のモデルに同時に適用され、同じ条件下での応答の公正な並列比較を保証します。