由 vLLM 提供支持
Arli AI 文本生成由 vLLM 提供支持。因此，我们大多数可用的生成参数将与 vLLM 中可用的参数类似。
https://github.com/vllm-project/vllm身份验证与使用
所有文本生成 API 端点都需要通过 Authorization 进行 Bearer 身份验证。请将示例中的 {ARLIAI_API_KEY} 替换为您的实际 API 密钥。
请确保您已获得使用特定文本生成模型的权限。免费账户每 2 天最多可使用每个模型 5 次，用于测试目的。文本生成请求受账户套餐对应的速率限制和并发限制约束。超出限制可能导致账户被临时限制。
API 密钥参数覆盖（在账户设置中设置）将与请求正文中发送的参数合并，并对允许的参数优先应用。
并行请求
您可以同时发起的请求数量由账户允许的并行请求数决定。
如果您尝试并行发送超过允许数量的请求，该请求将被阻止。
API 密钥功能
您的 API 密钥不仅仅用于身份验证。在 Account page 中，您可以配置强大的覆盖项和设置，它们将应用于使用该密钥发出的每个 API 请求。这非常适合将我们的 API 与可能不支持我们所有独特功能的第三方客户端一起使用。
参数覆盖
您可以直接在 API 密钥上设置默认生成参数。这些设置将覆盖 API 请求中发送的任何参数。这使您可以强制执行特定设置或使用其他界面未公开的高级功能。
- Standard Parameters：为
temperature、top_p、top_k、repetition_penalty等设置默认值。 - Multi-Model (Arli AI Custom)：在
multi_models字段中提供模型列表。API 将为每个请求从该列表中随机选择一个模型，非常适合增加多样性或进行 A/B 测试。 - Hide Thinking (Arli AI Custom)：启用
hide_thinking复选框，以确保模型的推理过程（<think>...</think>标签内的内容）从最终输出中移除。
模型筛选
使用“Model Filter”选项指定可通过特定 API 密钥访问的模型白名单。使用该密钥查询 /v1/models/textgen-models 端点时，只会返回筛选列表中的模型。
聊天
Chat 是一个用于与单个模型交互的强大界面。它提供对聊天过程和会话管理的广泛控制。
生成参数
这些是控制文本生成过程的核心参数。它们在聊天和多模型聊天模式中均可用。
- Default System Prompt：定义自定义系统提示词，以引导 AI 的行为、个性和响应格式。这是创建专用助手的强大工具。
- Temperature：控制输出的随机性。较高的值（例如 1.0）会产生更具创意和多样性的响应，而较低的值（例如 0.1）会使输出更确定、更集中。
- Top-P (Nucleus Sampling)：Temperature 的替代方案。它从累积概率超过 `p` 值的最小 Token 集合中进行采样。与高 Temperature 采样相比，这可以生成更连贯的文本。
- Min-P：设置 Token 被考虑的最低概率。低于此阈值的 Token 将被排除在采样之外。
- Top-K：将采样限制为最可能的 `k` 个下一个 Token。值为 -1 时禁用此功能。
- Repetition Penalty：对对话中已出现的 Token 施加惩罚，降低模型重复自身的可能性。大于 1.0 的值会抑制重复。
- Presence Penalty：根据新 Token 是否已出现在当前文本中对其进行惩罚，从而增加模型谈论新话题的可能性。
- Frequency Penalty：根据新 Token 在当前文本中的现有频率对其进行惩罚，降低模型逐字重复同一行的可能性。
- Max Tokens：模型在单次响应中可以生成的最大 Token 数（单词和标点符号）。
- Seed：用于初始化随机数生成器的整数。使用相同的种子将为相同的提示词和参数生成相同的输出。留空则使用随机种子。
- Smoothing Factor & Curve：对 logits 应用变换以展平概率分布，有助于减少模型陷入重复循环的倾向。
- Top-A：另一种采样方法，会移除概率低于 `p_top_a ^ 2 * p_top_a_max` 的 Token，其中 `p_top_a_max` 是最可能 Token 的概率。
- TFS (Tail Free Sampling)：一种从概率分布尾部移除 Token 的采样技术，有助于消除不太可能但可能出现的 Token。
- Skew：一个可用于将概率分布偏向更可能或更不可能 Token 的参数。
高级采样（DRY）
DRY（Don't Repeat Yourself）采样是一组旨在防止模型重复 Token 序列的参数。
- DRY Multiplier：控制 DRY 惩罚的强度。
- DRY Base：DRY 惩罚计算的基础值。
- DRY Allowed Length：在应用惩罚之前允许重复的 Token 序列长度。
其他功能
- 会话管理：您的所有聊天都保存在本地。您可以从右侧边栏创建、重命名、删除和切换聊天。
- 导入/导出：将聊天记录保存为 JSON 文件并加载。
- 消息编辑与重新生成：编辑对话中的任何消息，或随时重新生成响应。
多模型聊天
Multi Chat 提供分屏界面，可同时比较两个模型或两组不同的设置。
使用方法
- 为每个模型窗格（模型 1 和模型 2）配置各自的 API 密钥、端点、模型和系统提示词。
- 在侧边栏中调整将应用于两个模型的通用生成参数。
- 在底部输入框中输入一条消息。
- 点击发送，即可在各自的窗格中接收两个模型的响应，从而直接比较它们的输出。
关键设置
- 独立窗格：每一侧（模型 1 和模型 2）都有各自独立的 API 密钥、端点、模型选择和系统提示词设置。这使您可以比较完全不同的模型或提供商。
- 共享参数：主侧边栏中的生成参数（Temperature、Top-P 等）会同时应用于*两个*模型，确保在相同条件下进行公平的并排比较。