텍스트 생성 가이드

매개변수 재정의

API 키에 직접 기본 생성 매개변수를 설정할 수 있습니다. 이러한 설정은 API 요청으로 전송된 모든 매개변수를 재정의합니다. 이를 통해 특정 설정을 강제하거나 다른 인터페이스에서 노출되지 않는 고급 기능을 사용할 수 있습니다.

• Standard Parameters: temperature, top_p, top_k, repetition_penalty 등의 기본값을 설정합니다.
• Multi-Model (Arli AI Custom): multi_models 필드에 모델 목록을 제공합니다. API는 각 요청마다 이 목록에서 하나의 모델을 무작위로 선택하므로 다양성이나 A/B 테스트에 적합합니다.
• Hide Thinking (Arli AI Custom): hide_thinking 체크박스를 활성화하면 모델의 추론 과정(<think>...</think> 태그 내 콘텐츠)이 최종 출력에서 제거됩니다.

모델 필터링

"Model Filter" 옵션을 사용하여 특정 API 키로 접근할 수 있는 모델의 허용 목록을 지정하세요. 이 키로 /v1/models/textgen-models 엔드포인트를 쿼리하면 필터링된 목록의 모델만 반환됩니다.

생성 매개변수

텍스트 생성 과정을 제어하는 핵심 매개변수입니다. 채팅 및 멀티 채팅 모드 모두에서 사용할 수 있습니다.

• Default System Prompt: AI의 행동, 성격 및 응답 형식을 안내하는 사용자 지정 시스템 프롬프트를 정의합니다. 특화된 어시스턴트를 만드는 강력한 도구입니다.
• Temperature: 출력의 무작위성을 제어합니다. 값이 높을수록(예: 1.0) 더 창의적이고 다양한 응답이 생성되며, 값이 낮을수록(예: 0.1) 출력이 더 결정적이고 집중됩니다.
• Top-P (Nucleus Sampling): Temperature의 대안입니다. 누적 확률이 `p` 값을 초과하는 가장 작은 토큰 집합에서 샘플링합니다. 높은 Temperature 샘플링보다 더 일관된 텍스트를 생성할 수 있습니다.
• Min-P: 토큰이 고려되기 위한 최소 확률을 설정합니다. 이 임계값 미만의 확률을 가진 토큰은 샘플링에서 제외됩니다.
• Top-K: 샘플링을 가장 가능성이 높은 다음 토큰 `k`개로 제한합니다. 값이 -1이면 이 기능이 비활성화됩니다.
• Repetition Penalty: 대화에 이미 나타난 토큰에 패널티를 부여하여 모델이 반복할 가능성을 줄입니다. 1.0보다 큰 값은 반복을 억제합니다.
• Presence Penalty: 지금까지 텍스트에 나타났는지 여부에 따라 새 토큰에 패널티를 부여하여 모델이 새로운 주제에 대해 이야기할 가능성을 높입니다.
• Frequency Penalty: 지금까지 텍스트에서의 기존 빈도에 따라 새 토큰에 패널티를 부여하여 모델이 동일한 문장을 그대로 반복할 가능성을 줄입니다.
• Max Tokens: 모델이 단일 응답에서 생성할 수 있는 최대 토큰 수(단어 및 구두점)입니다.
• Seed: 난수 생성기를 초기화하는 데 사용되는 정수입니다. 동일한 시드를 사용하면 동일한 프롬프트와 매개변수에 대해 동일한 출력이 생성됩니다. 무작위 시드를 사용하려면 비워 두세요.
• Smoothing Factor & Curve: 확률 분포를 평탄화하기 위해 로짓에 변환을 적용하며, 모델이 반복 루프에 갇히는 경향을 줄이는 데 도움이 될 수 있습니다.
• Top-A: 확률이 `p_top_a ^ 2 * p_top_a_max`보다 낮은 토큰을 제거하는 또 다른 샘플링 방법입니다. 여기서 `p_top_a_max`는 가장 가능성이 높은 토큰의 확률입니다.
• TFS (Tail Free Sampling): 확률 분포의 꼬리 끝에서 토큰을 제거하여 가능성은 낮지만 존재할 수 있는 토큰을 제거하는 데 도움이 되는 샘플링 기법입니다.
• Skew: 확률 분포를 더 가능성이 높거나 낮은 토큰 쪽으로 치우치게 하는 데 사용할 수 있는 매개변수입니다.

고급 샘플링 (DRY)

DRY(Don't Repeat Yourself) 샘플링은 모델이 토큰 시퀀스를 반복하는 것을 방지하기 위해 설계된 매개변수 집합입니다.

• DRY Multiplier: DRY 패널티의 강도를 제어합니다.
• DRY Base: DRY 패널티 계산의 기본값입니다.
• DRY Allowed Length: 패널티가 적용되기 전에 반복이 허용되는 토큰 시퀀스의 길이입니다.

기타 기능

• 세션 관리: 모든 채팅은 로컬에 저장됩니다. 오른쪽 사이드바에서 채팅을 생성, 이름 변경, 삭제 및 전환할 수 있습니다.
• 가져오기/내보내기: 채팅 기록을 JSON 파일로 저장하고 불러올 수 있습니다.
• 메시지 편집 및 재생성: 대화의 모든 메시지를 편집하거나 언제든지 응답을 다시 생성할 수 있습니다.

사용 방법

1. 각 모델 창(Model 1 및 Model 2)에 자체 API 키, 엔드포인트, 모델 및 시스템 프롬프트를 설정하세요.
2. 두 모델 모두에 적용될 공통 생성 매개변수를 사이드바에서 조정하세요.
3. 하단 입력 상자에 메시지를 입력하세요.
4. 전송을 클릭하면 각 창에서 두 모델의 응답을 받아 출력을 직접 비교할 수 있습니다.

주요 설정

• 독립 창: 각 측(Model 1 및 Model 2)은 API 키, 엔드포인트, 모델 선택 및 시스템 프롬프트에 대한 독립적인 설정을 가집니다. 이를 통해 완전히 다른 모델이나 제공업체를 비교할 수 있습니다.
• 공유 매개변수: 기본 사이드바의 생성 매개변수(Temperature, Top-P 등)는 *두* 모델 모두에 동시에 적용되어 동일한 조건에서 공정한 나란히 비교를 보장합니다.