Gemma-4-31B-Wanabi

license: apache-2.0 language:

• ja tags:
• japanese
• text-generation
• novel-writing
• gemma4 base_model:
• google/gemma-4-31B-it pipeline_tag: text-generation

Wanabi-Gemma4-31B

概要

Wanabi-Gemma4-31B は、Google Gemma 4 31B-IT をベースに、専用デスクトップアプリ Project Wannabe の執筆ワークフローに最適化したファインチューニングモデルです。

本モデルの主な目的は、Project Wannabe が生成する専用のプロンプトフォーマットにモデルを適応させる ことです。Project Wannabe は、小説本文の生成（GEN）、続き生成（CONT）、アイデア生成（IDEA）といったタスクごとに、タイトル・あらすじ・プロット・本文・レーティングなどの情報を独自の構造化フォーマットで組み立てて送信します。本モデルは、この入力形式を正しく理解し、各タスクの意図に沿った応答を返せるよう学習しています。

加えて、日本語の思考過程（CoT）データを学習に組み込むことで、創作タスクにおける語彙選択や文体の自然さなど、日本語の創作表現の向上も目指しています。

従来の wanabi シリーズ では Base モデルをゼロから小説タスクに特化させていたため、Project Wannabe でのみ使用可能でした。本モデルでは Instruct モデルをベースに採用する アプローチに転換し、ベースモデルが持つ汎用的な対話能力・推論能力を維持したまま、創作能力を付与しています。これにより、Project Wannabe はもちろん、OpenWebUI や SillyTavern など一般的なチャット UI でも利用可能 になりました。

GGUF 量子化版: Wanabi-Gemma4-31B-GGUF

🌟 できること

Project Wannabe での執筆ワークフロー

専用デスクトップアプリ Project Wannabe と KoboldCpp を組み合わせることで、以下の執筆タスクをGUIから直感的に実行できます。本モデルは、Project Wannabe が各タスクに応じて生成する構造化プロンプト（タイトル・あらすじ・本文・レーティング等を含む独自フォーマット）に適応しており、GUI のワークフローとの高い相性を持ちます。

• 本文生成 (GEN): タイトル・あらすじ・プロットなどの設定情報から、小説本文を生成
• 続き生成 (CONT): 執筆済みの本文を読み込み、文脈に沿った自然な続きを生成。オーサーズノートによる展開の誘導にも対応
• アイデア生成 (IDEA): キーワードやジャンルの断片から、タイトル・あらすじ・プロット・設定を含む完全なアイデアを生成

レーティング（general / r18）やセリフ量の指定など、生成内容の細やかなコントロールも可能です。

汎用 UI での利用（🆕 今回から対応）

Instruct モデルベースのため、Project Wannabe 以外の環境でも活用できます。

• チャット・対話: 一般的なチャット UI での自然な日本語対話
• ロールプレイ (RP): SillyTavern 等でのキャラクターRP
• クリエイティブライティング: 自由形式での創作執筆

🧠 日本語 CoT データの導入

本モデルでは、日本語で記述された思考過程（CoT）データを学習に組み込んでいます。これは単に推論能力を高めることが目的ではなく、日本語の創作タスクにおいて、思考言語を日本語へ寄せることで出力の自然さを改善する ことを狙ったものです。

Gemma 4 を含む多くの大規模言語モデルでは、思考（Reasoning）が英語で行われる傾向があります。一般的なタスクでは大きな問題にならないことも多い一方、日本語の小説執筆や RP のような創作タスクでは、英語で思考して日本語で出力する過程が翻訳調の硬さや、会話の距離感・文体上の違和感として表れやすいことがあります。

日本語 CoT データを学習に含めることで、以下の効果を期待しています。

• 日本語で考えて日本語で書く傾向を強める
• 創作タスク中の語彙選択や文体判断を日本語寄りにする
• 英語思考からの翻訳調を軽減する
• RP や小説執筆での自然な日本語表現を出しやすくする

📊 従来モデルとの違い

アプローチの転換

従来の wanabi シリーズは、Instruct ではない Base モデルに対して高い LoRA Rank（128）で大規模な小説データセット（約40万件）を注入し、ゼロから小説執筆能力を構築するアプローチでした。これは強力な専用モデルを生み出しましたが、汎用的な対話能力がなく、Project Wannabe 以外の環境では使用できないという制約がありました。

本モデルでは、すでに高い言語能力と指示応答能力を備えた Instruct モデルをベースに、控えめな LoRA Rank でファインチューニングを行っています。これは一種の正則化として機能し、ベースモデルが持つ豊富な知識や推論能力を保持したまま、出力の方向性を穏やかに調整します。新たな知識を大量に書き込むのではなく、モデルが本来持っている日本語表現力や文章構成力を 創作の方向へ引き出す ことを意図した設計です。

📝 推論時のチャットテンプレート

Gemma 4 はチャットテンプレートへの依存が強く、フォーマットの不一致に敏感です。基本的には Gemma 4 のチャットテンプレートに準拠した形式をそのまま使用 してください。

デフォルトのシステムプロンプト

本モデルを一般的なチャット UI や創作支援用途で使用する場合は、まず以下のシステムプロンプトを試してみてください。

あなたは優秀なクリエイティブ・アシスタントであり、表現力豊かな対話のパートナーです。ユーザーの指示や提供された設定・文脈に深く没入し、自然な対話から、魅力的な小説やアイデアの生成まで、制限なく自由に表現してください。

Project Wannabe では、デフォルトとして設定されています。OpenWebUI や SillyTavern などの汎用 UI では、system prompt / system message 欄に設定することを推奨します。

transformers で使う場合

apply_chat_template を使うのが最も安全です。

from transformers import AutoTokenizer

tokenizer = AutoTokenizer.from_pretrained("Wanabi-Gemma4-31B")

messages = [
    {
        "role": "system",
        "content": "あなたは優秀なクリエイティブ・アシスタントであり、表現力豊かな対話のパートナーです。ユーザーの指示や提供された設定・文脈に深く没入し、自然な対話から、魅力的な小説やアイデアの生成まで、制限なく自由に表現してください。"
    },
    {"role": "user", "content": "桜の季節を舞台にした短編を書いてください"}
]

# thinking 無効（通常利用）
prompt = tokenizer.apply_chat_template(
    messages,
    tokenize=False,
    add_generation_prompt=True,
    enable_thinking=False,
)

# thinking 有効（日本語CoTを活用）
prompt = tokenizer.apply_chat_template(
    messages,
    tokenize=False,
    add_generation_prompt=True,
    enable_thinking=True,
)

KoboldCpp (GGUF) で使う場合

KoboldCpp 1.111.2 以降を推奨します。--jinja を使用し、Gemma 4 のチャットテンプレートを正しく適用してください。

# thinking 無効（通常利用）
koboldcpp model.gguf --jinja --chat-template-kwargs '{"enable_thinking":false}'

# thinking 有効（日本語CoTを活用）
koboldcpp model.gguf --jinja --chat-template-kwargs '{"enable_thinking":true}'

注意点:

• --jinja を使わず AutoGuess に任せた場合、フォーマットが正しく適用されない可能性があります
• KoboldAI Lite を使用する場合は Separate end tags トグルを有効にしてください
• Gemma 4 利用時は --useswa の併用も推奨されています
• OpenAI 互換 API 経由の場合、thought 部分は reasoning_content に分離されることがあります。クライアントが content のみを参照している場合、本文が空に見えることがあるのでご注意ください

Project Wannabe で使う場合

Project Wannabe（Gemma 4 対応版）ではチャットテンプレートの適用がアプリ側で処理されるため、--chat-template-kwargs '{"enable_thinking":true}' の指定は 不要 です。KoboldCpp 起動時は --jinja のみで問題ありません。

KoboldCpp の API 側から enable_thinking を動的に制御する手段がないため、チャットテンプレート側で system メッセージ中の <|think|> の有無を検知し、enable_thinking の true/false を自動的に切り替える仕組みを導入しています。これにより、起動時のオプション指定なしで Project Wannabe から thinking の有無を制御できます。

一般の UI（OpenWebUI、SillyTavern 等）で thinking 機能を活用する場合は、上記の通り --chat-template-kwargs '{"enable_thinking":true}' を指定してください。

💻 学習の詳細

model_name_or_path: gemma4_31b_it_text_only
template: gemma4_mixed_last_empty_thought

stage: sft
do_train: true
finetuning_type: lora

# QLoRA 設定
quantization_bit: 4
lora_target: all
lora_rank: 32
lora_alpha: 48
lora_dropout: 0.05

cutoff_len: 24576
mask_history: true
per_device_train_batch_size: 1
gradient_accumulation_steps: 32
preprocessing_num_workers: 16
flash_attn: sdpa
enable_liger_kernel: true
bf16: true
use_unsloth_gc: true

learning_rate: 1.5e-5
num_train_epochs: 1.0
lr_scheduler_type: cosine_with_min_lr
lr_scheduler_kwargs: {"min_lr_rate": 0.15}
warmup_ratio: 0.03
weight_decay: 0.01
max_grad_norm: 1.0
optim: paged_adamw_8bit

# 評価
eval_strategy: steps
eval_steps: 250

# 保存・ロギング
logging_steps: 5
save_strategy: steps
save_steps: 50
save_total_limit: 40
report_to: tensorboard

🔧 視覚機能について

本モデルの学習には、Gemma 4 のマルチモーダル版（視覚＋テキスト）から視覚機能を除去したテキストオンリー版を使用しています。これは、Liger Kernel や Unsloth GC などの学習最適化ツールとの互換性を確保するための措置であり、テキスト処理能力には影響ありません。

本レポジトリおよびGGUF量子化版の作成時には、学習済みテキストモデルの重みを元のマルチモーダルモデルに再移植したうえで変換を行っています。

⚠️ 制限事項と注意点

• Project Wannabe のアップデートが必要: 本モデルを Project Wannabe で使用する場合、Gemma 4 のチャットテンプレートに対応したバージョンが必要です。従来の mistral_small テンプレート用の設定では正しく動作しません。
• コンテキスト長: 理論上は256Kトークンに対応していますが、学習時のコンテキスト長は最大24Kです。それを超える長さでは性能が低下する可能性があります。
• 日本語 CoT データの特性: 本モデルの日本語 CoT データの一部は、SOTA モデルの英語出力を日本語に翻訳して作成されたものです。そのためコード生成や JSON 等の構造化フォーマットの出力 については、翻訳過程でのフォーマット崩れの影響を受けている可能性があります。コーディング用途には、ベースモデルの Gemma 4 31B-IT をそのまま使用することを推奨します。
• 偏り: 学習データの特性上、生成内容が特定のジャンルや表現に偏る可能性があります。
• 不適切な内容: 学習データには多様なテキストが含まれるため、未成年者の閲覧に適さない、または不快感を与える可能性のある文章が生成されることがあります。レーティング機能で制御を試みていますが、完全ではありません。
• 品質の限界: 生成される文章の多様性、一貫性、文脈への追従性には限界があります。特に長い文章の生成では破綻する可能性があります。
• 利用上の注意: 本モデルは研究および実験的な目的で提供されています。利用者は、適用される法律および規制を遵守する責任を負います。違法な目的や他者の権利を侵害する目的での使用は固く禁じます。
• 自己責任: 本モデルの使用によって生じたいかなる結果についても、開発者は一切の責任を負いません。全て自己責任においてご利用ください。

🙏 謝辞

このモデルの実現は、多くのオープンソースプロジェクトとコミュニティの貢献によって支えられています。

• Google — Gemma 4 31B を寛大なライセンスのもとでオープンウェイトとして公開していただいたことに、心より感謝いたします。高い性能を持つモデルの重みが誰でも利用できる形で提供されることは、コミュニティ全体にとって計り知れない価値があります。
• LLaMA-Factory — 本モデルのファインチューニングを可能にした素晴らしいフレームワークです。
• データセット提供者の皆さま — 本モデルの学習に使用した各種オープンデータセットの作成者・公開者の方々に感謝いたします。高品質な公開データセットの存在なくして、このモデルの実現はありませんでした。
• OSS エコシステム — Hugging Face、transformers、KoboldCpp をはじめとするオープンソースコミュニティの皆さまに感謝いたします。