ホーム / 使い方 / 生成速度の目安

生成速度の目安(実測ベンチマーク)

Inkubus の生成にかかる時間の実測まとめです。生成は大きく 5 種類(小説の生成・キャストの AI 1 画像を読む・AI 2 名前を考える・ひらめき・チャット)あり、どれも モデルとマシン(とくに GPU の VRAM)で大きく変わります。「一晩で何本書けるか」の判断材料になる大事な目安なので、順次、計測データを増やしていく予定です。あくまで開発機での実測で、お使いの環境では前後します。

ジョブ画面の「ベンチマーク」タブ(v3 で追加)では、お使いの環境そのものの実測値をモデル・GPU ごとに比較できます。詳しくは ベンチマーク(速度比較) へ。

01 計測した環境

下の数値は、基本的に次の開発機での実測の目安です(モデルにより試行回数は異なります)。別の GPU での参考値は、その都度 環境を明記します。

  • GPU: GeForce RTX 5070 Ti(VRAM 16GB)
  • CPU / メモリ: Ryzen 7 9700X(8 コア)/ 64GB
  • 文脈サイズ: 64K / モデル: gemma4 系
  • チャットの計測: Ollama 0.40.0 / 文脈サイズ 32K / think OFF(2026-10-08)

VRAM がいちばん効きます。モデルが VRAM に収まりきると速く、あふれて CPU 併用になると一気に遅くなります。同じモデルでも、GPU が違えば結果は大きく変わります。

02 小説の生成

本編 1 章(約 2,500 字)あたりの目安です。GeForce RTX 5070 Ti(VRAM 16GB)での実測 —— 計測した環境。

モデル1 章(約 2,500 字)生成速度一晩(8 時間)の目安位置づけ
gemma4:e4b約 15 秒約 170 字/秒4 章 × 最大 100 本軽量・高速。量産や下書き向き
gemma4:12b約 33 秒約 76 字/秒4 章 × 最大 100 本新しめの中量級。VRAM 16GB に収まりきるので高速、品質は e4b より上
gemma4:26b約 2 分約 19 字/秒4 章 × 約 50 本速さと品質のバランス型
gemma4:31b約 11 分約 4 字/秒4 章 × 約 10 本高品質。VRAM 16GB では CPU 併用で低速

本編 1 章 ≈ 2,500 字で換算。「一晩」は 8 時間として算出した目安です。表はこれまでに実測したモデルの記録で、-it-qat を付けない旧ビルドで測ったものも含みます。いま推奨しているモデルは 推奨モデル を参照してください。

「一晩で 100 本」は軽量モデルでの上限の目安です。大きいモデル(例 gemma4:31b)は品質が上がる代わりに、VRAM 16GB では CPU 併用で大きく遅くなります。本数を稼ぎたいときは軽量モデル、品質重視なら大きいモデル+少なめの本数、と使い分けてください。

VRAM の大きい GPU なら 31B でも量産できる

大きいモデルの速度は GPU の VRAM で激変します。同じ gemma4:31b でも、VRAM に余裕のある GPU なら一気に速くなります。下は、手元の 16GB と RunPod の RTX 5090 の比較です。

環境(gemma4:31b)1 章(約 2,500 字)生成速度一晩(8 時間)の目安
開発機 RTX 5070 Ti(VRAM 16GB)約 11 分約 4 字/秒(CPU 併用)4 章 × 約 10 本
クラウド RTX 5090(RunPod)約 40 秒約 63 字/秒4 章 × 最大 100 本

同じ 31B が 約 15 倍。手元の 16GB では高品質な 31B は一晩 約 10 本どまりですが、RTX 5090 なら上限の 100 本(約 5 時間で完走)まで狙えます。31B を実用速度で量産するなら、VRAM の大きい GPU(クラウド GPU / RunPod 含む)が効きます。

03 キャストの AI 1 画像を読む

画像 1 枚を Vision モデルが読んで描写文(「顔・体格」「衣装」)を作る、登録時の 一度きりの処理です。所要は Vision モデルの大きさしだい(RTX 5070 Ti / VRAM 16GB での実測の目安)。

軽い Vision モデルほど速くなります。使い方は キャスト を参照。

04 キャストの AI 2 名前を考える

描写文から名前候補を作る短い処理です。使うモデルは AI の枠の 変更 から切り替えでき、軽量モデルにするほど速くなります(RTX 5070 Ti / VRAM 16GB での目安)。v3.1.0 までは「Magic Pen」と呼んでいた処理です。

名前生成は軽いモデルで十分なので、gemma4:12b-it-qat のような軽量モデルがおすすめです(→ 推奨モデル)。

05 ひらめき(作品案)

原作を種に「作品案」(タイトル・サブタイトル・登場人物・あらすじ・企画意図)を作る処理です。中身は小説と同じ文章生成なので、生成速度(字/秒)は上の「小説の生成」とほぼ同じと考えて差し支えありません。

ひらめき単独の実測データは順次追加していきます。現状は「小説の生成」の字/秒からの見積もりです。

06 チャット

チャット(v4.0)の時間は、会話の準備(相手が本文を読んで、最初のひと言を書くまで)と、毎回の返事の 2 つに分かれます。体感を決めるのは返事のほうです。GeForce RTX 5070 Ti(VRAM 16GB)・Ollama 0.40.0・文脈サイズ 32K・think OFF での実測で、どれも 3 回の中央値です(2026-10-08)。

返事の速さ

返事 1 通にかかる時間gemma4:e4b 0.4秒、gemma4:12b 1.1秒、gemma4:26b 1.7秒、gemma4:31b 12.6秒、gemma4:26b(think ON) 11.0秒 返事 1 通にかかる時間 送ってから、返事が届き終わるまで(短いほど速い) VRAM に収まる VRAM に収まらず CPU 併用 think ON(考えてから書く) 0秒 2秒 4秒 6秒 8秒 10秒 12秒 gemma4:e4b 0.4秒 gemma4:12b 1.1秒 gemma4:26b 1.7秒 gemma4:31b 12.6秒 gemma4:26b(think ON) 11.0秒 RTX 5070 Ti(VRAM 16GB)・Ollama 0.40.0・think OFF・3回の中央値(2026-10-08)
モデル送ってから書き始めるまで返事が届き終わるまで生成速度VRAM に載った量
gemma4:e4b-it-qat約 0.1 秒約 0.4 秒約 160 tok/秒3.3GB / 3.3GB(全部)
gemma4:12b-it-qat約 0.2 秒約 1.1 秒約 87 tok/秒8.0GB / 8.0GB(全部)
gemma4:26b-a4b-it-qat約 1.0 秒約 1.7 秒約 105 tok/秒13.0GB / 15.9GB
gemma4:31b-it-qat約 1.0 秒約 12.6 秒約 5 tok/秒11.8GB / 20.7GB(CPU 併用)

返事 1 通は 85〜131 字(中央値)。会話の画面の「連投のまとめ待ち」(既定 3 秒)は含めていません。

会話の準備

会話の準備(8 章・約 2 万字の小説から)gemma4:e4b 2 回目以降 3.6秒・はじめて 約14秒、gemma4:12b 2 回目以降 7.3秒・はじめて 約18秒、gemma4:26b 2 回目以降 約20秒・はじめて 約2分11秒 会話の準備(8 章・約 2 万字の小説から) 相手が本文を読んで、最初のひと言が届くまで(短いほど速い) 2 回目以降 その日はじめて使うとき(モデルの読み込み込み) 0秒 30秒 60秒 90秒 120秒 gemma4:e4b 3.6秒 約14秒 gemma4:12b 7.3秒 約18秒 gemma4:26b 約20秒 約2分11秒 31b は VRAM 16GB に収まらず CPU 併用で、約 1 万字でも 2 回目以降に約 1 分 46 秒かかった(グラフの外) RTX 5070 Ti(VRAM 16GB)・Ollama 0.40.0・think OFF・3回の中央値(2026-10-08)
モデル小説から(約 1 万字)小説から(8 章・約 2 万字)小説から(約 3 万字)キャストから人物をつくる(出す + 準備)
gemma4:e4b-it-qat約 4 秒約 4 秒約 4 秒約 2 秒約 1 秒 + 約 0.6 秒
gemma4:12b-it-qat約 7 秒約 7 秒約 8 秒約 5 秒約 4 秒 + 約 0.9 秒
gemma4:26b-a4b-it-qat約 13 秒約 20 秒約 18 秒約 7 秒約 4 秒 + 約 1.6 秒
gemma4:31b-it-qat約 1 分 46 秒—約 2 分 51 秒約 1 分 15 秒約 1 分 + 約 6 秒

表は、モデルを読み込んだあと、同じ小説で会話を準備するのが 2 回目以降の数字です(3 回の中央値)。その日はじめて使うとき(モデルの読み込みが入るとき)は、小説から(8 章・約 2 万字)で e4b 約 14 秒・12b 約 18 秒・26b 約 2 分 11 秒、(約 1 万字)で 31b 約 2 分 37 秒でした。31B の 8 章・約 2 万字は、計測中にほかの処理と重なったため載せていません。

その小説ではじめて会話を準備するときは、相手が本文を頭から読むので、2 回目以降より長くかかります。2026-10-09 に同じ環境(Ollama 0.40.1)で測り直した数字です。2 回目以降が速いのは、同じ本文を読んだぶんを Ollama が覚えているためです。

モデル約 3 万字の小説 · はじめて同じ小説 · 2 回目約 1 万字 · はじめて(モデルの読み込みを含む)
gemma4:12b-it-qat約 12 秒約 6 秒約 20 秒
gemma4:26b-a4b-it-qat約 2 分 53 秒約 17 秒約 1 分 36 秒