FOREDOOM / LAB RECORD 1494
ローカルLLMは、仕事によってどこまで使い分けられるのか。
RX 9070 XT 16GBを使い、6つのローカルLLMを実際の業務を想定した条件で検証。文章作成、正確な情報抽出、処理速度の違いから、モデルごとの適性と今後の業務活用について整理します。
Published
RX 9070 XT 16GBで6モデルを検証。文章作成・情報抽出・処理速度から見えた適性の違い
AIモデルを選ぶとき、性能が高いものをひとつ選べば、さまざまな仕事に対応できるように思えるかもしれません。
しかし、実際に複数のローカルLLMを試してみると、そう単純ではありませんでした。
例えば、同じ文章作成の指示でも、指定した文字数にほぼ収まるモデルがある一方、必要な量の4倍以上を書き続けるモデルもあります。処理速度が非常に速くても、過去の会話から正しい情報を取り出す仕事では、期待した結果を得られない場合がありました。
foredoomでは、クラウドAIとローカルAIを業務内容に応じて使い分けるため、既存のWindows PCを利用したローカルLLMの研究を進めています。
目指しているのは、最も性能の高いモデルを見つけることではありません。
何の仕事なら、どのAIに任せられるのか。
その判断材料を得るため、6つのローカルLLMを使って、文章作成と過去の情報の読み取りを検証しました。
2026年9月から10月にかけて実施したPhase 1の結果をもとに、モデルごとの特徴と、今後の業務活用について整理します。
METHOD何を基準に比較するのか
今回の検証では、AMD Radeon RX 9070 XTを搭載した既存のWindows PCを使用しています。
GPUのメモリは16GB。ローカルAI専用に新しい機材を購入したわけではなく、普段はゲームなどにも使用しているPCです。
検証対象は、Gemma、Qwen3、Qwen3.5、LLM-jp、Ministral、LFMの6モデル。
これらについて、主に2種類のテストを行いました。
ひとつは、日本語による文章作成です。
個人事業のWeb制作会社がAIを活用し、売上を増やしながら作業時間を減らすための3カ年計画を作成するよう依頼しました。
指定したのは4,000〜5,000文字程度、9章構成、具体的な業務例を含めること。不確かな内容は「仮説」と明記する条件も設けています。
このテストは「J001」として管理しています。
もうひとつは、過去の会話からの情報抽出です。
実際のChatGPTとのやり取りから、質問や提案、実施済みの作業、最終的な判断を正確に区別できるかを確認しました。
こちらは「C026」と呼ぶ検証です。
文章を自然に作る能力と、事実を正しく読み取る能力は同じとは限りません。
そのため、2つのテストは別々に評価しています。
また、モデルごとに使用した実行ソフトウェアや設定が完全に統一されているわけではありません。
今回の結果は、一般的なAIモデルの性能順位ではなく、foredoomが実際に使用した構成で得られた観測結果として扱います。
WRITING同じ文章作成でも、結果は大きく違った
まず、文章作成のJ001では、モデルによって出力の傾向に大きな違いが見られました。
4,000〜5,000文字を目安に依頼した結果は、次のとおりです。
| モデル | 生成文字数 | 9章構成 | 文字数の評価 |
|---|---|---|---|
| Gemma 4 12B | 5,001 | 達成 | 上限1文字超過 |
| Qwen3 14B | 4,959 | 達成 | 指定範囲内 |
| Qwen3.5 9B | 8,164 | 達成 | 超過 |
| LLM-jp 4.1 8B | 3,304 | 達成 | 不足 |
| Ministral 3 14B | 21,415 | 達成 | 大幅超過 |
| LFM2.5-8B-A1B | 3,128 | 達成 | 不足 |
目標範囲：4,000〜5,000文字
すべてゼロ始点・同一尺度。棒の長さは生成文字数を示し、品質の優劣は示しません。Gemmaは2026年10月25日の正式J001結果です。
※Gemmaは2026年10月25日の正式J001測定結果。他のモデルも保存済みの各J001結果を使用しています。
興味深いのは、6モデルすべてが指定した9章の構成を最後まで生成できたことです。
一方、文字数の制御には大きな差がありました。
Qwen3 14Bは4,959文字で、指定範囲に収まっています。Gemma 4 12Bは5,001文字と厳密には1文字超過していますが、実質的には指定量に近い回答でした。
対照的だったのがMinistral 3 14Bです。
4,000〜5,000文字を指定したにもかかわらず、生成された文章は21,415文字。情報量は豊富でしたが、そのまま実務で利用するには整理が必要な内容になっています。
また、LLM-jpやLFMは指定文字数に届かなかったものの、短い時間で文章を最後まで生成できました。
文章作成において重要なのは、単に多くの文章を書けることではありません。
決められた分量や構成を守れるか、内容に具体性があるか、修正する手間がどの程度かかるかによって、使いやすさは変わります。
こうした違いは、モデルの規模だけでは判断できないものでした。
QUALITY文章が自然でも、内容が正しいとは限らない
文字数や構成を守れていても、文章の品質には別の課題があります。
今回のJ001で、比較的バランスの良い結果だったのがGemma 4 12Bです。
当初、MacからWeb UIを利用して試した際には、約4,394文字の文章を生成し、日本語や構成も概ね良好でした。
さらに、2026年10月25日に正式なBenchmarkを実施したところ、5,001文字を約40秒で生成。9章を最後まで書き上げ、正常に完了することも確認できています。
日本語は概ね自然で、個人事業主を想定した具体的な業務例も含まれていました。
ただし、完成した文章をそのまま利用できるわけではありません。
例えば、情報セキュリティについて「情報漏洩の懸念ゼロ」と表現したり、ローカル環境の構築を必須であるかのように述べたりするなど、条件によって判断が変わる内容を断定する問題が残っていました。
また、不確かな部分には「仮説」と明記するよう求めていたものの、その表現が使われたのは1回だけです。
こうした問題はGemmaだけに限りません。
Qwen3.5では、根拠を示さずに削減率や単価の向上を数値で断定する内容が見られました。LLM-jpやLFMでも、不確かな数値の扱いには課題が残っています。
つまり、自然な文章が生成されたからといって、内容まで正しいとは限らないのです。
今回の検証では、Gemmaを品質面の基準となるモデルとして位置づけました。
ただし、これは6モデルの中であらゆる性能が最も優れていたという意味ではありません。
文章の下書きには利用できても、経営判断や顧客への説明に使うには、人による確認が必要です。
この違いも、業務へAIを取り入れるうえで重要な判断材料になりました。
FACT EXTRACTION正しい情報を取り出す仕事では、別の結果になった
文章作成とは別に、過去の会話から情報を正確に取り出すC026も実施しています。
この検証では、質問しただけのことを実施済みとして扱わないか、提案された方法と実際に採用した方法を区別できるかなどを確認しました。
結果は、文章作成とは異なるものでした。
| モデル | C026で確認できた結果 |
|---|---|
| Gemma 4 12B | 主要4項目の意味判断が良好 |
| Qwen3 14B | 出力形式は成立したが、意味の誤認が残った |
| Qwen3.5 9B | 出力上限に達し、JSONが未完了 |
| LLM-jp 4.1 8B | 出力の解析エラーと意味判断の問題 |
| Ministral 3 14B | JSONは正常に完了したが、最終判断を誤認 |
| LFM2.5-8B-A1B | JSONが未完了で、重要な判断の抽出にも課題 |
Gemmaでは、質問と実施済みの事実を区別するなど、主要な意味判断で良好な結果が得られています。
しかし、元の会話を一字一句正しく引用するという条件では9件中7件の一致にとどまり、確認済みの知識を完全自動で保存する用途には採用していません。
また、Ministralでは指定したJSON形式を正常に出力できた一方、本人が実際に採用した方法を別の方法として記録する問題がありました。
このように、形式上は正しく出力できても、情報の意味が正しいとは限りません。
この問題については、LAB #003「AIは過去の会話から、事実を正しく読み取れるのか。」で詳しく紹介しています。
今回の6モデルについては、いずれも確認済み知識を無人で生成する用途には採用しませんでした。
ただし、文章の下書きで活用できるモデルが、正確な情報抽出には適していないという結果もあります。
何の仕事を任せるかによって、同じモデルでも評価が変わる。
これが、今回の比較で重要だった発見のひとつです。
SPEED & MEMORY処理の速さにも、別の価値がある
ローカルLLMを業務で利用する場合、回答の品質だけでなく処理速度も重要になります。
例えば、大量の文章を一次整理する場合、ひとつずつの処理に時間がかかれば、それだけ全体の作業時間も増えてしまいます。
今回、特に軽さと速度が目立ったのがLFM2.5-8B-A1Bです。
J001では約8.45秒で文章の生成を終え、生成速度は約331 tokens/秒を記録しました。GPUメモリの使用量も約7.06GiBでした。
一方、Gemma 4 12Bの正式J001では、生成時間約40秒、68 tokens/秒、GPUメモリ最大約9.75GiBという結果です。
ただし、これらを単純に比較して、LFMがGemmaより何倍優れていると判断することはできません。
モデルごとに実行環境や文章量、推論処理の設定などが異なるためです。
それでも、今回のLFMの軽さと速度は、今後の活用方法を考える材料になりました。
文章の品質を重視する仕事もあれば、確認を前提として大量の一次案を生成したい仕事もあります。
後者では、軽量で高速なモデルに価値があるかもしれません。
ただし、LFMで大量ファイルの一括処理やAIエージェントの本番運用を実施したわけではありません。
現時点では、今回観測した処理速度とメモリ使用量をもとに、次の検証候補として位置づけています。
MODEL & TASK一つのモデルに、すべてを任せる必要はない
今回のPhase 1では、6モデルそれぞれに異なる特徴が見られました。
その結果を、今後の業務への活用候補として整理すると次のようになります。
| モデル | 今回確認した特徴 | 活用を検討する用途 |
|---|---|---|
| Gemma 4 12B | 意味判断・文章構成が良好 | 品質を重視する文章・読解 |
| Qwen3 14B | 指定した文字数を守った | 長文下書き |
| Qwen3.5 9B | 軽量化・高速化を観測 | 用途を再検討 |
| LLM-jp 4.1 8B | 日本語文章を比較的高速に生成 | 日本語の一次案 |
| Ministral 3 14B | 非常に多くの文章を生成 | アイデアを広げるための素材 |
| LFM2.5-8B-A1B | 高速・軽量 | 大量の一次処理・前処理 |
Gemma 4 12B
- 今回確認した特徴
- 意味判断・文章構成が良好
- 今後の活用候補
- 文章品質・読解
Qwen3 14B
- 今回確認した特徴
- 指定文字数の範囲を達成
- 今後の活用候補
- 指定長の長文下書き
LLM-jp 4.1 8B
- 今回確認した特徴
- 日本語文章を比較的高速に生成
- 今後の活用候補
- 日本語の一次案
Ministral 3 14B
- 今回確認した特徴
- 21,415文字を生成・指定量を大幅超過
- 今後の活用候補
- 大量の発想素材
LFM2.5-8B-A1B
- 今回確認した特徴
- 高速・軽量な動作を観測
- 今後の活用候補
- 一次処理・前処理の候補
Qwen3.5 9B
- 今回確認した特徴
- 軽量化・高速化を観測。今回の品質優位は未確認
- 今後の活用候補
- 用途を再検討・再評価
活用候補は実務での有効性を証明したものではありません。LFMによる大量ファイルの一括処理・AIエージェント運用は未検証です。各モデルとも人による確認を前提とします。
右側は、今回の結果を踏まえた今後の候補であり、すべての用途について実務での有効性を確認できたわけではありません。
実際の顧客業務に利用するのであれば、品質だけでなく、人が確認・修正するために必要な時間も評価する必要があります。
例えば、文章の生成が速くても、その内容を大幅に書き直す必要があれば、必ずしも効率的とは言えません。
逆に、処理速度がそれほど速くなくても、人が修正する部分が少なければ、全体としては合理的な選択になる可能性があります。
また、今回は16GBのGPUで複数の8B〜14B級モデルを動かせることも確認できました。
一方、より大きなモデルではメモリの余裕が制約になります。
gpt-oss-20bについては、想定した条件でのメモリ使用量を検討した結果、普段使いのWindows環境として安全余裕が小さいと判断し、実行を見送っています。
そのため、動作できなかったモデルとして評価しているわけではありません。
現時点では、さらに高性能なAI専用機を購入するより、既存の環境でどの仕事を任せられるのかを確かめる方針です。
大きなモデルを動かせること自体ではなく、実際の仕事で必要になる性能を基準に、今後の投資を考えていきます。
NEXT PHASEモデルの比較から、仕事の役割分担へ
今回の6モデル比較によって、ローカルLLMには用途ごとに異なる可能性があることが見えてきました。
一方で、文章を自然に生成できることと、正確な情報を扱えることは別です。処理速度が速いことも、そのまま業務の効率化につながるとは限りません。
foredoomでは今後、ひとつのモデルですべての処理を担わせるのではなく、仕事に応じて使い分ける方法を検証していきます。
例えば、文章の一次案や大量の情報整理にはローカルAIを活用し、複雑な問題の解決や重要な最終編集にはクラウドAIを利用する。
検索やデータ変換など、通常のプログラムで確実に処理できる仕事には、無理にAIを使用しないことも重要です。
そして、顧客対応や公開判断、品質に関わる最終的な責任は人が担います。
こうした役割分担を進めることで、AIに任せられる部分は仕組み化し、人がより価値の高い仕事に時間を使える環境を目指しています。
今回の比較をもって、Local LLM R&DのPhase 1はいったん完了となりました。
ただし、ここで確認できたのはモデルの能力や用途ごとの特徴です。
実際にクラウドAIの利用量がどれだけ減るのか、人による修正時間を短縮できるのか、顧客業務の品質を維持できるのかについては、まだ測定できていません。
次のPhase 2では、Web制作・運用で発生する依頼内容の整理や、実装履歴の要約、記事の下書き作成などを対象に、実際の業務での効果を確認していく予定です。
ローカルLLMを選ぶ基準は、どれが一番高性能なのかではなく、どの仕事を安心して、合理的に任せられるのか。
Phase 1で得られた結果をもとに、今後はその答えを実際の業務の中で確かめていきます。
Experiment Record
| 対象 | Local LLM R&D Phase 1｜6モデルの実務適性比較 |
|---|---|
| 検証期間 | 2026年9月〜10月 |
| 目的 | 文章作成・情報抽出・処理速度を検証し、業務内容に応じたローカルLLMの適性を整理する |
| 主な環境 | AMD Ryzen 7 9800X3D / Radeon RX 9070 XT 16GB / RAM 32GB / Windows 11 |
| 検証モデル | Gemma 4 12B、Qwen3 14B、Qwen3.5 9B、LLM-jp 4.1 8B、Ministral 3 14B、LFM2.5-8B-A1B |
| 検証項目 |
|
| Status | COMPLETED |
| 確認できた結果 |
|
| 継続課題 |
|
Update Log
- 2026年9月26日前後RX 9070 XTによるLocal LLM検証を本格化
- 2026年10月C026・J001によるモデル別の実務適性検証を実施
- 2026年10月25日Gemma 4 J001正式Benchmarkを完了。6モデルの検証結果を確定し、Phase 1をCOMPLETEDと判断