音声アシスタントをクラウドに頼らず、手元のGPUで動かす。そのための専用モデルとして、NVIDIAの「Nemotron 3.5 Bolt E4B 4GB」が話題です。4GBという小ささでありながら、エージェントとしての振る舞いを磨いた点がポイントです。ローカルLLM好き、いわゆるハッカーカルチャーのコミュニティr/LocalLLaMAでも、いち早く共有されました[1]。
前回取り上げたNemotron 3.5ファミリーの、さらに小さい側に当たるモデルです。GoogleのGemma 4 E4B-itをベースに、NVIDIAが追加学習を施しました。全体は8Bパラメータですが、推論時に実際に動く部分は約4Bに抑えられています[3]。重みを圧縮してメモリを節約する量子化(Q4_K_M)の形式で配布され、目標は約4GBのメモリに収めることです[2][3]。これは同じパイプライン上のアプリや別のモデルに、メモリの余裕を残すためです[2]。同ファミリーには74B-A9Bの大型モデルもあり、Bolt E4BはスマートフォンやJetsonボードなど、メモリの少ない機器を狙う小型側です[3]。モデルカードは2026年10月23日付、学習データのカットオフは2026年5月でした[3]。
用途は音声・デバイスアシスタント、ゲームのキャラクター、ロボットやIoTのインターフェースです[2]。PCやモバイル、家電、OSの操作からカスタマーサポート、車載の体験までが想定されています[2]。会話のセッションをまたいでアプリのAPIを呼べるツール使用を改善した点も特徴です。短く答えるよう促す「会話モード」も備えます[2][3]。さらに複雑な要求のときだけ思考を有効化し、その上限を遅延目標に合わせて設定できる仕組みがあります[2][3]。コンテキスト長は64k、対応言語は35です。ベースモデルは140以上の言語で学習されています[2]。
性能で目を引いたのは2つの数値です。自社の先行モデル比で平均約40%高い品質。そして出力トークン数が同クラスの他モデル比で最大約80%少ないことです[2]。トークンが少なければ応答は短く、音声のやり取りも速くなります。NVIDIAが報告する「Brevity Benchmark(簡潔さのベンチマーク)」では、フル精度(BF16)のBolt E4Bが82.52を記録しました。ベースのGemma 4 E4B-itが79.99、Qwen3.5 4Bが75.35です[3]。
鍵になる指標はTTFT、つまり最初の一言が出るまでの待ち時間です。音声アシスタントでは、推論ベンチマークの数点よりも、この遅延のほうが体感を左右します[3]。速度向上のためのspeculative decoding(推測的デコーディング)にも対応します。小さな下書きモデルが候補を先回りさせ、本体が検証することで生成を速める仕組みです。専用の下書きモデル「DFlash」も一緒に公開されました[1][6]。GGUF版はggml-orgとunslothから出ており、フル精度(BF16)版も用意されています[1]。
一方で、このモデルは賢さを競うために作られていません。モデルカードは目的を「生の知性ではなく」と明言し、簡潔さと道具扱いの改善に絞っています[3]。簡潔さスコアも、ベースモデルとの差は2.5ポイントほどです。差が開いているのはQwen3.5 4Bとの比較のほうです[3]。また、公開情報はベンチマーク値が中心で、TPS(1秒あたりのトークン処理数)やTTFTの実測値は素材には見つかりませんでした。速度の実感は、GGUF版を動かしたユーザーの報告を待つ段階のようです。
重みだけでなく、学習データやレシピも公開する方針です[3]。Artificial Analysisの分析ページ[4]や技術レポート[5]、リリースを追う追跡サイト[6]もすでに整っています。エッジ(手元のデバイス)向けAIでは、モデルの大きさよりも「1GBあたりでどれだけ賢く、どれだけ速く答えるか」が勝負になっているようです。4GBに収まるモデルで音声アシスタントをローカルで完結させる——その選択肢を現実的にした点が、この小型モデルのいちばん大きな意味でしょう。
引用ソース
- Reddit Reddit r/LocalLLaMA: nvidia/NVIDIA-Nemotron-3.5-Bolt-E4B-4GB · Hugging Face — https://www.reddit.com/r/LocalLLaMA/comments/1xdiecx/nvidianvidianemotron35bolte4b4gb_hugging_face/
nvidia/NVIDIA-Nemotron-3.5-Bolt-E4B-4GB · Hugging Face
- Web記事 記事全文: NVIDIA Nemotron 3.5 Bolt E4B 4GB – NVIDIA Nemotron — https://research.nvidia.com/labs/nemotron/NVIDIA-Nemotron-3.5-Bolt-E4B-4GB/
Introducing NVIDIA Nemotron 3.5 Bolt E4B 4GB
Today, we’re excited to release Nemotron 3.5 Bolt E4B 4GB — our latest open small language model optimized for speed and intelligence per GB in conversational agents.
Bolt E4B - Web記事 記事全文: Nemotron 3.5 Bolt E4B: Nvidia's 4GB Open Edge Model Built on Gemma 4 — https://www.explainx.ai/blog/nemotron-3-5-bolt-e4b-4gb-open-edge-model-gemma-4-openmdw-benchmarks-2026
Nvidia has released Nemotron 3.5 Bolt E4B, a small open model aimed at assistants that run on the device itself: voice agents, game characters and robots. The model card on Hugging Face is dated October 23, 2026. It is a
- Web記事 Web検索: Nemotron 3.5 Bolt E4B 4GB – Intelligence, Performance & Price Analysis … — https://artificialanalysis.ai/models/nemotron-3-5-bolt-e4b-4gb
Nemotron 3.5 Bolt E4B 4GB – Intelligence, Performance & Price Analysis …
- Web記事 Web検索: PDF Nemotron 3.5 Bolt E4B 4GB: An Open and Efficient Small Language Model … — https://research.nvidia.com/labs/nemotron/files/NVIDIA-Nemotron-3.5-Bolt-E4B-4GB-Technical-Report.pdf
PDF Nemotron 3.5 Bolt E4B 4GB: An Open and Efficient Small Language Model …
- Web記事 Web検索: Nemotron 3.5 Bolt E4B 4GB — Benchmarks, Specs & Release Date — https://aireleasetracker.com/model/nvidia/nemotron-3.5-bolt-e4b-4gb
Nemotron 3.5 Bolt E4B 4GB — Benchmarks, Specs & Release Date
- Web記事 Web検索: NVIDIA-Nemotron-3.5-Bolt-E4B-4GB-DFlash – Hugging Face — https://huggingface.co/nvidia/NVIDIA-Nemotron-3.5-Bolt-E4B-4GB-DFlash
NVIDIA-Nemotron-3.5-Bolt-E4B-4GB-DFlash – Hugging Face
※ 本記事はAIにより、Reddit・Hacker News・5ch・Xトレンドの公開投稿・トレンドを軸に、その話題をWeb検索で深掘りして集めた一次情報(記事全文・HNコメント)を併せて自動生成されました。本文中の[n]は末尾の引用ソース番号です。内容の正確性は保証されません。引用先を必ずご確認ください。
RECENT COMMENTS