4GBの小さなモデルが、品質を上げながら出力を8割減らす。NVIDIAの小型言語モデル「Nemotron 3.5 Bolt E4B」が、ローカルLLMコミュニティで話題になっています[1]。Gemma 4 E4Bをベースに、NVIDIAがエージェント向けの追加学習を施したモデルです[1][3]。低メモリと低TTFT(最初の応答が返るまでの待ち時間の短さ)向けに設計されています[1]。以前の記事では、重みを圧縮してメモリを節約する量子化(Q4_K_M)で約4GBに収める点を中心に取り上げました。今回は、品質とトークン効率の数値、推論の制御、配布形態という「中身」をあらためて追います。
まず数値です。NVIDIAの研究ページによると、Bolt E4Bは会話エージェント向けの主要ベンチマークで、前モデル比平均約40%高い品質を達成しています[2]。さらに目を引くのが出力の量です。競合モデルと比べ、出力トークンを最大約80%削減できるとしています[2]。エージェントの応答は長文になりがちで、待ち時間や計算量の主な原因になります。短くまとめる力そのものを性能として磨いた、というのが開発側の主張です。コンセプトは「1GBあたりの速度と知性」で、目標ワークロードでは約4GBに収めます[2]。
効率を支えるのが機能面の作り込みです。会話モードに切り替えると、音声アシスタントにそのまま使える簡潔な応答を促せます[2]。推論(複雑な問題を段階的に考える思考プロセス)はON/OFFを切り替えられ、待ち時間の目標に合わせて思考に上限を設ける指定も可能です[2]。コンテキスト長は64kあり、会話履歴、ツール定義、検索で得た情報をまとめて保持できます。対応言語は35で、ベースモデルは140以上の言語で学習されています[2]。マルチターンのツール呼び出しでは、会話の途中でアプリのAPIを実行できます。非同期のツール呼び出し向けの統合ガイドも用意されています[2]。応答を入力内容にきちんと根拠づける力も強化されています[1]。
配布形態も整理しておきます。フル精度のBF16版に加え、量子化Q4_K_Mの4GB版が公開されています[1][3]。ローカル実行向けのGGUF形式はggml-orgとunslothから提供され、技術報告もPDFで公開されています[1]。商用・非商用を問わず利用できます[1][3]。高速化の鍵はspeculative decodingです。小型の下書きモデルが先にトークンを予測し、本モデルが検証することで速度を上げる仕組みです。専用のDFlash drafterが用意され、推論基盤vLLMを使うH100 1枚の実行例では、同時1系列・下書き7トークンという設定が示されています[3]。
Nemotronシリーズは、重みに加えて学習データとレシピも公開する方針です[3]。BF16版のモデルカードには、開発期間が2025年12月から2026年5月、学習データのカットオフが2026年5月であることが明記されています[3]。想定ハードウェアはGeForce RTX、Jetson、RTX Spark、DGX Sparkで、企業から愛好者まで幅広い利用を想定しています[2]。用途として挙げられているのは、PCやスマートフォンのローカルアシスタント、カスタマーサービス、車載のインキャビン体験などです[2]。NeMo向けのドキュメントにもモデルが収録されています[6]。
一方で、数値の扱いには注意が必要です。「約40%」「最大約80%」はいずれもNVIDIA自身の発表値です。比較相手の「競合」がどのモデルを指すのか、資料上はあいまいです[2]。Artificial Analysisやllm-bench.io、atomic.chatなど第三者のベンチマーク・解説ページも存在しますが[4][5][7]、今回参照した素材には具体的な実測数値は見つかりませんでした。思考に上限を設けた場合、精度がどう変わるのかも公開情報だけでは読み取れません。低メモリと低TTFTを優先した設計のため、深い思考より応答の速さを重視した面はありそうです[1][3]。
約4GBに収めつつ品質と出力効率を上げる狙いは明快です。アプリや隣接するモデルパイプラインのためにメモリの余裕を残す、という考え方が一貫しています[1][3]。第三者実測の蓄積はまだ待たれる状況ですが、重みもデータもレシピも開く姿勢は、ローカルでエージェントを組み立てる人にとって追い風と言えそうです。
引用ソース
- Reddit Reddit r/LocalLLaMA: nvidia/NVIDIA-Nemotron-3.5-Bolt-E4B-4GB · Hugging Face — https://www.reddit.com/r/LocalLLaMA/comments/1xdiecx/nvidianvidianemotron35bolte4b4gb_hugging_face/
nvidia/NVIDIA-Nemotron-3.5-Bolt-E4B-4GB · Hugging Face
- Web記事 記事全文: NVIDIA Nemotron 3.5 Bolt E4B 4GB – NVIDIA Nemotron — https://research.nvidia.com/labs/nemotron/NVIDIA-Nemotron-3.5-Bolt-E4B-4GB/
Introducing NVIDIA Nemotron 3.5 Bolt E4B 4GB
Today, we’re excited to release Nemotron 3.5 Bolt E4B 4GB — our latest open small language model optimized for speed and intelligence per GB in conversational agents.
Bolt E4B - Web記事 記事全文: nvidia/NVIDIA-Nemotron-3.5-Bolt-E4B-BF16 · Hugging Face — https://huggingface.co/nvidia/NVIDIA-Nemotron-3.5-Bolt-E4B-BF16
NVIDIA-Nemotron-3.5-Bolt-E4B-BF16 is a small language model (SLM) further post-trained from Gemma-4-E4B-it by NVIDIA. This is the full-precision (BF16) release. Nemotron-3.5-Bolt-E4B carries forward Gemma’s strong conver
- Web記事 Web検索: Nemotron 3.5 Bolt E4B 4GB – Intelligence, Performance & Price Analysis … — https://artificialanalysis.ai/models/nemotron-3-5-bolt-e4b-4gb
Nemotron 3.5 Bolt E4B 4GB – Intelligence, Performance & Price Analysis …
- Web記事 Web検索: How to Run Nemotron 3.5 Bolt E4B Locally: GGUF, Hardware and Benchmarks … — https://atomic.chat/blog/guides/how-to-run-nemotron-3-5-bolt-e4b-locally
How to Run Nemotron 3.5 Bolt E4B Locally: GGUF, Hardware and Benchmarks …
- Web記事 Web検索: NVIDIA-Nemotron-3.5-Bolt-E4B-4GB-BF16 | NVIDIA NeMo AutoModel — https://docs.nvidia.com/nemo/automodel/model-coverage/vision-language-models/nvidia/NVIDIA-Nemotron-3.5-Bolt-E4B-4GB-BF16
NVIDIA-Nemotron-3.5-Bolt-E4B-4GB-BF16 | NVIDIA NeMo AutoModel
- Web記事 Web検索: nemotron-3.5-bolt local LLM performance – llm-bench.io — https://llm-bench.io/models/nemotron-3-5-bolt
nemotron-3.5-bolt local LLM performance – llm-bench.io
※ 本記事はAIにより、Reddit・Hacker News・5ch・Xトレンドの公開投稿・トレンドを軸に、その話題をWeb検索で深掘りして集めた一次情報(記事全文・HNコメント)を併せて自動生成されました。本文中の[n]は末尾の引用ソース番号です。内容の正確性は保証されません。引用先を必ずご確認ください。
RECENT COMMENTS