748Bパラメータの巨大モデルが、2千ユーロの中古PCで動き出しました。前回の記事では、ハッカー系タスクのベンチマークでDeepSeek FlashがSolを上回った話をお伝えしました。その後、今度は「自宅の機材でどこまで動くのか」というローカル推論の挑戦が話題となっています。ポイントは、動いたという事実と、それを可能にした工夫の2つです。
口火を切ったのは、Reddit r/LocalLLaMAへの投稿です。投稿者は昨年、RTX 3090(24GB)、メモリ128GBのDDR4、CPUはIntel i9-9900Xという構成の中古PCを2千ユーロ以下で購入していました[1]。そこへ748BパラメータのDeepSeek-V4.1-Flash-1017を読み込みます。使ったのは入手可能な中で最小の1bit量子化で、UnslothのUD-IQ1_SというGGUF形式。ディスク上の容量は233GB、ファイルは5分割です。実行には、まだマージ前のllama.cppのPR #30817を自前でビルドしました。CUDA 12.8環境でGPUへ99層をオフロードしつつ、MoE(入力に応じて使う重みを切り替える構造)のうち36層分はCPU側で処理する指定です。コンテキスト長は16384トークンに設定。結果、7.2tok/sでテキストが生成され、投稿者は「748Bのモデルがこの機材で動くのを見るのは本当に気分が良い」と綴りました[1]。
巨大モデルが24GBのGPUと128GBのRAMに収まった核心は、110GBの「Engramテーブル」の扱いです。このテーブルは起動時に一括読み込みせず、NVMe(高速なSSD)に置いたまま、モデルが必要な行だけを必要な時点で読み出します[1]。読み込みを後回しにする設計のおかげで、メモリ容量の壁を回避できた形です。巨大モデルのローカル実行では、量子化の粗さだけでなく、付随データをどこに置くかまで含めた工夫が鍵になるようです。
同様の試みは他でも報告されています。RTX 5090を1枚だけ使い、Project Mayaという仕組みで748Bモデルを動かす手順を解説した記事が登場しました[5]。GPU・メモリ・デプロイ構成を扱う解説[5]や、ローカル実行のセットアップ手順をまとめた記事[5]も出ています。公式のHugging Faceページでは、TransformersやvLLM、SGLangでの実行手順に加え、画像とテキストを入力するパイプラインのサンプルも示されており[2]、ローカルで動かすための情報が一気に揃ってきた段階と言えそうです。
API側の数字も整理しておきましょう。ベンチマーク集計サイトbenchlmのデータでは、DeepSeek V4.1 Flash 1017の速度は209tok/sで、集計対象の中央値93.5tok/sの2倍以上です。ただし最初のトークンが出るまで10.66秒かかります[4]。価格は入力0.30ドル、出力1.20ドル。入力単価は中央値0.72ドルを大きく下回り、キャッシュ利用時は0.006ドル、入出力を混ぜた総合単価は0.75ドルです[4]。コンテキストは100万トークンで、中央値の25万6000を大きく上回ります。長い対話セッションでも履歴を保てる水準です[4]。能力スコアは65.7/100で227モデル中35位、検証済みモデルの中では87中24位。カテゴリ別ではCodingが89パーセンタイル(152モデル中18位)、Agenticが82パーセンタイル(131モデル中24位)と、コード生成やエージェント用途での強さが数字でも裏づけられています[4]。別の集計サイトllm-statsにも専用ページが用意されており[5]、第三者検証の対象としても定着しつつあるようです。
しかし、動いたことと使えることは別でした。投稿者自身が生成された回答に物理に関する誤りを見つけており、「実用上の使い道は見当たらない」と正直に認めています。同じ構成ではQwenモデルのほうが十分よく働くとも述べており[1]、巨大モデルだから良いという単純な話ではないようです。ベンチ集計にも落とし穴があります。Knowledgeは81パーセンタイルながら36位で、このモデルの計測済みカテゴリの中では最も弱い項目です。MultilingualとInstruction Followingは未計測で、公開されているベンチマーク行は33件にとどまります[4]。一方でAgenticは10件中10件、Codingは8件中8件が検証済みと、強い分野ほど裏づけが厚いのも特徴です[4]。ローカル実行の7.2tok/sも、実用速度からは程遠い数値でしょう。
Xの日本語トレンドには「AI事業」という語が並び[3]、巨大モデルをめぐる関心がビジネスの側面にも及んでいることがうかがえます。今回の一連の報告が示すのは、「必要な分だけ読む」工夫次第で、巨大モデルの推論が手持ちの機材に迫ってくるということです。精度と速度の壁は依然として厚いものの、この発想が他のモデルにも広がるかどうかが今後の注目点でしょう。「動かしてみる」段階から「どこで使い分けるか」を考える段階へ、議論が一歩進んだと言えそうです。
RECENT COMMENTS