MacBookの上で40Bモデルが毎秒125トークンで動く――前回記事で実測データを中心に紹介したローカル推論の話題に、続報です。Hacker Newsには「Flint 40B: Frontier Local LLM (Fast 125 Tps on MacBook)」として投稿され[1]、海外メディアでも一斉に取り上げられています[5][8]。今回は速度の数字そのものではなく、「なぜ速いのか」「どうやって作ったのか」という裏側を追います。
鍵はMoE(混合専門家)と呼ばれる構造です。全部のパラメータを毎回計算せず、トークンごとに必要な一部だけを動かす仕組みで、Flintは総40Bのうち1トークンあたり2.5Bしか計算しません[2]。推論時の計算量を大きく削れるため、MacBookのような限られたメモリのマシンでも、40Bクラスを現実的な速度で動かせる構造です[2]。
性能面の報告も具体的です。総パラメータ50B未満のMoEとして、SWE-Bench Pro v2、Terminal-Bench 2.1、SWE-Bench Verifiedの各ベンチマークで首位の成績を報告しています[2][3]。これらはコードを書いて直す作業をAIに任せて採点する、エージェント型のテスト群です。毎回全パラメータを計算するdenseモデル(25〜40B)にコーディング性能で匹敵しつつ、5倍以上速く動くとのことです[2]。速度は短いコンテキスト時の値ですが、M4 Pro搭載のMacBook Proで毎秒125トークン超、64GBのNVIDIA RTX Sparkで毎秒150トークン超に達します[2][7]。128kトークンのセッションを通じた平均でも、同クラスの最大2倍という説明があります[3]。測定はプリフィル(プロンプトの読み込み)を除いた値で、タイムアウトを最長5時間、5回以上の試行平均という丁寧な進め方です[3]。
開発の進め方も大きな特徴です。Recursive社の自動研究システム「Eureka Machine」が、アーキテクチャ、データ、学習レシピ、インフラ、量子化、推論性能のほぼ全てに、アイデアの提案・実装・検証という形で関与しました[2][3]。探索は35B総パラメータ・3B活性の設計を出発点に、最終的に40B・2.5B活性へ収束しています[2]。人とエージェントの少人数体制が、ゼロから4カ月未満で完成させました[2][3]。
量子化(重みを圧縮してメモリを節約する仕組み)の工夫も見逃せません。出力層を4ビットに置き、16ビットモデルを教師とするオフライン蒸留(大きなモデルから小さなモデルへ知識を移す手法)を組み合わせています[2]。4ビットの量子化形式(NVFP4)にしたモデルは、自社ベンチマーク全体で16ビット版と0.7ポイント以内の差に収まりました。量子化対応の基準線と比べると、学習ステップをほぼ半減できています[2]。専用カーネルは低ビット演算からMoE処理、アテンション(注目すべき箇所を決める計算)、プロンプト処理まで幅広くカバーします[2]。Apple製GPU向けの基盤「Metal」では、複数処理をひとまとめにしたメガカーネルも用意しています[2]。
一方で、扱い方には注意点もあります。複雑な作業は小さなサブタスクに分割し、明示的な指示を与えるよう勧めています。その上で、より大きなクローズドソースモデルより多くのガイダンスを必要とする場合があると開発元は認めています[2]。コンテキスト長は512kトークンまで対応するものの、256k以内に収めるよう推奨しています[2]。またHacker Newsでの議論は3ポイント・コメント0件にとどまっており[1]、驚異的な数値の割に、まだ広く検証されていないのが実情のようです。
それでも、オフラインで動き、データを端末内に保ち、API料金のかからないコーディングエージェントという狙いは明確です[2]。MacBookでのローカル推論を支える周辺環境も広がっており、Appleの機械学習フレームワークMLXの演算を計測するベンチマーク[4]や、Apple Silicon上で機械学習を動かす性能を比較した論文[6]も公開されています。構造と開発手法の両面から速さの理由が見えた今回の追跡は、ローカルAIの実用度が一段上がったことを示す材料と言えそうです。
RECENT COMMENTS