MacBookで40Bモデルが毎秒125トークン、ローカル推論の実測データが充実

MacBook一台で、400億パラメータ級のAIモデルが毎秒125トークンで動く——。そんな報告がHacker Newsに投稿されました[1]。Richard Socher氏の投稿として共有された「Flint 40B」は、タイトルに「Frontier Local LLM(フロンティア級のローカルLLM)」と掲げ、Apple Silicon(Apple製チップ)搭載Macでの高速な推論をうたっています。推論とは、学習済みモデルが文章などを生成する処理のこと。クラウドに頼らず、手元のMacで大型モデルを動かす構図が、現実味を帯びてきています。

背景には、MacでのローカルAI実行への関心の高まりがあります。「どのモデルが、どのMacで、どれくらい速く動くのか」。この素朴な問いに、実測データで答えようとする動きが広がっています[2][3]。中心となるのが、GitHubで公開されている「mac-llm-bench」というコミュニティのベンチマークデータベースです[2]。目標は明快です。「誰でも、自分のMacで特定のLLMがどれくらい速く動くかを調べ、最適な設定を見つけられるようにする」。速度とコード品質の両方を、再現できる形で記録するのが特徴です。

チップの世代ごとにページが分かれ、ベース・Pro・Max・Ultraの各グレードや、CPUコア数・GPUコア数・RAMといった構成別に結果が表で整理されています[2]。世代をまたいで比較できる索引もあります。測定条件の統一も大きな特徴です。対応する実行方式は二つあります。一つはllama.cpp。MacなどでローカルLLMを動かす、定番のオープンソース推論エンジンです。GGUFという形式のモデルファイルを動かします。もう一つはApple純正フレームワークのMLXです。どちらも4ビット量子化に統一されています。量子化とは、モデル内部の数値の精度を下げて軽量化する手法のことです。

測定項目は二つです。入力文を処理する速さと、文章を生成する速さ。どちらも固定のトークン数で測られます。結果には実行方式の列が付くため、llama.cppとMLXを並べて直接比較できます。使い方もシンプルです。スクリプト一つで、手早く確認できるクイックテストから、RAMに収まる全モデルを順に測る自動モードまで選べます[2]。MLX版のQwen3-8B(4ビット)を指定して測るコマンド例も用意されています。GGUF側の測定にはllama.cppの導入が必要で、仮想環境の作り方まで手順がまとめられています。測定結果はスクリプトで表を再生成でき、投稿間の比較もしやすい作りです。さらに、プログラムを書かせて正確さを測る評価「HumanEval+」を使った品質テストもあり、速さと賢さの両面からモデルを比較できます。

一方、サイト「LLMCheck」はさらに広い範囲をカバーしています。M1からM6、そしてM5 UltraまでのApple Siliconチップを対象に、70のローカルLLMについて167ページのデータを公開中です[3]。ページはモデルとチップの組み合わせごとに一つずつ割られています。各ページには、文章を生成する速さを示すデコード速度に加え、必要なRAM容量や導入方法も記載されています。必要なRAMがわかるので、自分のマシンで動くかどうかの目安にもなります。「手持ちのMacには何を動かせばいいか」をRAMの階層別に探せるページや、予算と用途から構成を提案する機能、すべてのMacを比較する一覧まで用意されています。

こうした動きを支えるように、解説記事も増えています。ローカルLLM向けにM4 ProとM4 Max、M4 Ultraを比べたガイド[5]、M3とM4 Max、M4 Ultraの実測比較[6]、M2/M3/M4 Mac向けのモデル選び特集[7]、トークン毎秒のベンチマークまとめ[7]、Apple Siliconでの推論を最適化する技術ガイド[4]などです。ただし本稿の素材では、これらの記事の詳細な数値までは確認できていません。

ただし、データが揃ってきたからといって、そのまま鵜呑みにできるわけではありません。mac-llm-benchでは、Gemma 4のような新しいモデルが、まだすべての実行環境でサポートされていないと明記されています[2]。MLX側の対応はライブラリのバージョンに依存します。そのため同じモデルでも、環境によって測定できるかどうかが変わります。LLMCheckの速度データにも注意が必要です。各数値は「公式発表値」「コミュニティの実測」「推定値」の三種類に分けて示されています[3]。すべてが同じ確度の実測ではないのです。そして冒頭のFlint 40Bについても、Hacker Newsでの議論はまだ2ポイント・コメント0件にとどまっています[1]。毎秒125トークンという数値の第三者検証は、これからのようです。

それでも流れは明確です。「自分のMacでどのモデルがどれくらい速いか」が、感覚や噂ではなく、条件の揃った数値で探せる時代になってきました。大型モデルの高速化報告と、検証可能なベンチマークの整備。この二つが揃ってきたことが、今のMacローカルAIの面白いところです。Flint 40Bの実力も、こうしたデータベースへの投稿が進めば、いずれ数値で確かめられるでしょう。条件の統一されたデータがさらに広がれば、Macでのローカル推論は、より身近で確かな選択肢になっていくはずです。