MacBook一台で、400億パラメータ級のAIモデルが毎秒125トークンで動く——。そんな報告がHacker Newsに投稿されました[1]。Richard Socher氏の投稿として共有された「Flint 40B」は、タイトルに「Frontier Local LLM(フロンティア級のローカルLLM)」と掲げ、Apple Silicon搭載Macでの高速な推論をうたっています。クラウドに頼らず、手元のMacで大型モデルを快適に動かす。そんな構図が、少しずつ現実味を帯びてきているようです。
背景には、MacでのローカルAI実行への関心の高まりがあります。「どのモデルが、どのMacで、どれくらい速く動くのか」。この素朴な問いに、実測データで答えようとする動きが広がっています[2][3]。Flint 40Bの報告も、その流れの中で出てきたもののようです。本稿では、最新の動向を具体的な数値とともに整理します。
まず中心となるのが、GitHubで公開されている「mac-llm-bench」というコミュニティのベンチマークデータベースです[2]。目標は明快です。「誰でも、自分のMacで特定のLLMがどれくらい速く動くかを調べ、最適な設定を見つけられるようにする」。速度とコード品質の両方を、再現できる形で記録するのが特徴です。チップの世代ごとにページを分け、ベース・Pro・Max・Ultraの各グレードや、CPUコア数・GPUコア数・RAMといった構成別に結果を表で整理しています。世代をまたいで比較できる索引も用意されています。
測定条件の統一も大きな特徴です。対応する実行方式は二つあります。一つはllama.cppという推論エンジンでGGUF形式のモデルを動かす方法。もう一つはApple純正フレームワークのMLXです[2]。GGUFはQ4_K_Mという量子化方式、MLXは4ビット量子化で統一されています。量子化とは、モデル内部の数値の精度を下げて軽量化する手法のことです。測定はpp128やtg128など固定のトークン数で行われます。ppは入力文の処理、tgは文章の生成を測る項目のようです。結果には実行方式の列が付くため、GGUFとMLXを並べて直接比較できます。
使い方もシンプルです。スクリプト一つで、手早く確認できるクイックテストから、RAMに収まる全モデルを順に測る自動モードまで選べます[2]。MLX版のQwen3-8B(4ビット)を指定して測るコマンド例も用意されています。GGUF側の測定にはllama.cppの導入が必要で、仮想環境の作り方まで手順がまとめられています。測定結果はスクリプトで表を再生成でき、投稿間の比較もしやすい作りです。さらにHumanEval+というコード生成の評価を使った品質ベンチマークもあり、速さと賢さの両面からモデルを比較できます。
一方、サイト「LLMCheck」はさらに広い範囲をカバーしています。M1からM6、そしてM5 UltraまでのApple Siliconチップを対象に、70のローカルLLMについて167ページのデータを公開中です[3]。ページはモデルとチップの組み合わせごとに一つずつ割られています。各ページにはデコード速度(文章を生成する速さ)に加え、必要なRAM容量や導入方法も記載されています。必要なRAMがわかるので、自分のマシンで動くかどうかの目安にもなります。「手持ちのMacには何を動かせばいいか」をRAMの階層別に探せるページや、予算と用途から構成を提案する機能、すべてのMacを比較する一覧まで用意されています。
こうした動きを支えるように、解説記事も増えています。ローカルLLM向けにM4 ProとM4 Max、M4 Ultraを比べたガイド[5]、M3とM4 Max、M4 Ultraの実測比較[6]、M2/M3/M4 Mac向けのモデル選び特集[7]、トークン毎秒のベンチマークまとめ[7]、Apple Siliconでの推論を最適化する技術ガイド[4]などです。ただし本稿の素材では、これらの記事の詳細な数値までは確認できていません。
しかし、データが揃ってきたからといって、そのまま鵜呑みにできるわけではありません。mac-llm-benchでは、Gemma 4のような新しいモデルが、まだすべての実行環境でサポートされていないと明記されています[2]。MLX側の対応はライブラリのバージョンに依存します。そのため同じモデルでも、環境によって測定できるかどうかが変わるのです。LLMCheckの速度データにも注意が必要です。各数値は「公式発表値」「コミュニティの実測」「推定値」の三種類に分けて示されています[3]。すべてが同じ確度の実測ではないのです。そして冒頭のFlint 40Bについても、Hacker Newsでの議論はまだ2ポイント・コメント0件にとどまっています[1]。毎秒125トークンという数値の第三者検証は、これからのようです。
それでも流れは明確です。「自分のMacでどのモデルがどれくらい速いか」が、感覚や噂ではなく、条件の揃った数値で探せる時代になってきました。大型モデルの高速化報告と、検証可能なベンチマークの整備。この二つが揃ってきたことが、今のMacローカルAIの面白いところです。Flint 40Bの実力も、こうしたデータベースへの投稿が進めば、いずれ数値で確かめられるようになると思われます。条件の統一されたデータがさらに広がれば、Macでのローカル推論は、より身近で確かな選択肢になっていくはずです。
RECENT COMMENTS