🔁 追跡: Intel Xeon新旧とaudio-flashの壁

🔁 前回の続き: 続報: IntelのローカルAI、最新ベンチで分かった推論の壁

📌 エグゼクティブサマリー
IntelのローカルAI追跡です。Xeon 6527Pと旧Xeon 3.00GHzをPassMark数値で比較し、Ming-3.0-audio-flashの126B総パラメータと6.5B活性化を確認しました。NPUやArcの実測値は素材にありません。

24コアと1コア。同じXeonでも、時代が違いすぎます。IntelのローカルAIを追いかけると、hackerな話題としてai関連の比較が並んで出てきました。CPUベンチの新旧差と、Ming-3.0-audio-flashという音声モデルの構成が、今回の追跡の中心です。前回の推論の壁から一歩進んで、サーバーCPUの数字とモデル側の活性化パラメータを見ます。Reddit r/LocalLLaMAでは、inclusionAI/Ming-3.0-audio-flashが話題になっていました[1]。

PassMarkのXeon 6527Pは、サーバー向けです。ソケットはFCLGA4710、動作周波数は3.0GHz、ターボは4.2GHzです。コア数は24、スレッド数は48、標準TDPは255Wです。L3キャッシュは144MB、メモリはDDR5 6400MT/sを最大4.0TBまでサポートします[2]。L1命令キャッシュは18 x 64 KB、L1データキャッシュは18 x 48 KB、L2キャッシュは18 x 2048 KBと、キャッシュも細かく載っています。別名はIntel(R) Xeon(R) 6527Pです。

価格は2,878.00ドル、CPUmark/$Priceは25.87です。最終価格変更は2025-01-01と載っています。マルチスレッド順位は6054 CPU中108位、シングルスレッド順位は544位、サーバーCPUでは1265 CPU中97位でした。チャートに初めて出たのは2026年第1四半期です[2]。PassMark Softwareのページでは、100万超のCPUをベンチマークし、毎日更新されると説明しています。数千件のPerformanceTest結果を使い、リリース日や価格、性能比較が載ることもあります。ただし現行版PerformanceTestでは、このCPUの分布グラフを作るのに十分なデータがありません。

一方、旧Xeon 3.00GHzは、ソケットPPGA604、1コア2スレッド、TDP103Wです。別名はIntel(R) Xeon(TM) CPU 3.00GHz、Intel Xeon CPU 3.00GHzと載っています。マルチスレッド順位は6054 CPU中5436位、シングルスレッド順位は4808位、サーバーCPUでは1265 CPU中1244位でした。チャート初出は2009年第1四半期、価格はNAです[3]。この旧CPUも、現行版PerformanceTestでは分布グラフを作るのに十分なデータがないと載っています。

この差は、単なる数字の大きさではありません。同じ3.0GHzでも、コアとスレッドの数が24対1、48対2で違います。順位も、マルチで5436位から108位へ、シングルで4808位から544位へ変わります。サーバー分類でも1244位から97位です[2][3]。TDPは103Wから255Wへ上がり、電力は増えます。CPUmark/$Priceは新CPUで25.87、旧CPUはNAです。価格が載らないため、単純なコスパ比較はできません。それでも順位差は大きく、ローカルAIの土台として見ると、旧CPUと新CPUでは役割がかなり違うようです。

ローカルAIでは、推論の速さだけでなく、モデルをどこに置くかが難しいです。Reddit r/LocalLLaMAで話題のMing-3.0-audio-flashは、inclusionAIのネイティブ音声言語モデルです。音声とテキスト指示を受け取り、テキスト出力、または合成音声付きの応答を返せます[1]。パラメータは総数126B、推論ステップごとに6.5Bだけ活性化します。モデルタイプはMixture-of-Experts、つまりMoEです[1]。スローガンはHear clearly. Understand deeply. Act intelligently.です。GitHub、ModelScope、Flash、Tiny、Examplesのリンクも示されています。音声とテキストを同時に扱える点は、単なる文字モデルとは違います。

MoEは、全部を一度に動かさない仕組みです。総パラメータは多いのに、一度に使う部分だけ動かすので、ローカル実行の候補になりやすいです。Ming-3.0-audio-flashは中国語と英語、訛りや方言、騒音環境、複数話者音声にも対応すると書かれています。音声認識、音声質問応答、音声理解、音声推論、長い音声の理解、多次元知覚も挙げられています。ただし多次元知覚の説明は素材で途中で切れています。音声以外の要素も理解すると書かれていますが、続きは素材にありません。ライセンスはMITです[1]。複雑な音声認識と長尺音声の理解が強調されている点は、音声AIのローカル利用で重要です。音声認識と音声推論が並んで載っている点も、単なる文字起こしとは違う印象です。

検索結果には、I Tried Running LLMs on Intel’s NPU. Here’s What Actually Happened.という記事[4]、Intel Arc GPUs for Local AI: The Underdog That Actually Worksという見出し[5]、Local model performance by GPU: LLM benchmarks | llamaperfというページ[6]もありました。しかし提示された素材には、具体的なTPSや消費電力の実測値はありませんでした。NPUやArcでどれくらい速いのか、どのGPUで何トークン出るのかは、この素材だけでは分かりません。llamaperfはGPU別のローカルLLMベンチをまとめるようです[6]。

ここで意外なことに、話題はGPUやNPUだけではありません。サーバーCPUの新旧比較が、ローカルAIの環境セッティングに直結します。大容量メモリと多数スレッドは、モデルの置き場所と並列処理を支えます。バージョンの差が、そのまま実用性の差になります。検索結果ではNPUやArcの記事が目立ちます。でも素材では、サーバーCPUの新旧差とMoEの活性化パラメータが具体的な数字として残っていました。結局、IntelのローカルAIは、単体の速さより構成が大事です。Xeon 6527PのようなサーバーCPUは、Ming-3.0-audio-flashのようなMoEモデルを動かす土台として見られます。ただし実際の推論速度は、素材に数値がないため断定できません。

引用ソース

[1] Reddit Reddit r/LocalLLaMA: inclusionAI/Ming-3.0-audio-flash · Hugging Face — https://www.reddit.com/r/LocalLLaMA/comments/1x9yd01/inclusionaiming30audioflash_hugging_face/

inclusionAI/Ming-3.0-audio-flash · Hugging Face
[2] Web記事 記事全文: Intel Xeon 6527P Benchmark – PassMark Software — https://www.cpubenchmark.net/cpu.php?cpu=Intel+Xeon+6527P

Over 1,000,000 CPUs Benchmarked
Benchmarks for the Intel Xeon 6527P can be found below. Release dates, price and performance comparisons are also listed when available. This is made using thousands of PerformanceTest ben
[3] Web記事 記事全文: Intel Xeon 3.00GHz Benchmark – PassMark Software — https://www.cpubenchmark.net/cpu.php?cpu=Intel+Xeon+3.00GHz

Over 1,000,000 CPUs Benchmarked
Benchmarks for the Intel Xeon 3.00GHz can be found below. Release dates, price and performance comparisons are also listed when available. This is made using thousands of PerformanceTest b
[4] Web記事 Web検索: I Tried Running LLMs on Intel's NPU. Here's What Actually Happened. — https://dev.to/mr1azl/i-tried-running-llms-on-intels-npu-heres-what-actually-happened-5h17

I Tried Running LLMs on Intel's NPU. Here's What Actually Happened.
[5] Web記事 Web検索: Intel Arc GPUs for Local AI: The Underdog That Actually Works — https://insiderllm.com/guides/intel-arc-local-ai/

Intel Arc GPUs for Local AI: The Underdog That Actually Works
[6] Web記事 Web検索: Local model performance by GPU: LLM benchmarks | llamaperf — https://llamaperf.com/

Local model performance by GPU: LLM benchmarks | llamaperf

※ 本記事はAIにより、Reddit・Hacker News・5ch・Xトレンドの公開投稿・トレンドを軸に、その話題をWeb検索で深掘りして集めた一次情報(記事全文・HNコメント)を併せて自動生成されました。本文中の[n]は末尾の引用ソース番号です。内容の正確性は保証されません。引用先を必ずご確認ください。