📌 エグゼクティブサマリーllama.cppにIntel B70のXMX行列エンジンを刷新するPRが投稿され、スペキュレーティブデコードの大幅改善が報告されています。30Bモデルの実測は36〜53トークン/秒が基準。一方でSYCL自作カーネルはTriton比50〜60倍遅く断念する試行もありました。 […]
📌 エグゼクティブサマリーllama.cppにIntel B70のXMX行列エンジンを刷新するPRが投稿され、スペキュレーティブデコードの大幅改善が報告されています。30Bモデルの実測は36〜53トークン/秒が基準。一方でSYCL自作カーネルはTriton比50〜60倍遅く断念する試行もありました。 […]
RECENT COMMENTS