MacBookで毎秒125トークンの推論が話題のFlint 40Bの続報です。トークンごとに2.5Bだけ計算するMoE構造という速さの仕組みと、自動研究システムが4カ月未満で開発した実像を整理します。4ビット量子化でも16ビットと0.7ポイント以内の差に収めた点も要点です。

続きを読む →

もちろん金銭的に余裕があれば欲しいんだけど、Watchも予約しちゃったし・・・。 今、自宅にはMacbook Air(mid 2011)のCTOモデル(1.8GHz Core i7)と、13inch Macbook Pro Retina(Late 2012 2.5GHz Core i5)があるんだけ […]

続きを読む