タグ: BigMoeOnEdge

続報・巨大MoEをディスクから流す、llama.cpp拡張の中身と周辺実装

llama.cppの上で巨大MoEをスマホやノートに流す拡張がHacker Newsに投稿され、動的に専門家をオフロードする実装も公開されました。専門家をディスクから先読みする方式は約2倍の速度向上が報告されています。ただし注目は限定的で、複数実装が並立する段階です。

続きを読む →

続報・llama.cppのMoE層、スマホで巨大モデルを動かす試みと実測値

llama.cppの上に巨大MoEをスマホでストリーミングする層「BigMoeOnEdge」がHacker Newsに投稿されました。派生Project MayaはRTX 3060×2・RAM 256GBでDeepSeek V4.1 Flashを約11.1トークン/秒で動かしています。ただしHNの反応はコメント0件で、スマホでの実証はこれからです。

続きを読む →

トップページに戻る

CALENDAR

2026年11月
日 月 火 水 木 金 土
1234567
891011121314
15161718192021
22232425262728
2930  

ARCHIVES

CATEGORIES