tandem.cppがQwen3.8-Flash-NextをRTX 4090と64GB RAMで97.3 tok/sで動作させ、llama.cpp比で3.3倍と報告されています。MoEのGPU/CPU分担が鍵で、Strataや量子化構成との差も見えます。
tandem.cppがQwen3.8-Flash-NextをRTX 4090と64GB RAMで97.3 tok/sで動作させ、llama.cpp比で3.3倍と報告されています。MoEのGPU/CPU分担が鍵で、Strataや量子化構成との差も見えます。
RECENT COMMENTS