「モデルの重みの中でDoomが動く」。そんな実験が、Redditのr/LocalLLaMAで話題になっています。きっかけは、Qwenの重みの中に仮想マシンを置く「qwenputer」です。qwenputer自体も、この投稿の少し前に同じ掲示板で話題になっていました[1]。投稿者はその仮想マシン上で、Doomの基本版を動かしました。動作は遅いものの、LLMの重みだけでゲームが動く様子が示されました[1]。リポジトリ名はqwenputer-doomで、再現を試す人向けの公開先も添えられています[1]。
ここでのポイントは、QwenがDoomそのものを再現しているわけではない点です。Qwenの重みの中に作られた仮想マシンが、Doomを実行しています。ローカルAIの実験として、モデルの重みを計算機のように扱う試みです。LLMを計算機として使う発想は、ハッカー的な実験とも言えそうです。ゲームという分かりやすい例にまで進んだようです[1]。
Qwenはもともと、大規模言語モデルが世界の知識を圧縮し、人間の意図に合わせることでエージェントになるという位置づけで公開されました。リリースには、事前学習モデルと人間に整えたモデルの重みとコードが含まれます[2]。初期のQwen-7Bは2.2兆トークン以上で事前学習し、コンテキスト長は2048でした[2]。Qwen-7BとQwen-7B-Chatの両方が公開され、重みとコードのセットが揃いました[2]。ベンチマークでは同規模のオープンモデルより良く、より大きなモデルに並ぶとされています[2]。
さらに、Qwen-7B-Chatは、タスク向けのデータだけでなく、セキュリティやサービス向けのデータも含めて整えられています。こうしたデータは、既存のオープンモデルでは不足しがちだとされています[2]。fine-tuning（追加学習）、評価、推論のサンプルコードや、長い文脈とツール利用のガイドも用意されました[2]。長い文脈とツール利用のガイドは、後のエージェント開発につながります[2]。技術レポートでは、RLHF（人間のフィードバックで整える手法）で整えたチャットモデルがツール利用や計画に強いと説明されています[5]。
つまりQwenは、単体のチャットAIというより、推論・コード・数学を組み合わせる基盤として設計されてきたようです。Code-QwenやCode-Qwen-Chat、Math-Qwen-Chatなど、用途特化モデルも用意されました[5]。ベースモデルは多くの下流タスクで強い性能を示し、チャットモデルはより大きなモデルと競う場面もあるとされています[5]。
その流れで注目されるのが、Qwen4の100万コンテキストです。Redditでは、Qwen4モデルが100万トークンのコンテキストウィンドウ（一度に扱える文脈の長さ）を持つという話が出ています。Qwen4-27Bは本文に明記されていませんが、Apsara Netherlandsで発表される見込みとされています。Qwen4-maxの日程も話題になっていますが、投稿の編集では10月1日と11月1日の差がプレースホルダー、つまり仮の値の可能性も指摘されています[4]。Pull Request（変更提案）が手がかりになっているようです[4]。
100万トークンは、単に長文を読めるという話ではありません。関連する研究では、100万トークン環境での検索や多段推論、コード評価が扱われています[6][7]。長い文脈を持つことと、必要な情報を取り出して推論できることは、別の課題です。Qwen3.8-27Bのベンチマークや価格を扱うページもありますが、今回の素材には具体的な実測値は見つかりませんでした[8]。タイトルからは、ベンチマーク、価格、コンテキストウィンドウ、技術分析を扱うことが分かります[8]。Flashの名称は、今回の素材では確認できませんでした[8]。同じ時期のXトレンドには「Gemini4Carbon」という語も上がっています[3]。
今回の追跡で分かるのは、Qwenの話題が「重みの中に何を作れるか」と「どれだけ長い文脈を持てるか」の二方向に広がっている点です。以前取り上げたQwenputerでは、重みの中にCPUを埋める話が中心でした。今回は、その仮想マシンでDoomが動き、さらにQwen4の100万トークンが注目されています。Doomは遅くても、LLMを計算機として使う可能性を示します。一方、100万トークンは実用には検索・推論・評価の裏づけが必要です。QwenputerとQwen4は、同じQwen系列の中でも別の未来を示しています。次のQwen4では、どちらの方向が先に形になるかを見たいところです。
引用ソース
- Reddit Reddit r/LocalLLaMA: I ran Doom inside the Qwen model weights! — https://www.reddit.com/r/LocalLLaMA/comments/1xi2jfm/i_ran_doom_inside_the_qwen_model_weights/
I ran Doom inside the Qwen model weights!
- Web記事 記事全文: Qwen/tech_memo.md at main · QwenLM/Qwen · GitHub — https://github.com/QwenLM/Qwen/blob/main/tech_memo.md
Large language models have recently attracted an extremely large amount of attention. The boom of ChatGPT rocketed the development of artificial general intelligence and indicates that large language models compress worl
- X Xトレンド: Gemini4Carbon — https://trends24.in/japan/
Gemini4Carbon
- Reddit Reddit r/LocalLLaMA: Qwen4 1M context window — https://www.reddit.com/r/LocalLLaMA/comments/1xi7390/qwen4_1m_context_window/
Qwen4 1M context window
- Web記事 記事全文: [2309.16609] Qwen Technical Report – arXiv.org — https://arxiv.org/abs/2309.16609
Computer Science > Computation and Language
Title:Qwen Technical Report
View PDF HTML (experimental)
Abstract:Large language models (LLMs) have revolutionized the field of artificial intelligence, enabling na - Web記事 Web検索: Retrieval and Multi-Hop Reasoning in 1M-Token Context Windows: — https://arxiv.org/html/2605.02173v1
Retrieval and Multi-Hop Reasoning in 1M-Token Context Windows:
- Web記事 Web検索: LongCodeBench: Evaluating Coding LLMs at 1M Context Windows — https://arxiv.org/abs/2505.07897
LongCodeBench: Evaluating Coding LLMs at 1M Context Windows
- Web記事 Web検索: Qwen3.8-27B: Benchmarks, Pricing & Context Window — https://llm-stats.com/models/qwen3.8-27b
Qwen3.8-27B: Benchmarks, Pricing & Context Window
※ 本記事はAIにより、Reddit・Hacker News・5ch・Xトレンドの公開投稿・トレンドを軸に、その話題をWeb検索で深掘りして集めた一次情報(記事全文・HNコメント)を併せて自動生成されました。本文中の[n]は末尾の引用ソース番号です。内容の正確性は保証されません。引用先を必ずご確認ください。
RECENT COMMENTS