「考える文字」が減りました。AIが答えを出すまでには、答えそのもの以外の「思考」も大量のトークンを消します。トークンは、モデルが処理する文字の単位です。今回話題なのは、Qwenをファインチューン(追加学習で調整すること)したTess-4.5-27Bです。Redditの報告では、ローカル向け評価BenchLocalの150シナリオで検証されています [1]。ベースモデルより25%少ないトークンで、同じスコアを出したといいます。ローカルで使う人には実感のある話です。待ち時間が減り、コンテキストウィンドウ(モデルが一度に扱える範囲)が埋まるまでの時間も伸びます。投稿には「Less thinking. Same answers.」の一文もありました [1]。前回はMac推論の実測と小モデルの逆転を追いました。今回は推論効率という別の角度から見ていきます。
話題の中心は「賢さ」より「効率」です。素材ではQwen3.8-27Bという表記もあります。全150シナリオのトークン数は、262K対349Kでした [1]。答えだけでなく、推論の途中経過まで含めて減っています。内訳はこうです。CLI-40(コマンドライン作業)は149K対219Kで32%減、しかもスコアは高いままでした [1]。DataExtract-15(データ抽出)は14K対25Kで43%減です [1]。BugFind-15(バグ探し)は28K対35Kで21%減でした [1]。トークンが少ないほど、生成時間もメモリ消費も減ります。同じ答えに、より短い思考でたどり着く。ここが今回の核心です。
作業によって、差の出方は変わります。短い出力で済む抽出では、思考の長さがそのままコストになります。長いCLI作業では、モデルが試行錯誤するほどトークンが増えます。Tess-4.5-27Bは、その両方で節約したと報告されています [1]。高速化の話も、結局はトークン数と1トークンあたりの速度の掛け算です。ローカル環境では、この掛け算がそのまま「使えるかどうか」を分けます。モデルが賢くても、考える量が多ければ遅くなります。今回の報告は、その逆を突いています。
ローカル推論では、削減がさらに効きます。素材によると、draft head(次のトークンを先読みして推論を速める仕組み)と組み合わせると、少ないトークンがさらに速く出るといいます [1]。動画では、Tess-4 27BとベースQwen 27Bの比較も検証されています [4][5]。英語ニュースも、同じスコアで25%少ない点を報じています [6]。先読み型の高速化技術EAGLE-3と組み合わせ、約2倍の推論速度という記事も出ています [7]。トークン削減と速度向上は、別物に見えてつながっています。
背景には、Qwen自体の進化があります。Qwen2.5の技術報告では、事前学習データを7兆から18兆トークンへ拡大したとされています [3]。さらに、人の手本100万件超を使った追加学習も行いました [3]。多段の強化学習(報酬をもとに振る舞いを磨く手法)も重ねています。その結果、指示への従い方や長文生成、構造化データの分析が改善したといいます [3]。配布の形も幅広く、ベースモデル、指示に従う用途向け、そして量子化版が公開されています [3]。量子化は、重みを粗くしてメモリを節約する仕組みです。arXivのPDF版も出ています [2]。パラメータを増やすだけでなく、データと後処理を積み上げた進化です。この土台があるから、ファインチューンでも効率が出やすいのかもしれません。
評価の広さも見どころです。Qwen2.5-72B-Instructは、約5倍の大きさがあるLlama-3-405B-Instructと競う性能を示したと報告されています [3]。小型のTurboとPlusは、GPT-4o-miniやGPT-4oと費用対効果で渡り合うとされています [3]。Qwen2.5-Mathなど、専門モデルの基盤にもなっています [3]。言語理解、推論、数学、コーディング、人間の好みへの適合など、幅広い評価で上位性能を示したといいます [3]。つまりQwenは「動く基盤」であり、そこから改良モデルが次々に生まれています。Tess-4.5-27Bも、その流れに乗るファインチューンです。
ただし、万能ではありません。BenchLocalは150シナリオのローカル向け評価であり、実務のすべてを代表するとは限りません。GPUの枚数やVRAM(GPUのメモリ)、実測TPSも、素材には見つかりませんでした。量子化の設定も書かれていません。ローカルでは、この設定が速度と品質を大きく左右します。評価手順はGitHubに資料があります [8]。環境やエンジンによって結果は変わるでしょう。今回の報告はトークン数が中心で、ハードウェア別の実測速度までは示していません。
それでも、今回の報告には手応えがあります。賢さを一段上げるより、同じ賢さでトークンを25%減らすほうが、日常の作業では効くことがあります。特にCLIやデータ抽出では、思考の長さがそのまま待ち時間になります。次の注目点は、実際のGPU構成でどこまで速度が伸びるかです。実測値が乏しいため、今後の検証を待ちたいところです。モデル選びでは、スコア表の隣に「トークン数」を見る習慣が広がりそうです。
引用ソース
- Reddit Reddit r/LocalLLaMA: migtissera/Tess-4.5-27B (Qwen finetune) — https://www.reddit.com/r/LocalLLaMA/comments/1xadfm7/migtisseratess4527b_qwen_finetune/
migtissera/Tess-4.5-27B (Qwen finetune)
- Web記事 記事全文: Qwen2.5 Technical Report – arXiv.org — https://arxiv.org/pdf/2412.15115v1
ü��I�*,��T �х.gPI >���i�Μ�urpF��’v���u��JV�WΙu�̊U��]��s+P��%���]YV�{�s���] ��N�Y;�-��q�#Y�G.:�E`X�p �����0\. <:߷��Bߪ����ʒ@� ���#����\�/�:xg d����AV��r~S w�� ��W�:��’ή�����ίd���S��~|%�’V���쓫v=�����^���
- Web記事 記事全文: [2412.15115] Qwen2.5 Technical Report – arXiv.org — https://arxiv.org/abs/2412.15115
Computer Science > Computation and Language
Title:Qwen2.5 Technical Report
View PDF HTML (experimental)
Abstract:In this report, we introduce Qwen2.5, a comprehensive series of large language models (LLMs) de - Web記事 Web検索: Tess-4 27B benchmarked and tested vs Base Qwen 27B – 16GB Local LLM … — https://findtube.ai/video/6f0pap9gg8E
Tess-4 27B benchmarked and tested vs Base Qwen 27B – 16GB Local LLM …
- Web記事 Web検索: Tess-4 27B benchmarked and tested vs Base Qwen 27B – YouTube — https://www.youtube.com/watch?v=6f0pap9gg8E
Tess-4 27B benchmarked and tested vs Base Qwen 27B – YouTube
- Web記事 Web検索: Tess-4.5-27B open-sourced: same scores with 25%… · AGI Hunt — https://agihunt.info/en/p/1a156ab4cac757c0ab6d7c7fbab
Tess-4.5-27B open-sourced: same scores with 25%… · AGI Hunt
- Web記事 Web検索: Tess-4 27B + EAGLE-3 — Local Reasoning at Nearly 2x Speed — https://promptit.ai/blog/213-tess-4-eagle-3-local-reasoning/
Tess-4 27B + EAGLE-3 — Local Reasoning at Nearly 2x Speed
- Web記事 Web検索: Qwen/eval/EVALUATION.md at main · QwenLM/Qwen · GitHub — https://github.com/QwenLM/Qwen/blob/main/eval/EVALUATION.md
Qwen/eval/EVALUATION.md at main · QwenLM/Qwen · GitHub
※ 本記事はAIにより、Reddit・Hacker News・5ch・Xトレンドの公開投稿・トレンドを軸に、その話題をWeb検索で深掘りして集めた一次情報(記事全文・HNコメント)を併せて自動生成されました。本文中の[n]は末尾の引用ソース番号です。内容の正確性は保証されません。引用先を必ずご確認ください。
RECENT COMMENTS