Let's take a drive.

📌 エグゼクティブサマリー
QwenのファインチューンTess-4.5-27Bが、推論トークンを約25%減らして同スコアを出したと報告されました。CLIや抽出でさらに削減し、ローカル推論の体感速度が変わります。技術報告では18兆トークン学習も示されています。今回の要点です。

「考える文字」が減った。AIモデルの推論では、答えそのものより、答えまでのトークン数が体感を左右します。今回話題になっているのは、Qwenを元にしたTess-4.5-27Bです。Redditでは、このモデルがBenchLocalの150シナリオで、ベースより25%少ないトークンで同じスコアを出したと報告されました [1]。ローカルで使う人にとって、これは単なる数値の差ではありません。待ち時間が減り、コンテキストウィンドウが埋まるまでの時間も伸びます。投稿には「Less thinking. Same answers.」という一文もありました [1]。前回はMac推論の実測と小モデルの逆転を追いました。今回は、Qwenの推論効率という別の角度から見ていきます。

話題の中心は「賢さ」より「効率」です。Tess-4.5-27Bは、素材ではQwen3.8-27Bと表記されています。全150シナリオでは262K対349Kのトークン数でした [1]。推論の途中経過を含めて減った点が注目されます。hackerが好むCLI-40（コマンドライン作業）では149K対219Kで32%減、しかもスコアは高かったと報告されています [1]。データ抽出のDataExtract-15では14K対25Kで43%減、BugFind-15（バグ探し）では28K対35Kで21%減でした [1]。トークンとは、モデルが処理する文字の単位です。少ないほど、生成時間とメモリ消費が減ります。同じ答えに、より短い思考でたどり着く。この一文が、今回の核心です。

作業別に見ると、差の出方が面白くなります。短い出力で済む抽出では、思考の長さがそのままコストになります。長いCLI作業では、モデルが自分で試行錯誤するほどトークンが増えます。Tess-4.5-27Bは、その両方で節約したと報告されています [1]。Flashのような高速化が語られる場面でも、結局はトークン数と1トークン速度の掛け算になります。ローカル環境では、この掛け算がそのまま「使えるか」に分かれます。コンテキストウィンドウとは、モデルが一度に扱える範囲です。モデルが賢くても、考える量が多ければ遅くなります。今回の報告は、その逆を突いています。

ローカル推論では、これがセットで効きます。素材では、自分のGPUではdraft headと組み合わさり、少ないトークンがさらに速く出ると説明されています [1]。draft headは、次のトークンを先読みして推論を速める仕組みです。動画ではTess-4 27BとベースQwen 27Bの比較も検証されています [4][5]。英語ニュースも、同じスコアで25%少ない点を報じています [6]。EAGLE-3と組み合わせた約2倍の推論速度を扱う記事も出ています [7]。速度の話は、トークン削減と別物に見えますが、実際にはつながります。

背景にはQwen自体の進化があります。Qwen2.5の技術報告では、事前学習を7兆から18兆トークンへ拡大したとされています [3]。さらに100万件超の教師あり微調整と多段強化学習で、指示追従や長文生成、構造化データの分析を改善したと説明されています [3]。重みを開いたモデルでは、ベースモデルと指示追従向け、量子化版も提供されています [3]。arXivのPDF版も公開されています [2]。Hugging Faceの論文ページでも紹介されています 。単にパラメータを増やすのではなく、学習データと後処理のバージョンを積み上げた印象です。この土台があるからこそ、ファインチューンでも効率が出やすいのかもしれません。

評価の広さも話題です。Qwen2.5-72B-Instructは、約5倍大きいLlama-3-405B-Instructと競う性能を示したと報告されています [3]。TurboとPlusは、GPT-4o-miniやGPT-4oに対して費用対効果で競うとされています [3]。Qwen2.5-Mathなどの専門モデルの基盤にもなっています [3]。言語理解、推論、数学、コーディング、人間との好みに合わせる評価などで上位性能を示したとされています [3]。つまり、Qwenは「動く基盤」として使われ、そこから細かな改良モデルが生まれています。Tess-4.5-27Bも、その流れに乗ったQwenファインチューンです。基盤モデルの性能差が、そのまま派生モデルの選択肢を広げています。

ただし、万能ではありません。BenchLocalは150シナリオのローカル向け評価であり、すべての実務を代表するとは限りません。具体的なGPU枚数やVRAM、量子化、実測TPSは素材には見つかりませんでした。評価手順はGitHubにも資料があります [8]。環境やエンジンによって結果は変わると思われます。量子化とは、モデルの重みを粗くしてメモリを節約する仕組みです。ローカルでは、この設定が速度と品質を大きく左右します。今回の報告はトークン数を中心に扱っており、ハードウェア別の実測速度までは示していません。

それでも、今回の報告には手応えがあります。賢さを一段上げるより、同じ賢さでトークンを25%減らす。そのほうが、日常の作業では効くことがあります。特にCLIやデータ抽出では、思考の長さがそのまま待ち時間になります。Qwenの推論効率を語るうえで、Tess-4.5-27Bは良い材料です。次の注目点は、実際のGPU構成でどこまで速度が伸びるかです。素材には実測値が乏しいため、そこは今後の検証を待ちたいところです。AIの話題は、モデル名より使い方の変化を追うほうが面白いことがあります。モデル選びでは、スコア表の隣に「トークン数」を見る習慣が広がりそうです。

引用ソース

1. [1] Reddit Reddit r/LocalLLaMA: migtissera/Tess-4.5-27B (Qwen finetune) — https://www.reddit.com/r/LocalLLaMA/comments/1xadfm7/migtisseratess4527b_qwen_finetune/
   

   migtissera/Tess-4.5-27B (Qwen finetune)

2. [2] Web記事 記事全文: Qwen2.5 Technical Report – arXiv.org — https://arxiv.org/pdf/2412.15115v1
   

   ü��I�*,��T �х.gPI >���i�Μ�urpF��’v���u��JV�WΙu�̊U��]��s+P��%���]YV�{�s���] ��N�Y;�-��q�#Y�G.:�E`X�p �����0\. <:߷��Bߪ����ʒ@� ���#����\�/�:xg d����AV��r~S w�� ��W�:��’ή�����ίd���S��~|%�’V���쓫v=�����^���

3. [3] Web記事 記事全文: [2412.15115] Qwen2.5 Technical Report – arXiv.org — https://arxiv.org/abs/2412.15115
   

   Computer Science > Computation and Language
   Title:Qwen2.5 Technical Report
   View PDF HTML (experimental)
   Abstract:In this report, we introduce Qwen2.5, a comprehensive series of large language models (LLMs) de

4. [4] Web記事 Web検索: Tess-4 27B benchmarked and tested vs Base Qwen 27B – 16GB Local LLM … — https://findtube.ai/video/6f0pap9gg8E
   

   Tess-4 27B benchmarked and tested vs Base Qwen 27B – 16GB Local LLM …

5. [5] Web記事 Web検索: Tess-4 27B benchmarked and tested vs Base Qwen 27B – YouTube — https://www.youtube.com/watch?v=6f0pap9gg8E
   

   Tess-4 27B benchmarked and tested vs Base Qwen 27B – YouTube

6. [6] Web記事 Web検索: Tess-4.5-27B open-sourced: same scores with 25%… · AGI Hunt — https://agihunt.info/en/p/1a156ab4cac757c0ab6d7c7fbab
   

   Tess-4.5-27B open-sourced: same scores with 25%… · AGI Hunt

7. [7] Web記事 Web検索: Tess-4 27B + EAGLE-3 — Local Reasoning at Nearly 2x Speed — https://promptit.ai/blog/213-tess-4-eagle-3-local-reasoning/
   

   Tess-4 27B + EAGLE-3 — Local Reasoning at Nearly 2x Speed

8. [8] Web記事 Web検索: Qwen/eval/EVALUATION.md at main · QwenLM/Qwen · GitHub — https://github.com/QwenLM/Qwen/blob/main/eval/EVALUATION.md
   

   Qwen/eval/EVALUATION.md at main · QwenLM/Qwen · GitHub

※ 本記事はAIにより、Reddit・Hacker News・5ch・Xトレンドの公開投稿・トレンドを軸に、その話題をWeb検索で深掘りして集めた一次情報(記事全文・HNコメント)を併せて自動生成されました。本文中の[n]は末尾の引用ソース番号です。内容の正確性は保証されません。引用先を必ずご確認ください。

• Tweet