vLLM vs SGLang 推論エンジン比較: Speculative Decoding と Chunked Prefill による LLM VRAM/レイテンシ最適化

vLLM vs SGLang 推論エンジン比較: Speculative Decoding & Chunked Prefill 最適化

LLM を本番環境へデプロイする際の最大の問題は GPU VRAM の不足 と 高レイテンシ (遅延) です。同時リクエスト数が増加するにつれて KV Cache メモリが急速に膨張し、TTFT (Time To First Token) の悪化や OOM エラーを引き起こすためです。

この課題を解決するため、PagedAttention を採用する定番エンジン vLLM と、RadixAttention による柔軟なプロンプトキャッシュを提供する SGLang が広く使われています。

本ガイドでは、これら2つのサービングエンジンのメモリ構造の違いを解説し、Chunked Prefill および Speculative Decoding (推測デコーディング) を適用して VRAM とレイテンシを最小化するデプロイ設定を共有します。

1. vLLM (PagedAttention) vs SGLang (RadixAttention) 比較

2. レイテンシ & VRAM 最適化の2大手法

1) Chunked Prefill

長文プロンプトの入力処理 (Prefill) と生成処理 (Decode) が重なった際の GPU パ이プライン停止を防ぐため、プロンプトを分割 (例: 512, 1024 トークン単位) してバッチ処理します。

2) Speculative Decoding (推測デコーディング)

軽量な Draft Model (例: Qwen2.5-0.5B) が複数のトークン候補を高速に生成し、大型の Target Model (例: Qwen2.5-72B) が1回のパッセージで一括検証する手法です。出力精度を落とさずに生成速度を 2〜3倍向上させます。

3. 実戦サービングエンジン起動コード

vLLM Speculative Decoding CLI コマンド

vLLM v0.9.0 (2025-05-28) 以降、--speculative-model や --num-speculative-tokens のような独立フラグは非推奨となりソースコードから削除されました。従来の書き方のまま実行すると unrecognized arguments エラーになるため、以下のように --speculative-config に JSON をまとめて渡す必要があります。

# vLLM: Speculative Decoding (Target: Llama-3.1-70B, Draft: Llama-3.1-8B)
# NOTE: --speculative-model / --num-speculative-tokens were removed in vLLM v0.9.0+.
# Passing them now raises "unrecognized arguments"; use the single --speculative-config JSON flag instead.
python3 -m vllm.entrypoints.openai.api_server \
    --model meta-llama/Meta-Llama-3.1-70B-Instruct \
    --speculative-config '{"model": "meta-llama/Meta-Llama-3.1-8B-Instruct", "num_speculative_tokens": 5}' \
    --enable-chunked-prefill \
    --max-num-batched-tokens 2048 \
    --gpu-memory-utilization 0.90 \
    --tensor-parallel-size 4

SGLang Speculative Decoding サーバー起動 (Python)

別の draft モデルを使う構成では speculative_algorithm="STANDALONE" を明示的に指定する必要があります。デフォルト値は None なので、これを省略すると draft モデルのパスやトークン数を設定していても Speculative Decoding 自体が有効になりません。

import sglang as sgl

@sgl.function
def multi_turn_agent(s, system_prompt, user_query):
    s += sgl.system(system_prompt)
    s += sgl.user(user_query)
    s += sgl.assistant(sgl.gen("response", max_tokens=1024, temperature=0.2))

if __name__ == "__main__":
    runtime = sgl.Runtime(
        model_path="meta-llama/Meta-Llama-3.1-70B-Instruct",
        speculative_algorithm="STANDALONE",
        speculative_draft_model_path="meta-llama/Meta-Llama-3.1-8B-Instruct",
        speculative_num_draft_tokens=5,
        mem_fraction_static=0.88,
        tp_size=4
    )
    sgl.set_default_backend(runtime)

4. ベンチマーク結果と選定ガイド

結論と選定基準

1. 一般的な RAG や大規模リクエストサービング: エコシステムが安定している vLLM を推奨。
2. AI エージェントや構造化 JSON 出力: RadixAttention のキャッシュヒット率が高い SGLang を推奨。
3. Speculative Decoding を導入すれば、どちらのエンジンでも精度低下ゼロで 2倍以上の速度改善が可能です。