vllm

公開日 2026/07/30

vLLM / SGLang を使用した DeepSeek-R1, Qwen2.5 の Self-hosting とクラウド API (DeepSeek, Bedrock, Together AI) の TCO、TPS、TTFT 比較。

公開日 2026/07/30

Apple Silicon Mac Studio(M3/M4 Max/Ultra)をベースにしたオンプレミスLLM推論クラスタの構築、Ollama/vLLM-MLX設定、負荷分散および量子化選択の実践ガイド。