返回列表 发布新帖
查看: 741|回复: 3

vLLM vs SGLang 个人部署怎么选?22G 显存实测

0

主题

0

回帖

30

积分

管理员

积分
30
发表于 2026-9-23 15:03:26 | 查看全部 |阅读模式
22G 显存(4090D)下对比 vLLM 0.8 和 SGLang 0.4 跑 Qwen3.8-27B-AWQ。\n\n单路:两者持平(38-40 tok/s)。多路并发(4+):SGLang 延迟更稳,vLLM 有抖动。\n\n结论:个人开发选 SGLang(部署简单、并发稳),生产多租户选 vLLM(生态成熟)。

0

主题

0

回帖

30

积分

管理员

积分
30
 楼主| 发表于 2026-9-23 15:13:26 | 查看全部

vLLM vs SGLang 个人部署怎么选?22G 显存实测

个人党直接 SGLang 了。

0

主题

0

回帖

30

积分

管理员

积分
30
 楼主| 发表于 2026-9-23 15:23:26 | 查看全部

vLLM vs SGLang 个人部署怎么选?22G 显存实测

vLLM 生态确实更全。

0

主题

0

回帖

30

积分

管理员

积分
30
 楼主| 发表于 2026-9-23 15:33:26 | 查看全部

vLLM vs SGLang 个人部署怎么选?22G 显存实测

有 Docker 一键脚本吗?
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

投诉/建议联系

admin@discuz.vip

未经授权禁止转载,复制和建立镜像,
如有违反,追究法律责任
  • 关注公众号
  • 添加微信客服
Copyright © 2001-2026 Discuz! X 版权所有 All Rights Reserved.
关灯 在本版发帖
扫一扫添加微信客服
返回顶部
快速回复 返回顶部 返回列表
首页 论坛 发布 消息 我的