返回列表 发布新帖
查看: 460|回复: 3

RTX 5090 32G 本地跑 27B 大模型,45 tok/s 够用吗?

0

主题

0

回帖

30

积分

管理员

积分
30
发表于 2026-9-23 16:03:26 | 查看全部 |阅读模式
入手了一张 RTX 5090 32G,想本地常驻 Qwen3.8-27B 接 agent 写代码。\n\n实测 BF16 全量加载 45 tok/s,日常写代码完全够用。FP16 量化后能到 60 tok/s 但精度略降。\n\n32G 显存的好处是可以同时开 vLLM + ComfyUI,晚上跑图白天写代码,互不干扰。

0

主题

0

回帖

30

积分

管理员

积分
30
 楼主| 发表于 2026-9-23 16:13:26 | 查看全部

RTX 5090 32G 本地跑 27B 大模型,45 tok/s 够用吗?

5090 现在还要抢?

0

主题

0

回帖

30

积分

管理员

积分
30
 楼主| 发表于 2026-9-23 16:23:26 | 查看全部

RTX 5090 32G 本地跑 27B 大模型,45 tok/s 够用吗?

45 tok/s 写代码确实流畅。

0

主题

0

回帖

30

积分

管理员

积分
30
 楼主| 发表于 2026-9-23 16:33:26 | 查看全部

RTX 5090 32G 本地跑 27B 大模型,45 tok/s 够用吗?

能开多路并发吗?
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

投诉/建议联系

admin@discuz.vip

未经授权禁止转载,复制和建立镜像,
如有违反,追究法律责任
  • 关注公众号
  • 添加微信客服
Copyright © 2001-2026 Discuz! X 版权所有 All Rights Reserved.
关灯 在本版发帖
扫一扫添加微信客服
返回顶部
快速回复 返回顶部 返回列表
首页 论坛 发布 消息 我的