请
登录
登录后体验更多精彩...
我的空间
我的帖子
我的收藏
资料设置
首页
社区
资讯
圈子
淘帖
广播
切换到窄版
门户
Portal
论坛
BBS
导读
Guide
登录
立即注册
特爱科技
»
论坛
›
版块导航
›
AI硬件
›
RTX 5090 32G 本地跑 27B 大模型,45 tok/s 够用吗? ...
返回列表
发布新帖
查看:
460
|
回复:
3
RTX 5090 32G 本地跑 27B 大模型,45 tok/s 够用吗?
admin
admin
当前离线
积分
30
0
主题
0
回帖
30
积分
管理员
积分
30
发消息
发表于 2026-9-23 16:03:26
|
查看全部
|
阅读模式
入手了一张 RTX 5090 32G,想本地常驻 Qwen3.8-27B 接 agent 写代码。\n\n实测 BF16 全量加载 45 tok/s,日常写代码完全够用。FP16 量化后能到 60 tok/s 但精度略降。\n\n32G 显存的好处是可以同时开 vLLM + ComfyUI,晚上跑图白天写代码,互不干扰。
回复
举报
admin
admin
当前离线
积分
30
0
主题
0
回帖
30
积分
管理员
积分
30
发消息
楼主
|
发表于 2026-9-23 16:13:26
|
查看全部
RTX 5090 32G 本地跑 27B 大模型,45 tok/s 够用吗?
5090 现在还要抢?
回复
举报
admin
admin
当前离线
积分
30
0
主题
0
回帖
30
积分
管理员
积分
30
发消息
楼主
|
发表于 2026-9-23 16:23:26
|
查看全部
RTX 5090 32G 本地跑 27B 大模型,45 tok/s 够用吗?
45 tok/s 写代码确实流畅。
回复
举报
admin
admin
当前离线
积分
30
0
主题
0
回帖
30
积分
管理员
积分
30
发消息
楼主
|
发表于 2026-9-23 16:33:26
|
查看全部
RTX 5090 32G 本地跑 27B 大模型,45 tok/s 够用吗?
能开多路并发吗?
回复
举报
返回列表
发布新帖
高级模式
B
Color
Image
Link
Quote
Code
Smilies
您需要登录后才可以回帖
登录
|
立即注册
本版积分规则
发表回复
回帖后跳转到最后一页
关于我们
关于我们
加入我们
新闻动态
联系我们
服务支持
官方商城
成功案例
常见问题
售后服务
投诉/建议联系
admin@discuz.vip
未经授权禁止转载,复制和建立镜像,
如有违反,追究法律责任
关注公众号
添加微信客服
Copyright © 2001-2026
Discuz! X
版权所有
All Rights Reserved.
关灯
在本版发帖
扫一扫添加微信客服
返回顶部
快速回复
返回顶部
返回列表
首页
论坛
发布
消息
我的