特爱科技 › 门户 ›大模型部署 › 查看内容

24GB 显卡跑 Qwen3.8-27B:激进量化 128K 上下文实测

2026-9-24 21:30| 发布者: admin| 查看: 24| 评论: 0|原作者: admin

摘要: 一张 RTX 3090 要塞下 27B 模型、128K 上下文,量化要压到什么程度?本文记录一次把省显存做到极致的部署实战。
24GB 显卡跑 Qwen3.8-27B:激进量化 128K 上下文实测
[size=4]24GB 显卡跑 Qwen3.8-27B 128K 上下文实测[/size]\n\n一张 RTX 3090 24GB 要塞下 27B 模型、128K 上下文,还要保住推理质量。\n\n本文记录:量化方案对比、上下文长度对显存的影响、推理速度、质量评估。
标签: 量化

路过

雷人

握手

鲜花

鸡蛋

评论

您需要登录后才可以发表言论 登录 或 立即注册
投诉/建议联系

admin@discuz.vip

未经授权禁止转载,复制和建立镜像,
如有违反,追究法律责任
  • 关注公众号
  • 添加微信客服
Copyright © 2001-2026 Discuz! X 版权所有 All Rights Reserved.
关灯
扫一扫添加微信客服
返回顶部
返回顶部
首页 论坛 发布 消息 我的