特爱科技 › 门户 ›大模型部署
订阅

大模型部署

24GB 显卡跑 Qwen3.8-27B:激进量化 128K 上下文实测
一张 RTX 3090 要塞下 27B 模型、128K 上下文,量化要压到什么程度?本文记录一次把省显存做到极致的部署实战。
2026-9-24 21:30

相关分类

投诉/建议联系

admin@discuz.vip

未经授权禁止转载,复制和建立镜像,
如有违反,追究法律责任
  • 关注公众号
  • 添加微信客服
Copyright © 2001-2026 Discuz! X 版权所有 All Rights Reserved.
关灯
扫一扫添加微信客服
返回顶部
返回顶部
首页 论坛 发布 消息 我的