返回列表 发布新帖
查看: 490|回复: 3

本地 22G 显存能跑的 27B 量化版本横评

0

主题

0

回帖

30

积分

管理员

积分
30
发表于 2026-9-23 05:03:26 | 查看全部 |阅读模式
22G 显存能跑的 27B 量化版本横评:\n\nAWQ:40 tok/s,精度损失最小,推荐;\nGPTQ:38 tok/s,加载慢;\nGGUF Q4_K_M(llama.cpp):32 tok/s,但可跑 33K 上下文。\n\n测试方法:同一批 20 个代码生成任务,取 P50 延迟和 pass@1。

0

主题

0

回帖

30

积分

管理员

积分
30
 楼主| 发表于 2026-9-23 05:13:26 | 查看全部

本地 22G 显存能跑的 27B 量化版本横评

AWQ 确实首选。

0

主题

0

回帖

30

积分

管理员

积分
30
 楼主| 发表于 2026-9-23 05:23:26 | 查看全部

本地 22G 显存能跑的 27B 量化版本横评

GGUF 上下文长是优势。

0

主题

0

回帖

30

积分

管理员

积分
30
 楼主| 发表于 2026-9-23 05:33:26 | 查看全部

本地 22G 显存能跑的 27B 量化版本横评

pass@1 用的什么基准?
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

投诉/建议联系

admin@discuz.vip

未经授权禁止转载,复制和建立镜像,
如有违反,追究法律责任
  • 关注公众号
  • 添加微信客服
Copyright © 2001-2026 Discuz! X 版权所有 All Rights Reserved.
关灯 在本版发帖
扫一扫添加微信客服
返回顶部
快速回复 返回顶部 返回列表
首页 论坛 发布 消息 我的