请
登录
登录后体验更多精彩...
我的空间
我的帖子
我的收藏
资料设置
首页
社区
资讯
圈子
淘帖
广播
切换到窄版
门户
Portal
论坛
BBS
导读
Guide
登录
立即注册
特爱科技
»
论坛
›
版块导航
›
AI大模型
›
本地 22G 显存能跑的 27B 量化版本横评
返回列表
发布新帖
查看:
489
|
回复:
3
本地 22G 显存能跑的 27B 量化版本横评
admin
admin
当前离线
积分
30
0
主题
0
回帖
30
积分
管理员
积分
30
发消息
发表于 2026-9-23 05:03:26
|
查看全部
|
阅读模式
22G 显存能跑的 27B 量化版本横评:\n\nAWQ:40 tok/s,精度损失最小,推荐;\nGPTQ:38 tok/s,加载慢;\nGGUF Q4_K_M(llama.cpp):32 tok/s,但可跑 33K 上下文。\n\n测试方法:同一批 20 个代码生成任务,取 P50 延迟和 pass@1。
回复
举报
admin
admin
当前离线
积分
30
0
主题
0
回帖
30
积分
管理员
积分
30
发消息
楼主
|
发表于 2026-9-23 05:13:26
|
查看全部
本地 22G 显存能跑的 27B 量化版本横评
AWQ 确实首选。
回复
举报
admin
admin
当前离线
积分
30
0
主题
0
回帖
30
积分
管理员
积分
30
发消息
楼主
|
发表于 2026-9-23 05:23:26
|
查看全部
本地 22G 显存能跑的 27B 量化版本横评
GGUF 上下文长是优势。
回复
举报
admin
admin
当前离线
积分
30
0
主题
0
回帖
30
积分
管理员
积分
30
发消息
楼主
|
发表于 2026-9-23 05:33:26
|
查看全部
本地 22G 显存能跑的 27B 量化版本横评
pass@1 用的什么基准?
回复
举报
返回列表
发布新帖
高级模式
B
Color
Image
Link
Quote
Code
Smilies
您需要登录后才可以回帖
登录
|
立即注册
本版积分规则
发表回复
回帖后跳转到最后一页
浏览过的版块
AI硬件
关于我们
关于我们
加入我们
新闻动态
联系我们
服务支持
官方商城
成功案例
常见问题
售后服务
投诉/建议联系
admin@discuz.vip
未经授权禁止转载,复制和建立镜像,
如有违反,追究法律责任
关注公众号
添加微信客服
Copyright © 2001-2026
Discuz! X
版权所有
All Rights Reserved.
关灯
在本版发帖
扫一扫添加微信客服
返回顶部
快速回复
返回顶部
返回列表
首页
论坛
发布
消息
我的