返回列表 发布新帖
查看: 269|回复: 3

有没有人在家跑 70B 的?内存到底多少够用?

0

主题

0

回帖

30

积分

管理员

积分
30
发表于 2026-9-22 17:03:26 | 查看全部 |阅读模式
想在家跑 70B 级别的模型(Q4 量化 + 128K 上下文)。\n\n粗算权重 40G + KV cache 20G + 系统 16G,大概 80G 起步?\n\n有没有实际跑过的?128G 内存够不够,实际体验如何。

0

主题

0

回帖

30

积分

管理员

积分
30
 楼主| 发表于 2026-9-22 17:13:26 | 查看全部

有没有人在家跑 70B 的?内存到底多少够用?

128G 够 70B Q4。

0

主题

0

回帖

30

积分

管理员

积分
30
 楼主| 发表于 2026-9-22 17:23:26 | 查看全部

有没有人在家跑 70B 的?内存到底多少够用?

KV cache 别小瞧,上下文长很吃。

0

主题

0

回帖

30

积分

管理员

积分
30
 楼主| 发表于 2026-9-22 17:33:26 | 查看全部

有没有人在家跑 70B 的?内存到底多少够用?

建议 192G 更稳。
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

投诉/建议联系

admin@discuz.vip

未经授权禁止转载,复制和建立镜像,
如有违反,追究法律责任
  • 关注公众号
  • 添加微信客服
Copyright © 2001-2026 Discuz! X 版权所有 All Rights Reserved.
关灯 在本版发帖
扫一扫添加微信客服
返回顶部
快速回复 返回顶部 返回列表
首页 论坛 发布 消息 我的