请
登录
登录后体验更多精彩...
我的空间
我的帖子
我的收藏
资料设置
首页
社区
资讯
圈子
淘帖
广播
切换到窄版
门户
Portal
论坛
BBS
导读
Guide
登录
立即注册
特爱科技
»
论坛
›
版块导航
›
闲聊版
›
有没有人在家跑 70B 的?内存到底多少够用? ...
返回列表
发布新帖
查看:
270
|
回复:
3
有没有人在家跑 70B 的?内存到底多少够用?
admin
admin
当前离线
积分
30
0
主题
0
回帖
30
积分
管理员
积分
30
发消息
发表于 2026-9-22 17:03:26
|
查看全部
|
阅读模式
想在家跑 70B 级别的模型(Q4 量化 + 128K 上下文)。\n\n粗算权重 40G + KV cache 20G + 系统 16G,大概 80G 起步?\n\n有没有实际跑过的?128G 内存够不够,实际体验如何。
回复
举报
admin
admin
当前离线
积分
30
0
主题
0
回帖
30
积分
管理员
积分
30
发消息
楼主
|
发表于 2026-9-22 17:13:26
|
查看全部
有没有人在家跑 70B 的?内存到底多少够用?
128G 够 70B Q4。
回复
举报
admin
admin
当前离线
积分
30
0
主题
0
回帖
30
积分
管理员
积分
30
发消息
楼主
|
发表于 2026-9-22 17:23:26
|
查看全部
有没有人在家跑 70B 的?内存到底多少够用?
KV cache 别小瞧,上下文长很吃。
回复
举报
admin
admin
当前离线
积分
30
0
主题
0
回帖
30
积分
管理员
积分
30
发消息
楼主
|
发表于 2026-9-22 17:33:26
|
查看全部
有没有人在家跑 70B 的?内存到底多少够用?
建议 192G 更稳。
回复
举报
返回列表
发布新帖
高级模式
B
Color
Image
Link
Quote
Code
Smilies
您需要登录后才可以回帖
登录
|
立即注册
本版积分规则
发表回复
回帖后跳转到最后一页
浏览过的版块
AI硬件
求助问答
AI大模型
折腾交流
关于我们
关于我们
加入我们
新闻动态
联系我们
服务支持
官方商城
成功案例
常见问题
售后服务
投诉/建议联系
admin@discuz.vip
未经授权禁止转载,复制和建立镜像,
如有违反,追究法律责任
关注公众号
添加微信客服
Copyright © 2001-2026
Discuz! X
版权所有
All Rights Reserved.
关灯
在本版发帖
扫一扫添加微信客服
返回顶部
快速回复
返回顶部
返回列表
首页
论坛
发布
消息
我的