跳到正文
Simon Willison / twitter· Simon Willison·发布时间:评分18
文本

低于 60GB 内存时,哪款开放权重 MoE 编程模型最好?

What's the best open weight Mixture-of-Experts LLM for coding that fits in less than 60GB of RAM? I think MoE might be

内容导读

Simon Willison 正在征询适合编程、能在低于 60GB 内存中运行的开放权重大语言模型。他认为,在自己可使用的硬件上,MoE(混合专家)架构可能是获得较好交互速度的必要选择,目标是超过 12 tokens/second;这条帖子提出了选型需求,尚未给出候选模型或实测结论。

来源:Simon Willison / twitter · x.com