Simon Willison / twitter· Simon Willison·发布时间:
文本低于 60GB 内存时,哪款开放权重 MoE 编程模型最好?
What's the best open weight Mixture-of-Experts LLM for coding that fits in less than 60GB of RAM? I think MoE might be
内容导读
Simon Willison 正在征询适合编程、能在低于 60GB 内存中运行的开放权重大语言模型。他认为,在自己可使用的硬件上,MoE(混合专家)架构可能是获得较好交互速度的必要选择,目标是超过 12 tokens/second;这条帖子提出了选型需求,尚未给出候选模型或实测结论。
来源:Simon Willison / twitter · x.com