低于 60GB 内存时,哪款开放权重 MoE 编程模型最好?
Simon Willison 正在征询适合编程、能在低于 60GB 内存中运行的开放权重大语言模型。他认为,在自己可使用的硬件上,MoE(混合专家)架构可能是获得较好交互速度的必要选择,目标是超过 12 tokens/second;这条帖子提出了选型需求,尚未给出候选模型或实测结论。
Simon Willison 正在征询适合编程、能在低于 60GB 内存中运行的开放权重大语言模型。他认为,在自己可使用的硬件上,MoE(混合专家)架构可能是获得较好交互速度的必要选择,目标是超过 12 tokens/second;这条帖子提出了选型需求,尚未给出候选模型或实测结论。
svpino 提到,一款桌面 AI 智能体从首日就支持 Linux,并对此表示期待已久。配文没有给出产品名称、具体功能或获取方式,尚无法据此判断它能完成哪些桌面任务。
NVIDIA 预告面向本地 AI 开发的 DGX Spark 64GB 统一内存配置。该配置本月将通过 Acer 等制造商伙伴提供,目前信息仅来自官方 RSS 摘要,完整售价、性能及现货状态尚未核实。
作者希望 AI 手机能听懂复杂需求、拆解任务并调动多个应用:例如比较淘宝闪购与美团的外卖价格和送达时间,让用户决定在哪家下单;或汇总各应用的积分及可兑换物品。作者认为,操作系统底层有机会支持这些能力,但仍需解决权限、数据开放、厂商利益协调和安全问题。这些是换机诉求,并非努比亚与豆包手机已具备的功能,作者也尚未实际体验该手机。