昨天晚上,ChatGPT、Claude、Grok 等主流 AI 产品和后端模型 API 服务突发宕机。大量个人和企业用户反馈无法登录、服务不能正常使用,坊间猜测根源为 AWS 等云服务商基础设施大规模故障。 这是很多急于实现「AI 转型」的传统企业都在面临的尴尬处境。大模型和 Agent 火了,所有人都在畅想着 AI 能给自己带来多大的帮助;API 充了值,Agent 真的部署起来了,却越来越头疼。 头疼的有好几层: 第一层是越好的模型自然越受欢迎,用的人越多也越不稳定。当复杂业务流程运行在一个云端 API 驱动的智能体上,网络波动或云端限流会导致任务中断,难以找回,一切恐怕得推倒重来,这对于追求稳健的生产环境来说,是不可接受的; 第二层是老板们鼓励团队多用 AI,真用多了又心疼钱烧的太快,更何况仅仅在「搭建」一个达到要求的 Agent 的阶段,就已经发生了巨量的 token 消耗,结果都还没有看到; 第三层凸显于医药、金融、工业制造等特定的行业,隐私、安全、合规要求使得他们无法使用「常规 AI」,包括在线的 AI 模型对话/agent 产品以及云端 API。 解痛的方法,只有本地 AI。 近日,来自北京大学的元空智能与惠普一起,将开源大模型和 Agent 框架,以及面向常规办公、金融、科研等不同场景的专有知识,全部塞进了本地设备。 这是模型、框架和算力的整合,其中前两者由元空 AI 提供: 多款 Boxer 开源模型,包括稠密和稀疏激活版本作为中间的模型层;上层是两款平行的 Agent 产品「元空 AI Work」和「元空 AI Science」。 底层算力由惠普提供,根据场景不同,可以是常规形态的笔记本电脑,或者英伟达 GB10 架构的桌上计算盒子,以及传统的塔式工作站。惠普将向企业用户直接销售这些预装打包好的设备,以及配套的 FDE(前线部署工程师)服务。 这是一套面向企业市场的成套解决方案。它对于典型的普通 AI 用户来说没有意义,不仅一次性费用远比常规 AI 订阅更贵,也并没有那么方便—— 但对于那些因为数据安全合规方面要求极高,而长期以来不能用、不敢用 AI...
本文转载自 爱范儿,仅供学习交流。查看原文