大模型催生边缘算力需求，这家公司要用Chiplet重构AI芯片

大模型催生边缘算力需求，这家公司要用Chiplet重构AI芯片｜把脉AI大模型

2023-06-27 13:52:31 来源：界面新闻小 中

当GPT-4首次支持多模态后，文本、图像、视频及更多形态的数据都被设想成未来可以“喂给”大模型的数据。从训练到推理，从数据中心到边缘，AI引爆的数据多模态化浪潮使得业界意识到算力明显不够用了。

(资料图)

“大模型的爆发首先带动的是训练，算力需求目前最紧俏也是这部分，英伟达目前在训练一侧是绝对的霸主。但当大模型训出来后，开放API响应广大网友们每天的各种请求，推理的算力价值就会被浮出水面。”原粒半导体创始人兼CEO方绍峡博士接受界面新闻采访中告诉记者。

原粒半导体是一家AI Chiplet供应商，公司正式成立于今年4月，创始团队来自国际半导体巨头，在AI芯片领域深耕多年。

这支新创业团队的目标是通过结合创新的多模态AI处理器技术与Chiplet设计方法，提供高能效、低成本的通用AI Chiplet组件，客户可以根据实际业务需求低成本、灵活、快速配置出不同算力规格的AI芯片，以满足多模态大模型的推理及边缘端训练微调需求。

Chiplet通常被定义为模块化芯片的设计概念，包含“IP芯片化（IP as a Chiplet）”和“芯片平台化（Chiplet as a Platform）”。与之形成对比的传统集成电路的SoC技术（片上系统）。

它是将原本集成在一整块芯片上全部核心处理器IP（例如图形处理器（GPU）IP、视频处理器（ VPU ）IP、数字信号处理器（DSP）IP、神经网络处理器（ NPU ）IP等等）按功能拆分成一个个的独立单元，即芯粒，俗称“小芯片”。芯片厂商通过采购这些芯粒，按需求利用2D、3D封装做拼搭组合，做到“即插即用”。

受摩尔定律的物理极限限制，传统SoC技术在突破更小尺寸的先进制程的迭代道路上成本高、良率低。

同时SoC芯片在近几年的发展中，除与AI计算功能相关的IP外，其他部分规格变化缓慢，大模型的出现更是显著拉大了这一差距。若沿着SoC路线，更新迭代流片成本过高。

在此前提下，Chiplet因为能够突破单颗芯片的面积制约、模块化后又通过先进封装可以实现异构集成，是成本更低的解决方案。

此外，大模型推理对于边缘算力的需求也是未来的另一大趋势。

方绍峡认为，与云计算的数据中心架构相比，大模型在边缘端的智能计算是在一个已经训练好、有基本智能水平的模型基础上。当边缘端具备多模态大模型的离线学习进化能力时，本地模型将变成私人定制化的东西，数据也无需再往云端上传。这部分推理与训练微调过程主要依赖边缘多模态大模型AI算力。

在这种前提下，同“一卡难求”的英伟达GPU提供给的算力相比，引入第三方算力自然而然地成了一种降成本、提效率的可行选择。

目前，原粒半导体当前思考的商业模式主要是作为AI Chiplet产品的上游供应商，向下游的SoC厂商及系统厂商提供标准化的多模态大模型AI 算力Chiplet产品。

上下游产业链上的“SoC主控+AI Chiplet”组合可有效复用芯片主控，显著降低成本，快速满足各类规格需求，同时也是Chiplet产业化的机遇，预计也会是公司未来主要的营收渠道。

原粒半导体自身定位于AI算力基础设施供应商。Chiplet目前还是新鲜事物。因此需要芯粒厂商积极适配SoC厂商及系统厂商需求，多模态AI算力Chiplet也将给AI算力市场带来全新可能。

原粒半导体近期宣布已经完成数千万元人民币种子轮融资，本轮融资由英诺天使基金领投，中关村发展集团、清科创投、水木清华校友种子基金、中科创星等多家机构跟投。本轮融资将用于公司核心团队组建以及创新技术研发。

关键词：

大模型催生边缘算力需求，这家公司要用Chiplet重构AI芯片｜把脉AI大模型

2023-06-27 13:52:31 来源：界面新闻 小 中

相关新闻

2023-06-27 13:52:31 来源：界面新闻小中