美光押注“物理 AI”:EIM 边缘推理内存,把 DRAM 直接摞在芯片上,专治自动驾驶和机器人的“内存焦虑”

2026年10月18日 | 来源:IT之家
美光 EIM 物理AI
当大模型还在云端疯狂堆显卡时,美光已经把目光投向了车轮上、机器人身上那颗必须实时做决策的芯片。物理 AI 时代,数据不再等你搬回来——内存必须主动贴上去。美光最新曝光的 EIM(Edge Inference Memory),正是一场围绕“垂直堆叠”的存储革命。

一、物理 AI 的内存困境:带宽追不上神经网络的胃口

过去两年,AI 的主战场毫无疑问在云端。训练 GPT 级别的模型需要数万张 GPU 协同,数据中心成了“吞电巨兽”。但 AI 的下一幕,正在从云端转向物理世界——自动驾驶汽车、人形机器人、AR/VR 头显,这些设备有一个共同的名字:物理 AI(Physical AI)。

物理 AI 与云端 AI 最大的区别在于:它必须在本地、实时地处理来自传感器洪流的数据。

一辆 L4 级自动驾驶汽车上,激光雷达、毫米波雷达、十几个摄像头每秒产生的原始数据可达数 GB。视觉 Transformer、占据栅格网络(Occupancy Network)、BEV 感知模型的推理需求,让车载 SoC 的算力逐年翻倍。但算力从来不是孤立工作的——每一个 TOPS 都需要内存带宽来喂养。

行业里有一个残酷的经验法则:算力每提升一倍,对内存带宽的需求大约也要翻倍。然而传统内存架构的演进速度远远跟不上。这就是所谓“内存墙”(Memory Wall)问题——处理器与内存之间那条 DDR 总线,正在成为物理 AI 最深的瓶颈。

更麻烦的是,边缘设备对功耗和延迟极度敏感:

美光给出的答案,是 EIM——边缘推理内存。

二、EIM 是什么:把内存“叠”到逻辑芯片头顶上

美光对 EIM 的定位非常明确:面向物理 AI 的专用存储芯片,瞄准自动驾驶、人形机器人、AR/VR 三大市场。

其核心技术思路可以概括为四个字:垂直堆叠。EIM 将低功耗内存直接堆叠在逻辑芯片(SoC/ASIC)之上,通过混合键合(Hybrid Bonding)或类似 3D 堆叠工艺实现超短互连。

我们画一张示意图来理解 EIM 与传统架构的区别:

<svg viewBox="0 0 800 400" xmlns="http://www.w3.org/2000/svg" font-family="PingFang SC, Microsoft YaHei, Noto Sans SC, sans-serif">
  <!-- 传统架构 -->
  <rect x="40" y="40" width="320" height="40" rx="8" fill="#6366f1"/>
  <text x="200" y="66" text-anchor="middle" fill="#fff" font-size="18">SoC / AI 加速器</text>
  <rect x="40" y="90" width="320" height="8" fill="#94a3b8"/>
  <text x="200" y="118" text-anchor="middle" fill="#475569" font-size="14">PCB 走线 + DDR 接口(长距离)</text>
  <rect x="40" y="130" width="320" height="40" rx="8" fill="#8b5cf6"/>
  <text x="200" y="156" text-anchor="middle" fill="#fff" font-size="18">LPDDR 内存(同板分立)</text>
  <text x="200" y="210" text-anchor="middle" fill="#475569" font-size="16" font-weight="bold">传统架构:数据搬运远、延迟高、功耗大</text>
  <!-- 箭头数据流 -->
  <path d="M120 130 L120 95 L120 85" stroke="#6366f1" stroke-width="3" marker-end="url(#a1)"/>
  <defs><marker id="a1" markerWidth="8" markerHeight="8" refX="4" refY="4" orient="auto"><path d="M0,0 L8,4 L0,8" fill="#6366f1"/></marker></defs>

  <!-- EIM 架构 -->
  <rect x="440" y="40" width="320" height="40" rx="8" fill="#8b5cf6"/>
  <text x="600" y="66" text-anchor="middle" fill="#fff" font-size="18">EIM 低功耗内存(上层)</text>
  <rect x="440" y="80" width="320" height="12" fill="#c4b5fd"/>
  <text x="600" y="110" text-anchor="middle" fill="#7c3aed" font-size="14" font-weight="bold">混合键合超短互连(μm 级)</text>
  <rect x="440" y="118" width="320" height="40" rx="8" fill="#6366f1"/>
  <text x="600" y="144" text-anchor="middle" fill="#fff" font-size="18">逻辑芯片(下层)</text>
  <text x="600" y="210" text-anchor="middle" fill="#6d28d9" font-size="16" font-weight="bold">EIM:垂直堆叠,带宽↑ 延迟↓ 功耗↓</text>

  <!-- 底部标注 -->
  <rect x="100" y="280" width="600" height="80" rx="10" fill="#f5f3ff" stroke="#8b5cf6"/>
  <text x="400" y="312" text-anchor="middle" fill="#4c1d95" font-size="15">核心收益:互连距离从厘米级缩短到微米级</text>
  <text x="400" y="340" text-anchor="middle" fill="#4c1d95" font-size="15">显著降低数据处理延迟,大幅提高有效内存带宽</text>
</svg>

三个关键收益

1. 延迟大幅降低。 传统 LPDDR 与 SoC 之间的信号要走几厘米的 PCB 走线,而 3D 垂直堆叠后,互连距离缩短到微米级。对于实时性要求苛刻的机器人控制回路和自动驾驶规划模块,这意味着确定性的低延迟响应。 2. 带宽显著提高。 超短互连意味着可以布置密度远超传统总线的数据通道,单位功耗下的有效带宽大幅提升——这正是推理工作负载最渴求的资源。 3. 功耗与面积双降。 数据搬运的距离越短,能耗越低。DRAM 访存的能耗中,很大一部分消耗在接口驱动和传输线上;堆叠架构直接砍掉了这块开销。同时,内存与逻辑合为一体,也省下了 PCB 上的宝贵面积。

三、为什么是现在?物理 AI 的产业窗口正在打开

美光此番押注 EIM,本质上是对“物理 AI 会复制大模型增长曲线”的一次豪赌。

具身智能(Embodied AI)近年来成为最热的赛道之一。特斯拉 Optimus、Figure、宇树等人形机器人进入量产前夜;端到端自动驾驶方案大规模落地;Apple Vision Pro 带火空间计算。这些设备上的 AI 模型越来越大,从 CNN 走向 Transformer 和 VLA(Vision-Language-Action)大模型,本地推理的内存需求呈指数级增长。

但边缘侧不可能用 HBM——HBM 虽然带宽惊人,但成本高、良率低、功耗大,只适合数据中心。EIM 的巧妙之处在于,它用“堆叠”这一 HBM 同源的技术思路,但选择了低功耗内存介质,为边缘场景量身定制。

值得一提的是,EIM 并非孤立的技术方向。行业整体正朝“近存计算/存算一体”演进:

美光的差异化在于明确定位物理 AI 推理场景,并以存储大厂的身份亲自下场做“内存 + 逻辑”的系统级产品,这本身就是商业模式的一次升级——从卖标准件,到卖为特定工作负载优化的解决方案。

四、冷思考:EIM 离量产还有多远?

当然,作为前沿技术,EIM 的落地仍面临几道坎:

1. 散热。内存叠在发热的 SoC 头顶,热量必须穿过内存层散出,DRAM 对温度敏感,热设计是核心挑战;

2. 良率与成本。混合键合工艺对晶圆级精度要求极高,Known-Good-Die 问题(逻辑芯片坏了,堆叠的内存也一起报废)会推高成本;

3. 生态适配。编译器、驱动、内存调度软件需要针对 3D 堆叠架构做深度优化,产业链协同需要时间。

不过,回顾 HBM 的历史——从最初被认为“太贵、没人用”,到如今成为 AI 芯片标配——3D 堆叠存储在需求爆发面前的商业化速度,往往超出预期。

结语

存储行业的竞争逻辑正在改变:当制程微缩逼近物理极限,架构创新(堆叠、近存、存算一体)成了新的增长引擎。美光的 EIM 选择在物理 AI 早起跑,赌的是三年后满街跑的机器人和自动驾驶汽车,每一台都需要一颗“内存长在芯片上”的推理大脑。

如果这个判断成立,EIM 可能不只是多一个产品线,而是美光从“卖 DRAM”迈向“卖 AI 系统能力”的转折点。存储巨头的下一场战争,已经悄然打响。


信息源:IT之家《美光研发边缘推理内存 EIM,降低数据处理延迟并提高带宽》(https://www.ithome.com/1/014/419.htm) 查看原文 ↗
推广
🚀 想亲手把文中的 AI 项目跑起来?
阿里云轻量应用服务器,开箱即用,新用户专享优惠——半小时从零部署一台自己的 AI 工作机。
去了解 →

📋 多平台草稿预览 (12平台差异化改编)

美光押注“物理 AI”:EIM 边缘推理内存,把 DRAM 直接摞在芯片上,专治自动驾驶和机器人的“内存焦虑”

当大模型还在云端疯狂堆显卡时,美光已经把目光投向了车轮上、机器人身上那颗必须实时做决策的芯片。物理 AI 时代,数据不再等你搬回来——内存必须主动贴上去。美光最新曝光的 EIM(Edge Inference Memory),正是一场围绕“垂直堆叠”的存储革命。

当大模型还在云端疯狂堆显卡时,美光已经把目光投向了车轮上、机器人身上那颗必须实时做决策的芯片。物理 AI 时代,数据不再等你搬回来——内存必须主动贴上去。美光最新曝光的 EIM(Edge Inference Memory),正是一场围绕“垂直堆叠”的存储革命。

一、物理 AI 的内存困境:带宽追不上神经网络的胃口

过去两年,AI 的主战场毫无疑问在云端。训练 GPT 级别的模型需要数万张 GPU 协同,数据中心成了“吞电巨兽”。但 AI 的下一幕,正在从云端转向物理世界——自动驾驶汽车、人形机器人、AR/VR 头显,这些设备有一个共同的名字:物理 AI(Physical AI)。

物理 AI 与云端 AI 最大的区别在于:它必须在本地、实时地处理来自传感器洪流的数据。

一辆 L4 级自动驾驶汽车上,激光雷达、毫米波雷达、十几个摄像头每秒产生的原始数据可达数 GB。视觉 Transformer、占据栅格网络(Occupancy Network)、BEV 感知模型的推理需求,让车载 SoC 的算力逐年翻倍。但算力从来不是孤立工作的——每一个 TOPS 都需要内存带宽来喂养。

行业里有一个残酷的经验法则:算力每提升一倍,对内存带宽的需求大约也要翻倍。然而传统内存架构的演进速度远远跟不上。这就是所谓“内存墙”(Memory Wall)问题——处理器与内存之间那条 DDR 总线,正在成为物理 AI 最深的瓶颈。

更麻烦的是,边缘设备对功耗和延迟极度敏感:

    • 延迟:自动驾驶系统要求端到端响应时间在几十毫秒以内,任何数据搬运的额外延迟都可能致命;
    • 功耗:机器人和头显靠电池供电,内存数据搬运的能耗往往高于计算本身;
    • 空间:车载和机载设备寸土寸金,不可能塞进 HBM 那样昂贵的方案。

美光给出的答案,是 EIM——边缘推理内存。

二、EIM 是什么:把内存“叠”到逻辑芯片头顶上

美光对 EIM 的定位非常明确:面向物理 AI 的专用存储芯片,瞄准自动驾驶、人形机器人、AR/VR 三大市场。

其核心技术思路可以概括为四个字:垂直堆叠。EIM 将低功耗内存直接堆叠在逻辑芯片(SoC/ASIC)之上,通过混合键合(Hybrid Bonding)或类似 3D 堆叠工艺实现超短互连。

我们画一张示意图来理解 EIM 与传统架构的区别:

<svg viewBox="0 0 800 400" xmlns="http://www.w3.org/2000/svg" font-family="PingFang SC, Microsoft YaHei, Noto Sans SC, sans-serif">

<!-- 传统架构 -->

<rect x="40" y="40" width="320" height="40" rx="8" fill="#6366f1"/>

<text x="200" y="66" text-anchor="middle" fill="#fff" font-size="18">SoC / AI 加速器</text>

<rect x="40" y="90" width="320" height="8" fill="#94a3b8"/>

<text x="200" y="118" text-anchor="middle" fill="#475569" font-size="14">PCB 走线 + DDR 接口(长距离)</text>

<rect x="40" y="130" width="320" height="40" rx="8" fill="#8b5cf6"/>

<text x="200" y="156" text-anchor="middle" fill="#fff" font-size="18">LPDDR 内存(同板分立)</text>

<text x="200" y="210" text-anchor="middle" fill="#475569" font-size="16" font-weight="bold">传统架构:数据搬运远、延迟高、功耗大</text>

<!-- 箭头数据流 -->

<path d="M120 130 L120 95 L120 85" stroke="#6366f1" stroke-width="3" marker-end="url(#a1)"/>

<defs><marker id="a1" markerWidth="8" markerHeight="8" refX="4" refY="4" orient="auto"><path d="M0,0 L8,4 L0,8" fill="#6366f1"/></marker></defs>

<!-- EIM 架构 -->

<rect x="440" y="40" width="320" height="40" rx="8" fill="#8b5cf6"/>

<text x="600" y="66" text-anchor="middle" fill="#fff" font-size="18">EIM 低功耗内存(上层)</text>

<rect x="440" y="80" width="320" height="12" fill="#c4b5fd"/>

<text x="600" y="110" text-anchor="middle" fill="#7c3aed" font-size="14" font-weight="bold">混合键合超短互连(μm 级)</text>

<rect x="440" y="118" width="320" height="40" rx="8" fill="#6366f1"/>

<text x="600" y="144" text-anchor="middle" fill="#fff" font-size="18">逻辑芯片(下层)</text>

<text x="600" y="210" text-anchor="middle" fill="#6d28d9" font-size="16" font-weight="bold">EIM:垂直堆叠,带宽↑ 延迟↓ 功耗↓</text>

<!-- 底部标注 -->

<rect x="100" y="280" width="600" height="80" rx="10" fill="#f5f3ff" stroke="#8b5cf6"/>

<text x="400" y="312" text-anchor="middle" fill="#4c1d95" font-size="15">核心收益:互连距离从厘米级缩短到微米级</text>

<text x="400" y="340" text-anchor="middle" fill="#4c1d95" font-size="15">显著降低数据处理延迟,大幅提高有效内存带宽</text>

</svg>

三个关键收益

1. 延迟大幅降低。 传统 LPDDR 与 SoC 之间的信号要走几厘米的 PCB 走线,而 3D 垂直堆叠后,互连距离缩短到微米级。对于实时性要求苛刻的机器人控制回路和自动驾驶规划模块,这意味着确定性的低延迟响应。 2. 带宽显著提高。 超短互连意味着可以布置密度远超传统总线的数据通道,单位功耗下的有效带宽大幅提升——这正是推理工作负载最渴求的资源。 3. 功耗与面积双降。 数据搬运的距离越短,能耗越低。DRAM 访存的能耗中,很大一部分消耗在接口驱动和传输线上;堆叠架构直接砍掉了这块开销。同时,内存与逻辑合为一体,也省下了 PCB 上的宝贵面积。

三、为什么是现在?物理 AI 的产业窗口正在打开

美光此番押注 EIM,本质上是对“物理 AI 会复制大模型增长曲线”的一次豪赌。

具身智能(Embodied AI)近年来成为最热的赛道之一。特斯拉 Optimus、Figure、宇树等人形机器人进入量产前夜;端到端自动驾驶方案大规模落地;Apple Vision Pro 带火空间计算。这些设备上的 AI 模型越来越大,从 CNN 走向 Transformer 和 VLA(Vision-Language-Action)大模型,本地推理的内存需求呈指数级增长。

但边缘侧不可能用 HBM——HBM 虽然带宽惊人,但成本高、良率低、功耗大,只适合数据中心。EIM 的巧妙之处在于,它用“堆叠”这一 HBM 同源的技术思路,但选择了低功耗内存介质,为边缘场景量身定制。

值得一提的是,EIM 并非孤立的技术方向。行业整体正朝“近存计算/存算一体”演进:

    • 三星、SK 海力士均在推进逻辑芯片与内存的混合键合研究;
    • 台积电的 SoIC 3D 堆叠平台已在为高算力芯片服务;
    • 学术界的 3D 堆叠 SRAM/DRAM 方案论文层出不穷。

美光的差异化在于明确定位物理 AI 推理场景,并以存储大厂的身份亲自下场做“内存 + 逻辑”的系统级产品,这本身就是商业模式的一次升级——从卖标准件,到卖为特定工作负载优化的解决方案。

四、冷思考:EIM 离量产还有多远?

当然,作为前沿技术,EIM 的落地仍面临几道坎:

1. 散热。内存叠在发热的 SoC 头顶,热量必须穿过内存层散出,DRAM 对温度敏感,热设计是核心挑战;

2. 良率与成本。混合键合工艺对晶圆级精度要求极高,Known-Good-Die 问题(逻辑芯片坏了,堆叠的内存也一起报废)会推高成本;

3. 生态适配。编译器、驱动、内存调度软件需要针对 3D 堆叠架构做深度优化,产业链协同需要时间。

不过,回顾 HBM 的历史——从最初被认为“太贵、没人用”,到如今成为 AI 芯片标配——3D 堆叠存储在需求爆发面前的商业化速度,往往超出预期。

结语

存储行业的竞争逻辑正在改变:当制程微缩逼近物理极限,架构创新(堆叠、近存、存算一体)成了新的增长引擎。美光的 EIM 选择在物理 AI 早起跑,赌的是三年后满街跑的机器人和自动驾驶汽车,每一台都需要一颗“内存长在芯片上”的推理大脑。

如果这个判断成立,EIM 可能不只是多一个产品线,而是美光从“卖 DRAM”迈向“卖 AI 系统能力”的转折点。存储巨头的下一场战争,已经悄然打响。



信息源:IT之家《美光研发边缘推理内存 EIM,降低数据处理延迟并提高带宽》(https://www.ithome.com/1/014/419.htm) 标签:美光, EIM, 物理AI

来源:IT之家《美光研发边缘推理内存 EIM,降低数据处理延迟并提高带宽》(https://www.ithome.com/1/014/419.htm)

原文:https://www.rainbowonionai.cn/美光研发边缘推理内存-eim降低数据处理延迟并提高带宽.html

🎬 本机管线自动渲染成片(未发布,人工审片前仅供参考)

【视频脚本总览】总时长 60 秒 | 竖屏 9:16 | 口播约 320 字,前 3 秒快、中段稳、结尾急收,关键数字“十几毫秒”“数 GB”在钩子与结尾各出现一次

【分镜 1|0-3秒|黄金钩子】

画面:自动驾驶车内视角,镜头快速扫过中控芯片,猛推近景定格

口播:你车上的十几个摄像头,一秒钟吐出好几个 GB 的数据——卡住它的不是芯片算力,是内存。

字幕:卡脖子的不是算力,是内存!

【分镜 2|3-15秒|事件铺开】

画面:美光 LOGO 弹出,切芯片 3D 堆叠动画,字幕逐词跳出

口播:所有人都在云端抢显卡,美光却干了件反着的事——推出 EIM,边缘推理内存,直接把内存摞到芯片头顶上。瞄准三个市场:自动驾驶、人形机器人、AR 眼镜。

字幕:美光 EIM|内存摞在芯片上

【分镜 3|15-32秒|核心冲突】

画面:分屏对比动画,左边 PCB 长走线,右边上下两颗芯片贴合

口播:现在的内存和芯片是分开放的,数据得跑一趟又长又慢的总线,又费电又占地方。而自动驾驶只给你几十毫秒做决策,慢一步就是事故。可车载又塞不下 HBM 那种昂贵方案。怎么办?垂直堆叠,微米级的距离。

字幕:几十毫秒生死线|HBM 塞不下

【分镜 4|32-45秒|数据实证】

画面:动态柱状图,算力柱与带宽柱同步翻倍增长,中间一堵“墙”挡住

口播:这叫内存墙。行业里有条残酷法则:算力每翻一倍,内存带宽的需求也得跟着翻倍。传统内存追不上,墙就越来越高。EIM 用混合键合把距离压到微米级——带宽上去了,延迟和功耗下来了。

字幕:算力×2 = 带宽×2|内存墙

【分镜 5|45-55秒|反直觉升华】

画面:机器人转头、汽车避让的实拍混剪,最后定格在芯片特写

口播:反直觉的是:未来决定智能高低的,可能不是那颗最贵的芯片,而是这块叠在它头顶、不起眼的内存。数据不再等你搬回来,内存主动贴上去。

字幕:决定智能的,可能是内存

【分镜 6|55-60秒|互动CTA】

画面:口播人出镜,手指下方,字幕大字号弹出

口播:你觉得买车时会看这块内存吗?评论区聊聊。关注我,AI 硬件的下一个战场,我带你盯到底。

字幕:买车看内存?评论区见!

【BGM与节奏】前 3 秒重鼓点切入配“叮”音效;分镜 3 压低营造紧张感,说到“几十毫秒”处卡一拍静音;分镜 4 数据增长配上扬电子音;分镜 5 情绪推高;分镜 6 急收回原速,结尾鼓点收束

【素材清单】分镜 1:自动驾驶车内实拍;分镜 2:美光 LOGO 图 + 芯片堆叠三维动画;分镜 3:架构对比动画(传统分立 vs 垂直堆叠);分镜 4:柱状图动效素材;分镜 5:机器人与汽车实拍混剪 + 芯片特写;分镜 6:口播人出镜或数字人


来源:IT之家《美光研发边缘推理内存 EIM,降低数据处理延迟并提高带宽》(https://www.ithome.com/1/014/419.htm)

原文:https://www.rainbowonionai.cn/美光研发边缘推理内存-eim降低数据处理延迟并提高带宽.html

美光押注“物理 AI”:EIM 边缘推理内存,把 DRAM 直接摞在芯片上,专治自动驾驶和机器人的“内存焦虑” 🔥

当大模型还在云端疯狂堆显卡时,美光已经把目光投向了车轮上、机器人身上那颗必须实时做决策的芯片。物理 AI 时代,数据不再等你搬回来——内存必须主动贴上去。美光最新曝光的 EIM(Edge Inference Memory),正是一场围绕“垂直堆叠”的存储革命。


当大模型还在云端疯狂堆显卡时,美光已经把目光投向了车轮上、机器人身上那颗必须实时做决策的芯片。物理 AI 时代,数据不再等你搬回来——内存必须主动贴上去。美光最新曝光的 EIM(Edge Inference Memory),正是一场围绕“垂直堆叠”的存储革命。

过去两年,AI 的主战场毫无疑问在云端。训练 GPT 级别的模型需要数万张 GPU 协同,数据中心成了“吞电巨兽”。但 AI 的下一幕,正在从云端转向物理世界——自动驾驶汽车、人形机器人、AR/VR 头显,这些设备有一个共同的名字:物理 AI(Physical AI)。

物理 AI 与云端 AI 最大的区别在于:它必须在本地、实时地处理来自传感器洪流的数据。


📌 来源:IT之家

#美光 #EIM #物理AI

#科技资讯 #彩虹洋葱AI


来源:IT之家《美光研发边缘推理内存 EIM,降低数据处理延迟并提高带宽》(https://www.ithome.com/1/014/419.htm)

原文:https://www.rainbowonionai.cn/美光研发边缘推理内存-eim降低数据处理延迟并提高带宽.html

先说结论:EIM 的方向是对的——物理 AI 的真正瓶颈从来不是算力,是内存带宽。美光把内存直接摞到逻辑芯片头顶上,是存储厂对“内存墙”一次少见的正面回应。但混合键合的成本和良率能不能撑起量产,目前还是问号。

【配图建议:芯片特写与电路板,突出存储与计算的关系】

配图

下面展开说。

一、为什么说卡住自动驾驶的不是算力?

先看一组数据:一辆 L4 级自动驾驶汽车上,激光雷达、毫米波雷达、十几个摄像头,每秒产生的原始数据可以达到数 GB。这些数据必须在本地、实时地处理——视觉 Transformer、占据栅格网络(Occupancy Network)、BEV 感知模型,全都跑在车载 SoC 上。

行业里有一条残酷的经验法则:算力每提升一倍,对内存带宽的需求大约也要翻倍。 但传统内存架构的演进速度远远跟不上。处理器和内存之间那条 DDR 总线,就是所谓的“内存墙”(Memory Wall)——对物理 AI 来说,这是最深的瓶颈。

边缘设备的约束条件比数据中心苛刻得多:

  • 延迟:自动驾驶系统要求端到端响应在几十毫秒以内,数据搬运的任何额外延迟都可能是致命的;
  • 功耗:机器人和头显靠电池供电,内存数据搬运的能耗往往高于计算本身——注意这句话,很多人第一反应是反常识,但从 DRAM 读写每一次位翻转的能耗来看,这是成立的;
  • 空间:车载和机载设备寸土寸金,HBM 那种昂贵方案塞不进去。

三条约束同时卡死,就意味着光堆 TOPS 没用。算力是发动机,内存带宽是油路,油路供不上,发动机再强也白搭。

二、EIM 到底做了什么?

美光对 EIM(Edge Inference Memory,边缘推理内存)的定位很明确:面向物理 AI 的专用存储芯片,瞄准自动驾驶、人形机器人、AR/VR 三大市场。

核心技术思路四个字:垂直堆叠。EIM 把低功耗内存直接堆叠在逻辑芯片(SoC/ASIC)之上,通过混合键合(Hybrid Bonding)或类似 3D 堆叠工艺,实现微米级的超短互连。

对比一下传统架构就明白了:过去 SoC 和 LPDDR 是同一块 PCB 上的两个分立芯片,中间隔着 PCB 走线和 DDR 接口,数据要走“长途”。而现在内存就在芯片头顶上,互连距离从厘米级压到微米级。

为什么这样就能带宽↑、延迟↓、功耗↓?物理原因很直接:互连距离越短,信号传输的寄生损耗越小,单位能耗能搬动的数据越多,延迟自然也越低。当内存搬运的能耗往往高于计算本身时,把搬运距离砍掉几个数量级,省下来的功耗是实打实的。对靠电池跑的机器人和头显,这可能就是续航和发热的分水岭。

【配图建议:传统分立架构与垂直堆叠架构的对比示意图】

三、反直觉的一点

现在 AI 竞赛的焦点全在云端:训练 GPT 级别的模型要数万张 GPU 协同,数据中心成了吞电巨兽。所有人的目光都盯着云端 GPU 的军备竞赛。

但物理 AI 的落地卡点,很可能不在云端算力,而在边缘存储。数据不再等你搬回来——内存必须主动贴上去。美光作为存储厂,跳出“更大更快更便宜的 DRAM”这条传统路线,去重构边缘侧的内存-计算互连方式,这个判断我认为是对的:EIM 不是挤牙膏式的产品迭代,而是对架构问题本身的回应。

当然, skepticism 也要保留:原文没有给出 EIM 的具体带宽、容量、量产时间和合作客户。方向正确和产业落地之间,隔着的是混合键合工艺的成本和良率——这是 3D 堆叠路线绕不开的坎。

最后留个问题:混合键合的成本和良率,能不能让 EIM 从车规级一路下探到消费级的人形机器人和 AR/VR 头显?还是说它会像很多车规技术一样,长期停留在“高端专属”?评论区聊聊你的判断。

来源:IT之家《美光研发边缘推理内存 EIM,降低数据处理延迟并提高带宽》(https://www.ithome.com/1/014/419.htm)

原文:https://www.rainbowonionai.cn/美光研发边缘推理内存-eim降低数据处理延迟并提高带宽.html

内存摞上芯片顶!美光推出EIM边缘推理内存,专治自动驾驶和机器人的“内存焦虑”

一辆L4级自动驾驶汽车,激光雷达、毫米波雷达加十几个摄像头,每秒吐出的原始传感器数据可达数GB。更要命的是,行业有个残酷的经验法则:算力每提升一倍,内存带宽需求大约也要翻倍。算力在狂奔,那条连接处理器和内存的DDR总线却追不上了——这就是卡住物理AI脖子的“内存墙”。

配图

就在大模型厂商还在云端疯狂堆显卡时,美光把目光转向了车轮上、机器人身上那颗必须实时做决策的芯片。它最新曝光的EIM(Edge Inference Memory,边缘推理内存),打法就四个字:垂直堆叠。

【配图建议:自动驾驶汽车多传感器数据流示意场景】

为什么云端那套方案,搬到车上就失灵?

物理AI和云端AI最大的区别,是它必须在本地、实时地处理传感器洪流。视觉Transformer、占据栅格网络(Occupancy Network)、BEV感知模型的推理需求,让车载SoC算力逐年翻倍——但每一个TOPS都需要内存带宽来喂养,算力从来不是孤立工作的。

而边缘设备还顶着三重约束:

延迟:自动驾驶系统要求端到端响应在几十毫秒以内,数据搬运的任何额外延迟都可能致命。 功耗:机器人和AR/VR头显靠电池供电,内存数据搬运的能耗往往高于计算本身。 空间:车载和机载设备寸土寸金,HBM那种方案根本塞不进去。 配图

云端可以堆电、堆散热、堆HBM,车轮上一样都不行。

EIM怎么做:把内存直接摞到逻辑芯片头顶上

传统架构里,LPDDR内存和SoC是“邻居”关系——同板分立,靠PCB走线加DDR接口做长距离互连。数据每跑一趟,延迟、功耗、占用空间全都要付账。

EIM换了一种结构:把低功耗内存直接堆叠在逻辑芯片(SoC/ASIC)之上,通过混合键合(Hybrid Bonding)或类似3D堆叠工艺实现微米级的超短互连。原本横跨整块电路板的数据搬运路线,被压缩成芯片内部一层楼的高度。带宽上去了,延迟降下来了,搬运能耗也跟着往下走,还省出了宝贵的板级空间。

【配图建议:芯片3D垂直堆叠结构特写示意图】

用一句话概括:云端时代是“数据等你搬回来”,物理AI时代是“内存必须主动贴上去”。

瞄准三大市场,赌的是物理AI的下一幕

美光对EIM的定位非常明确:面向物理AI的专用存储芯片,瞄准自动驾驶、人形机器人、AR/VR三大市场。这三个场景有同一个共性——没有云端兜底,决策必须发生在本地芯片上,而本地芯片最缺的就是带宽和功耗余量。

过去两年,训练GPT级别模型需要数万张GPU协同,数据中心成了吞电巨兽,所有人的注意力都在云端。但AI的下一幕正在从云端转向物理世界,谁先解决边缘侧的内存瓶颈,谁就卡住了下一代AI硬件的位置。

你怎么看:EIM这种垂直堆叠方案,会不会成为未来自动驾驶芯片的标配?评论区聊聊。

来源:IT之家《美光研发边缘推理内存 EIM,降低数据处理延迟并提高带宽》(https://www.ithome.com/1/014/419.htm)

原文:https://www.rainbowonionai.cn/美光研发边缘推理内存-eim降低数据处理延迟并提高带宽.html

一辆 L4 自动驾驶车,激光雷达+毫米波雷达+十几个摄像头,每秒吐出数 GB 原始数据。但真正的瓶颈不是算力,是内存——DDR 总线这条“路”已经堵死。

美光给出新答案:EIM 边缘推理内存。思路简单粗暴——不搬运了,直接把低功耗 DRAM 垂直堆叠在逻辑芯片头顶上,用混合键合实现微米级超短互连。带宽上去,延迟和功耗一起下来。这是“把内存从隔壁搬到头顶”。

自动驾驶端到端响应必须在几十毫秒内,电池供电的机器人搬运数据的能耗常常比计算本身还高,HBM 又贵又塞不进车载空间。EIM 瞄准的正是自动驾驶、人形机器人、AR/VR 这三大物理 AI 市场。

问题来了:HBM 占云端,EIM 下车内,谁笑到最后?#美光# #自动驾驶# #芯片#


来源:IT之家《美光研发边缘推理内存 EIM,降低数据处理延迟并提高带宽》(https://www.ithome.com/1/014/419.htm)

原文:https://www.rainbowonionai.cn/美光研发边缘推理内存-eim降低数据处理延迟并提高带宽.html

🎬 本机管线自动渲染成片(未发布,人工审片前仅供参考)

📺 B站视频脚本 | 时长:3-5分钟

【片头 0:00-0:15】BGM起 → 标题字幕弹出

美光押注“物理 AI”:EIM 边缘推理内存,把 DRAM 直接摞在芯片上,专治自动驾驶和机器人的“内存焦虑”

【引子 0:15-0:45】制造悬念

当大模型还在云端疯狂堆显卡时,美光已经把目光投向了车轮上、机器人身上那颗必须实时做决策的芯片。物理 AI 时代,数据不再等你搬回来——内存必须主动贴上去。美光最新曝光的 EIM(Edge Inference Memory),正是一场围绕“垂直堆叠”的存储革命。

【时间轴分镜】

├ [00:02] 当大模型还在云端疯狂堆显卡时,美光已经把目光投向了车轮上、机器人身上那颗必须实时做决策的芯片。物理 AI 时代,数据不再等你搬回来——内存必须主动贴上去。美光最……

├ [02:04] 过去两年,AI 的主战场毫无疑问在云端。训练 GPT 级别的模型需要数万张 GPU 协同,数据中心成了“吞电巨兽”。但 AI 的下一幕,正在从云端转向物理世界—……

├ [04:06] 物理 AI 与云端 AI 最大的区别在于:它必须在本地、实时地处理来自传感器洪流的数据。……

├ [06:08] 一辆 L4 级自动驾驶汽车上,激光雷达、毫米波雷达、十几个摄像头每秒产生的原始数据可达数 GB。视觉 Transformer、占据栅格网络(Occupancy ……

├ [08:10] 行业里有一个残酷的经验法则:算力每提升一倍,对内存带宽的需求大约也要翻倍。然而传统内存架构的演进速度远远跟不上。这就是所谓“内存墙”(Memory Wall)问……

├ [结尾] 总结 + 求三连关注

【弹幕互动引导】

  • "觉得有用的扣 1"
  • "不同观点的弹幕见"
  • 结尾设置投票:你看好这个方向吗?A.看好 B.观望 C.不看好

🏷️ 标签:美光, EIM, 物理AI


来源:IT之家《美光研发边缘推理内存 EIM,降低数据处理延迟并提高带宽》(https://www.ithome.com/1/014/419.htm)

原文:https://www.rainbowonionai.cn/美光研发边缘推理内存-eim降低数据处理延迟并提高带宽.html

【视频脚本总览】总时长 45-60 秒 | 竖屏 9:16 | 美光把内存直接摞到芯片头顶上,专治自动驾驶的“内存焦虑”

【分镜 1|0-3秒|利益点开场】

画面:行车记录仪视角的城市道路快切,突然急刹

口播:坐自动驾驶的车,几十毫秒之内系统反应慢了,就可能出事。卡脖子的不是算力,是内存搬数据太慢。

字幕:自动驾驶生死线:几十毫秒

【分镜 2|3-30秒|正文讲清】

画面:手机动画演示——芯片在下面,内存一层层摞上去

口播:一辆 L4 级自动驾驶的车,激光雷达、毫米波雷达、十几个摄像头,一秒产生好几个 G 的数据。而且算力每翻一倍,内存带宽也得翻一倍,这就是行业说的“内存墙”。云端堆显卡无所谓,车里塞不下 HBM 那种贵货。美光的新招叫 EIM,边缘推理内存:把低功耗内存直接摞在芯片头顶,用混合键合工艺做微米级的超短互连。数据不用再跑长途,带宽上去、延迟下来、还省电。机器人、AR/VR 头显这些靠电池的设备,同样吃这一套。

字幕:内存摞到芯片上:带宽↑ 延迟↓ 功耗↓

【分镜 3|30-45秒|实在收尾】

画面:博主对镜头,背景切机器人、头显画面

口播:云计算再猛,车轮上、机器人身上的决策必须当场做完,这就是美光押注的物理 AI。问题来了——技术上你敢坐全自动驾驶的车吗?评论区说说。

字幕:你敢坐无人驾驶吗?评论区聊

【BGM与节奏】前 3 秒用紧张感鼓点配合急刹音效;正文段切轻快电子乐,讲到“摞上去”时配叠层动画卡点;收尾放缓,留互动呼吸感。全片口播短句为主,每 5 秒一个信息点。

【素材清单】

1. 城市道路行车记录仪实拍/授权素材(开场急刹)

2. 【配图建议:芯片堆叠分层动画——底层 SoC,上层内存,中间微米级互连】

3. 【配图建议:激光雷达+摄像头扫车的传感器数据流动画,标注“每秒数 GB”】

4. 人形机器人、AR/VR 头显实拍空镜

5. 博主出镜口播画面(收尾互动)


来源:IT之家《美光研发边缘推理内存 EIM,降低数据处理延迟并提高带宽》(https://www.ithome.com/1/014/419.htm)

原文:https://www.rainbowonionai.cn/美光研发边缘推理内存-eim降低数据处理延迟并提高带宽.html

美光 EIM 曝光:把 DRAM 直接摞到芯片头顶上,专治自动驾驶和机器人的“内存墙”

一、先看一组扎心的数字

一辆 L4 级自动驾驶汽车上,激光雷达、毫米波雷达加十几个摄像头,每秒产生的原始数据可达数 GB。而系统必须在几十毫秒内完成端到端响应——这不是跑分,是生死线。

更残酷的是行业的经验法则:算力每提升一倍,对内存带宽的需求大约也要翻倍。过去两年,车载 SoC 的 TOPS 确实在逐年翻倍,但处理器和内存之间那条 DDR 总线,还堵在原地。这就是“内存墙”(Memory Wall)——物理 AI 当下最深的瓶颈。

当所有人还在讨论训练 GPT 级别模型需要数万张 GPU 协同的云端军备竞赛时,美光把赌注押在了车轮和机器人身上。它曝光的 EIM(Edge Inference Memory,边缘推理内存),是一款面向物理 AI 的专用存储芯片,瞄准自动驾驶、人形机器人、AR/VR 三大市场。

【配图建议:L4 自动驾驶汽车传感器布局特写,体现多路摄像头与雷达】

二、EIM 的机制拆解:垂直堆叠,四个字

EIM 的核心技术思路可以概括为四个字:垂直堆叠。

具体做法是:将低功耗内存直接堆叠在逻辑芯片(SoC/ASIC)之上,通过混合键合(Hybrid Bonding)或类似 3D 堆叠工艺,实现微米级的超短互连。

对比传统架构,差异一目了然:

| 维度 | 传统架构 | EIM |

|---|---|---|

| 互连方式 | PCB 走线 + DDR 接口,长距离 | 混合键合,微米级 |

| 延迟 | 数据搬运延迟高 | 互连距离缩短,延迟下降 |

| 功耗 | 内存搬运能耗往往高于计算本身 | 互连更短,搬运能耗下降 |

| 空间 | 内存与 SoC 分立占板面积 | 垂直叠放,节省空间 |

为什么“互连距离”是关键变量?因为在边缘设备上,数据搬运本身就是最大的能耗项——原文说得很直白:内存数据搬运的能耗往往高于计算本身。你花大价钱堆出来的 TOPS,可能一半以上的功耗预算被“把数据从内存搬到计算单元”这件事吃掉了。传统架构里,数据要经过 PCB 走线和 DDR 接口跑一整段“长途”;EIM 把这段路压缩到微米级,单位比特的搬运成本随之下降,带宽还因并行互连密度提升而上去了。

那为什么不用 HBM?因为 HBM 那样昂贵的方案,在寸土寸金的车载和机载设备里根本塞不进去。EIM 可以理解为:吸收 HBM“靠近逻辑芯片”的思路,但换成面向边缘的低功耗内存形态。

三、如果你的场景是物理 AI,评估架构时看什么

原文没有给出 EIM 的容量、带宽、量产时间和客户名单,所以这一节不谈选型结论,只谈评估维度。等 EIM 这类产品细节公开时,你可以按下面四步走:

1. 先算清带宽账:用你自己模型的每层激活值搬运量,对照“算力翻倍→带宽需求翻倍”这条法则,推算目标算力下真正需要的内存带宽,而不是只看 TOPS 参数表。

2. 量化延迟预算:把几十毫秒的端到端响应拆到感知、推理、决策各环节,算出留给“数据搬运”的份额——DDR 总线路径和垂直堆叠路径的差距,就藏在这份预算里。

3. 按带宽/功耗比评估,而不是裸带宽:边缘设备靠电池供电,同样带宽下功耗更低、或同样功耗下带宽更高的方案才值得迁移。

4. 评估空间收益:对比分立 LPDDR + SoC 与堆叠方案占用的板面积,车载和头显场景里这可能直接决定能否落地。

四、这件事的更大图景

物理 AI 与云端 AI 最大的区别在于:它必须在本地、实时地处理传感器洪流的数据。云端可以“把数据搬回来慢慢算”,车轮上不行——数据不等你。

所以 EIM 的意义不只是美光多了一款产品,而是存储行业路线的一次表态:当数据不再等你搬回来,内存就必须主动贴上去。对做自动驾驶、机器人、AR/VR 的开发者来说,未来一段时间值得持续关注 EIM 后续公开的具体规格,以及它在带宽、延迟、功耗上相对 LPDDR 分立方案的真实收益数据。

一句话带走:在物理 AI 时代,评判一颗芯片,别只问它有多少 TOPS——先问数据要走多远才能碰到内存。


来源:IT之家《美光研发边缘推理内存 EIM,降低数据处理延迟并提高带宽》(https://www.ithome.com/1/014/419.htm)

原文:https://www.rainbowonionai.cn/美光研发边缘推理内存-eim降低数据处理延迟并提高带宽.html

美光 EIM:把内存摞到 SoC 头顶上,专治边缘推理的“内存墙”

云端在堆数万张 GPU 训练 GPT 级模型,车轮上那颗芯片却在为一根 DDR 总线发愁。美光最新曝光的 EIM(Edge Inference Memory,边缘推理内存),答案是直接把内存垂直摞在逻辑芯片上。做边缘 AI 部署的开发者,这件事值得你停下来看五分钟。

【配图建议:自动驾驶汽车传感器视角,体现多摄像头与雷达数据洪流】

一、为什么值得开发者关注

如果你做过端侧推理优化,大概率经历过这种场景:模型算子都 fusion 了,量化也上了,帧率还是上不去。这时候瓶颈往往不在算力,而在数据搬运路径。

先看物理 AI 的数据侧压力。一辆 L4 级自动驾驶汽车,激光雷达、毫米波雷达、十几个摄像头每秒产生的原始数据可达数 GB。跑的还不是简单 CNN——视觉 Transformer、占据栅格网络(Occupancy Network)、BEV 感知模型,每一个都是带宽大户,车载 SoC 的算力需求逐年翻倍。

但算力从来不是孤立工作的。行业里有个残酷的经验法则:算力每提升一倍,对内存带宽的需求大约也要翻倍。而传统内存架构的演进速度远远跟不上,这条处理器与内存之间的 DDR 总线,就是所谓的“内存墙”(Memory Wall)。

边缘场景还叠了三重约束,让云端方案根本搬不下来:

  • 延迟:自动驾驶要求端到端响应在几十毫秒以内,数据搬运的任何额外延迟都可能是致命的;
  • 功耗:机器人和 AR/VR 头显靠电池供电,内存数据搬运的能耗往往高于计算本身;
  • 空间:车载和机载设备寸土寸金,HBM 那样的方案塞不进去。

算力在涨,带宽追不上,路还窄——这就是 EIM 要解决的问题。

二、技术拆解:垂直堆叠 + 混合键合

EIM 的定位很明确:面向物理 AI 的专用存储芯片,瞄准自动驾驶、人形机器人、AR/VR 三大市场。

核心技术思路四个字:垂直堆叠。EIM 将低功耗内存直接堆叠在逻辑芯片(SoC/ASIC)之上,通过混合键合(Hybrid Bonding)或类似 3D 堆叠工艺实现微米级超短互连。

对比一下传统架构就明白差异在哪:

传统架构:SoC 和 LPDDR 分立在 PCB 上,数据要穿过 PCB 走线 + DDR 接口走“长距离通勤”。结果是延迟高、功耗大,而且这条路的天花板基本锁死了带宽上限。 EIM 架构:内存层在上、逻辑层在下,中间是微米级的混合键合互连。数据搬运距离从“几厘米的 PCB 走线”缩短到微米级——物理距离砍掉几个数量级,带宽上去了,延迟和搬运功耗也跟着下来。

【配图建议:左右对比示意图,左侧 SoC 与 LPDDR 分立布局,右侧内存层直接堆叠在逻辑芯片上方】

从生态位看,这是一次很聪明的卡位:云端 HBM 解决了训练侧的带宽问题,但 HBM 的成本和封装尺寸决定了它下不了车。EIM 相当于在“性能不够的 LPDDR”和“塞不进去的 HBM”之间,为边缘推理专门开了一个新品类。

三、对日常开发的启示

1. 性能分析的重心要迁移。端侧部署时,别只盯着算力利用率,把 profiling 的一半精力放到内存带宽和功耗上——“算力翻倍、带宽需求翻倍”这条法则会越来越频繁地成为你的第一瓶颈。

2. 数据搬运路径是设计变量,不是常量。EIM 把 DDR 总线换成微米级互连,本质上是在硬件层面优化数据搬运路径。软件侧同理:选择推理框架和部署方案时,把“数据从哪来、走多远、搬几次”纳入评估维度。

3. 关注新硬件的生态窗口期。自动驾驶、人形机器人、AR/VR 是 EIM 明确瞄准的三个市场,意味着端侧推理的算力/带宽配比可能被重新定义。现在做模型结构设计(比如对带宽友好的注意力变体),未来换到这类堆叠内存硬件上会有天然优势。

一句话带走:当数据不再等你搬回来,内存就必须主动贴上去——做边缘 AI 的你,衡量系统的尺子也该从 TOPS 换成带宽和搬运能耗了。


来源:IT之家《美光研发边缘推理内存 EIM,降低数据处理延迟并提高带宽》(https://www.ithome.com/1/014/419.htm)

原文:https://www.rainbowonionai.cn/美光研发边缘推理内存-eim降低数据处理延迟并提高带宽.html

美光EIM是什么?把内存摞到芯片头顶上,专治自动驾驶的“内存焦虑”

美光最新曝光的 EIM(Edge Inference Memory,边缘推理内存),是一款专为物理 AI 设计的存储芯片:它用垂直堆叠工艺,把低功耗内存直接摞在逻辑芯片上方,用混合键合实现微米级超短互连,瞄准自动驾驶、人形机器人、AR/VR 三大市场。 配图

听懂这句话,你就抓住了下一代边缘 AI 硬件的关键一环。下面拆开讲。

为什么车轮上的 AI 比云端更“饿”?

过去两年,AI 的主战场在云端——训练 GPT 级别的模型需要数万张 GPU 协同。但 AI 的下一幕正在转向物理世界:自动驾驶汽车、人形机器人、AR/VR 头显,这些设备的共同名字叫物理 AI,它们必须在本地、实时地处理传感器数据。

数据量有多大?一辆 L4 级自动驾驶汽车上,激光雷达、毫米波雷达、十几个摄像头,每秒产生的原始数据可达数 GB。视觉 Transformer、占据栅格网络、BEV 感知模型的推理需求,让车载 SoC 的算力逐年翻倍。

问题在于,行业有一条残酷的经验法则:算力每提升一倍,对内存带宽的需求大约也要翻倍。 而处理器与内存之间那条 DDR 总线的演进速度远远跟不上——这就是“内存墙”问题,它正在成为物理 AI 最深的瓶颈。

边缘设备的三大死穴,EIM 一个个解

物理 AI 设备和数据中心不一样,它对三件事极度敏感:

  • 延迟:自动驾驶系统要求端到端响应在几十毫秒以内,数据搬运的任何额外延迟都可能致命;
  • 功耗:机器人和头显靠电池供电,内存数据搬运的能耗往往高于计算本身;
  • 空间:车载设备寸土寸金,装不下 HBM 那样昂贵的方案。
配图

【配图建议:自动驾驶汽车与激光雷达传感器特写】

EIM 的解法:垂直堆叠,缩短互连距离

传统架构里,SoC 和 LPDDR 内存分开躺在同一块 PCB 上,数据要走一段“远路”,延迟高、功耗大。

EIM 换了个思路——垂直堆叠。它把低功耗内存直接堆叠在逻辑芯片(SoC/ASIC)之上,通过混合键合(Hybrid Bonding)或类似的 3D 堆叠工艺,实现微米级的超短互连。

距离短了,意味着带宽更容易做上去、延迟降下来、搬运数据的功耗也跟着下降——正好对应上面三大死穴。这也是它区别于传统分立内存方案的核心价值。

【配图建议:芯片 3D 堆叠结构示意】

总结:数据不再等你搬回来

当大家还在讨论云端堆多少张卡时,美光已经把赌注押在了车轮上和机器人身上。物理 AI 时代的逻辑很简单:数据不再等你搬回来,内存必须主动贴上去。EIM 就是这个判断的落地产品。

如果你关注自动驾驶或机器人产业链,值得把“边缘推理内存”这个词记下来——内存墙能不能被绕开,可能决定下一波物理 AI 产品落地的速度。


来源:IT之家《美光研发边缘推理内存 EIM,降低数据处理延迟并提高带宽》(https://www.ithome.com/1/014/419.htm)

原文:https://www.rainbowonionai.cn/美光研发边缘推理内存-eim降低数据处理延迟并提高带宽.html

【配图建议:一辆自动驾驶汽车行驶在城市街道上的画面】

凌晨两点的十字路口,一辆 L4 级自动驾驶汽车正在做决定。十几个摄像头、一台激光雷达、几个毫米波雷达,每秒钟朝它涌来数 GB 的原始数据。而留给它的反应时间,只有几十毫秒。刹车,还是不刹车。

配图

这个问题背后藏着一个大多数人不曾留意的东西:内存。

我这两天一直在琢磨美光刚曝光的 EIM——Edge Inference Memory,边缘推理内存。说实话,第一眼看到这个名字时,我以为又是一个营销概念。直到我把它的技术思路看完,才意识到这可能是一场真正值得关注的变革。

先说说我们熟悉的 AI 是什么样。过去两年,AI 的主战场在云端,训练 GPT 级别的模型需要数万张 GPU 协同工作,数据中心成了吞电的巨兽。我们习惯了这样的叙事:算力就是一切,显卡就是未来。

但车轮上、机器人身上、AR/VR 头显里那颗芯片,玩的完全是另一套规则。

【配图建议:机器人手臂或头显设备的特写】

这里有行业里一条残酷的经验法则:算力每提升一倍,对内存带宽的需求大约也要翻倍。车载 SoC 的算力确实在逐年翻倍——视觉 Transformer、占据栅格网络、BEV 感知模型,一个比一个能吃。可问题在于,每一个 TOPS 都需要内存带宽来喂养,而传统内存架构的演进速度,远远跟不上。

于是就有了那个著名的名词:内存墙。处理器与内存之间的那条 DDR 总线,正在成为物理 AI 最深的瓶颈。

更麻烦的是边缘设备的三重夹击。延迟上,自动驾驶要求端到端响应在几十毫秒以内,任何数据搬运的额外延迟都可能致命;功耗上,机器人和头显靠电池活着,内存数据搬运的能耗往往比计算本身还高;空间上,车载设备寸土寸金,根本塞不进 HBM 那种数据中心里的方案。

这就是 EIM 存在的理由。

美光的思路可以浓缩成四个字:垂直堆叠。把低功耗内存直接摞在逻辑芯片——SoC 或 ASIC——的头顶上,通过混合键合或类似的 3D 堆叠工艺,把互连距离缩短到微米级。不再是 PCB 走线上的长途跋涉,而是一层楼板之下的垂直电梯。

数据不用再等你搬回来。内存主动贴了上去。带宽升,延迟降,功耗降——三个物理 AI 最痛的点,被同一种结构回应。

EIM 瞄准的是三个市场:自动驾驶、人形机器人、AR/VR。这三个场景的共同点在于,数据在本地产生,也必须在本地实时处理。物理世界不会给你上传云端再等回复的时间。

写到这里,我忽然想起开头那个十字路口的画面。那辆车每秒接收数 GB 数据、在几十毫秒内做出判断的能力,未来可能就取决于一块内存芯片是放在芯片“旁边”,还是叠在芯片“头顶”。

技术上这只是一个封装位置的改变。但对正在驶向物理 AI 时代的整个产业来说,位置,就是命运。

下一次看到一辆自动驾驶汽车平稳地穿过路口,或许可以想一想:在它的那颗芯片里,有几千条微米级的互连,正在安静地搬运着决定一切的数据。


来源:IT之家《美光研发边缘推理内存 EIM,降低数据处理延迟并提高带宽》(https://www.ithome.com/1/014/419.htm)

原文:https://www.rainbowonionai.cn/美光研发边缘推理内存-eim降低数据处理延迟并提高带宽.html

🚀 多平台发布

点击「复制」获取平台专属文案,到各平台编辑器(App/网页)粘贴即可发布。
有密钥的 4 个平台(微信服务号 / 头条 / 百家号 / 微博)可自动发布,密钥填好后自动点亮。

平台状态操作
💬 公众号🔑 待配置密钥
🎵 抖音📋 手动复制
📕 小红书📋 手动复制
🤔 知乎📋 手动复制
📰 今日头条🔑 待配置密钥
🐦 微博🔑 待配置密钥
📺 B站📋 手动复制
⚡ 快手📋 手动复制
💻 CSDN📋 手动复制
⛏️ 掘金📋 手动复制
📝 百家号🔑 待配置密钥
✍️ 简书📋 手动复制