k8凯发推荐正在推动芯片设计的极限，尽管这些设备最终需要多少原始马力才能提供增强现实，虚拟和混合现实的沉浸式融合存在不确定性。
开发这些系统的最大挑战是在数据以闪电般的速度不间断移动的同时实时处理混合数据类型的能力。这需要系统的集成。无缝操作将需要芯片级及更高级别的进步。
第一，处理器必须具有足够的功率以避免信号的跳跃。同时，系统的架构必须不会过快耗尽电池电量。实现这种平衡需要混合处理元素，其中许多元素需要针对特定任务和数据类型进行定制设计，并具有优先数据路径，以便将数据快速移动到需要的地方。
第二，耳机必须运行时候散热要做好，才能长时间佩戴在脸部旁边。如果屏幕长时间处于活动状态，智能手机可能会变得太热而无法舒适地握持。戴在脸上的设备即使计算量可能要高得多但在热量方面需要比手机更低。
第三，来回移动图像和视频数据需要大量带宽。这通常可以通过家庭或办公室等固定环境中的高速无线连接来实现。但在移动应用中，这些设备可能正在搜索信号，因为承载这些信号所需的更高频率很容易被从天气或其他移动物体等事物中断。
第四，架构需要足够灵活，以适应通信协议和其他仍在发展的标准的变化，这需要一定程度的可编程性。如果操作不当，可能会影响性能。在软件中进行这些更改可能会大大降低系统速度，需要更多的处理，这反过来会产生更多的热量。
cadence的amol borkar 表示，满足所有这些要求的设备需要“硬件和效率的发展” 。“这个领域仍处于初期阶段，大多数是以当今的电池供电耳机为原型。该设备可能具有与现代智能手机相同的计算能力，但考虑到靠近用户的面部，功率曲线需要低得多。我会假设散热也是如此。”
“我们认为元宇宙可以增强手机的功能，” arm家庭市场部主管 pablo fraile 说。“这项技术可以采取许多可穿戴的方向。ar 和 vr 是该系列的一个极端，每个极端的限制都非常不同。我们还考虑将元宇宙部署在不同的环境中——家庭、办公室、车外或车内——因此连接性将是绝对必要的。这种连接不仅在用户和网络之间，而且在人们随身携带的不同设备之间，因为你可能同时拥有不同的可穿戴设备。”
远大的愿景，大量的芯片
一个普遍的看法是，元宇宙主要用于游戏或社交媒体的动画 3d 版本。但它可能在工业和企业应用中具有更广泛的用途，而且每一种都有非常不同的技术要求和芯片架构。
台积电北美总裁兼首席执行官dave keller在最近的一次演讲中提到了元宇宙，并指出 ar 已经被其客户和内部广泛用于培训。“在居家期间，我们使用 hololens 与我们在美国和欧洲的设备供应商进行远程合作，”他补充说元宇宙将更进一步。“去年，元宇宙让每个人都在讨论将真实和虚拟融合到数字时代。这将需要 5g 、云和边缘计算。”
它还需要大量的电力。“你将需要大约 1,000 倍的计算能力才能生活在虚拟世界中，”英飞凌电源和传感器系统部门总裁 adam white 说。他说，对于 ar/vr，最大的问题是如何产生足够的能量来让这一切正常工作。
“k8凯发推荐的服务器还不能处理虚拟世界，”英飞凌美洲销售、营销和分销高级副总裁 shawn slusser 说。“整个传感器，物联网类型的环境，必须馈入元宇宙。这就像一个生态系统，而那个生态系统还没有建立起来。这将需要一些时间。”
arm的fraile 同意这一观点。“我们必须经历一个学习阶段，无论是在如何使用这些东西以及如何构建它们方面，”他说。“这并不是说挑战比我们以前见过的任何事情都要大。但这是非常难以组合的技术。让这些东西同步并看起来很逼真将是一项艰巨的工作。这不仅仅是关于连接性。它还涉及数据管理和数据压缩。在某种程度上，所有这些技术仍然需要出现，并且在这些领域有大量的研究。”
所有这一切都包括大量的半导体产品，其中许多将是高度定制的。
“一旦这开始建立一个合理规模的市场，那么你就会开始看到越来越多的元宇宙专用的创新，”rambus 的 woo 说。“你可以在智能手表上看到这一点，它们现在属于自己的类别，并保证了自己独特的发展。当找到合适的应用程序并且越来越多的人开始用它解决问题时，就会在 ar 和 vr 中看到同样的情况。对于这种实施，内存将是一个巨大的挑战。”
集成这些设备以便它们能够顺畅地交换信息增加了另一个挑战。虽然最初这将建立在现有通信基础设施和方法的基础上，但随着跨有线和无线基础设施的数据量激增，它将以新的方式强调这些系统。
自 28nm 节点以来，ar/vr 开发人员一直在等待处理器以足够低的功耗提供足够的性能，从而实现这一目标。随着时间的推移，计算架构发生了巨大的变化。因此，这个市场上的最大玩家不再只是等待 5nm 或 3nm 处理器，而是正在设计自己的芯片来优先考虑数据流，使用包含某种形式的 ai、更快的 i/o 以及一些高级节点计算元素。
元宇宙对设备的处理和分辨率也有要求。“我们谈论的是两种显示驱动器，4k x 4k，” synopsys产品营销高级总监 hezi saar 说。“就频率而言，它们应该具有高比特率、rgb 30 位、最低 90 hz。所以你每只眼睛每秒看到的大约为 40 或 50 吉比特。这提供了非常高的分辨率，并且不会产生任何眩晕或类似的情况。用户需要摄像头来查看环境、连接到 xr 处理器以及连接到显示驱动程序。”
saar指出，该领域的大部分创新可能来自可以集成许多功能的 xr 加速器。“连接外部世界或摄像头的 xr 加速器对摄像头进行插值，从电影或游戏中获取信息，或者从 xr 处理器中获取信息，并将其叠加到其中。这是一个重型 xr 加速 soc，为此我们确实看到了与此相关的设计。它们需要非常低功耗的 usb、mipi 接收器、相机发射器和多个显示端口。低功耗很重要。热量是个问题。功耗永远是个问题。但我们确实看到市场在向前发展。”
其中许多芯片将针对特定环境或用例进行定制，并且大多数在该领域争夺领导地位的公司都在设计自己的芯片来完成繁重的工作。例如，在 meta 的案例中，该公司选择了3d-ic，因为它表示增强现实的计算强度不会像虚拟现实那样高，因为虚拟现实的整个背景必须不断刷新。因此，阻碍全 3d-ic 采用的热问题将不是主要因素，信号需要传输的距离将更短，电阻和电容更小。
充满未知的机会
与大多数新的市场机会一样，元宇宙是一个具有非进化意义的进化概念。它的缺乏定义大致相当于边缘计算的概念，大多数芯片制造商认为这是一个宽泛的机会，但需要近十年的时间才能展开。优势仍在建立中，目前尚不清楚谁将成为该领域的大赢家。
边缘计算也将在元宇宙中发挥不可或缺的作用，反之亦然。“今天，我们看到许多此类设备主要由头显中的显示屏、摄像头、麦克风和其他传感器组成，但所有计算通常都发生在“腰带包”或计算包中。随着时间的推移，我们将看到这一切都合并到一个独立的耳机中。此外，我们预计耳机将变得更加符合人体工程学、美观且非侵入性，”borkar 说。“我们已经习惯了我们的智能手机，当这些 ar/vr 设备成为主流时，预期的电池寿命也需要在 8 到 12 小时的类似范围内而不需要充电。如果必须经常为这些设备充电或需要随身携带移动电源，普通人不太可能会乐意使用这些设备。”
这些设备还需要可扩展的架构以及支持多核集群和多线程的能力，borkar 说。“当需要分配工作负载来解决算法的不同性能要求时，这一点很重要，”他说。“例如，你可以让轻量级 ai 网络以高 fps 实时运行，同时，另一个轻量级 ai 网络也以低得多的 fps 实时运行，然后是第三个计算量大但不经常运行或在突发模式下运行。该架构需要能够在运行时在多个集群或架构之间有效地处理这些工作负载，以便为用户提供最佳的功率和性能配置文件。”
谈到 fps，borkar 指出，创建一个不会让人眩晕的设备是一项复杂的工作。“关于刷新率有几个因素，包括显示器的刷新率、头部跟踪和渲染管道以及整体延迟。在显示方面，通常建议每个显示屏幕至少显示 1080p，刷新率为 90hz。对此，头部跟踪算法必须能够无缝且准确地跟踪用户的头部运动。当今的 slam 算法使用来自相机、imu（惯性测量单元）和其他输入的传感器融合，可以以最低相机频率（通常为 60-90 fps）准确跟踪 6dof 定位。这些算法可以进一步优化，通过仅依靠imu数据产生1khz的姿态估计值。大多数图形管道通常也以 60-90hz 的频率运行。”
“因此，为了消耗这个 1khz 的姿势信息，空间扭曲和时间扭曲的高级图像处理技术被实施来创建中间图像（不渲染全新的图像），呈现出非常快速的渲染管道。最后是延迟，通常测量为 mpt（运动到光子）延迟，或从测量的运动到它被记录在屏幕上的时间。所有这些因素结合在一起对于防止用户感到恶心很重要，”borkar 说。
synopsys 的 saar 预测，大多数与元宇宙相关的半导体将用于智能眼镜设备。他说，至少在不久的将来，这些设备可能会被用作智能手机的一种扩展。眼镜 智能手机组合的串联特性解决了元节设备的一些技术挑战。“它会将事物投射到眼睛上，这样你就可以看到你有消息或有人在打电话，设备本身可以拍摄一些照片，但仅此而已。大多数情况下，它会完全断电，然后仅在有信息时才打开。这意味着所有的计算能力都来自手机，而从手机到护目镜的连接主要是为了获取信息和图像。我认为这是一个轻量级的元宇宙。”
结论
可以肯定的是，元宇宙的底层硬件还有很多未知和不可预测的地方。arteris ipk8凯发推荐的解决方案和业务发展副总裁 frank schirrmeister指出，科技界甚至还没有就元宇宙实际是什么的基本问题达成共识。试探性的答案会导致更多的问题。“如何收集数据？如何保护数据？如何确保人们不会录制他们不想录制的东西？”
无论如何，schirrmeister 表示，元宇宙数据中心组件的优化以及为超连接构建适当的基础设施至关重要。“它不再只是向消费者提供内容的手机或设备，它可能成为更大合同的一部分，也许是更大的服务，”他说。“这可能是一个大项目，硬件，安装、建筑，软件定制，甚至在整个过程中销售数据维护。它将作为一个大捆绑项目出售，那是一个非常不同的世界。”
*声明：本文系原作者创作。文章内容系其个人观点，我方转载仅为分享与讨论，不代表我方赞成或认同，如有异议，请联系