客服电话:400-181-1900

在线客服
  • | 注册
  • 购物车 {{size}}
    您的购物车为空,请选择您要购买的型号
    商品型号 供应商 单价(13%) 数量 小计 操作
    {{item.model}} {{item.brand}}

    {{item.price}}

    {{item.qty}}

    {{item.qty * item.price|numFilter}}

  • 个人中心

网络边缘AI的要求

2019-02-21 10:59:12

AI涉及创造一个工作流程的训练模型。然后该模型在某个应用中对现实世界的情况进行推理。因此,AI应用有两个主要的生命阶段:训练和推理。

训练是在开发过程中完成的,通常在云端进行。推理作为一项持续进行的活动,则是通过部署的设备完 成。因为推理涉及的计算问题会非常复杂,目前大部分都是在云端进行。但是做决策的时间通常都十分有限。向云端传输数据然后等待云端做出决策非常耗时。等到做出决策,可能为时已晚。而在本地做决策则能节省那宝贵的几秒钟时间。

这种实时控制的需求适用于需要快速做出决策的诸多领域。例如人员侦测:

?

其他实时在线的应用包括:

?

在快速决策这种需求的推动下,目前将推理过程从云端转移到“网络边缘”的诉求异常强烈——即在设备上收集数据然后根据AI决策采取行动。这将解决云端不可避免的延迟问题。

本地推理还有两个好处。第一个就是隐私安全。数据从云端来回传输,以及储存在云端,容易被入侵和盗取。但如果数据从未到达设备以外的地方,出现问题的几率就小得多。

另一个好处与网络带宽有关。将视频传送到云端进行实时处理会占用大量的带宽。而在本地做决策则能省下这部分带宽用于其他要求较高的任务。

此外:

这类设备通常都是使用电池供电——或者,如果是电源直接供电,两者都有散热限制,从而给设备的持续使用造成限制。而与云端通信的设备需要管理自身的功耗的散热问题。

AI模型演化速度极快。在训练始末,模型的大小会有极大差异,并且在进入开发阶段以前,可能无法很好地估算所需计算平台的大小。此外,训练过程发生的细微改变就会对整个模型造成重大影响,增加了变数。所有这些使得网络边缘设备硬件大小的估计变得尤为困难。

在为特定设备优化模型的过程中,始终伴随着权衡。 这意味着模型在不同的设备中可能以不同的方式运行。

最后,网络边缘中的设备通常非常小。这就限制了所有AI推理设备的大小。

由此我们总结出以下关于网络边缘推理的几点重要要求:

用于网络边缘AI推理的引擎必须:功耗低,非常灵活,拓展性强,尺寸小,莱迪思的sensAI能让你开发出完全具备以上四个特征的推理引擎。它包含了硬件平台、软IP、神经网络编译器、开发模块和开发资源,能够助您迅速开发理想中的设计。

扫描关注蚂蚁芯城

了解更多资讯,欢迎致蚂蚁芯城全国统一销售热线:400-181-1900