5G+AI边缘计算~INTEL赋能智能视频分析算法盒子

Intel现在有几大业务部门,分别是CCG(ClientComputingGroup)、DCAI(DataCenterandAIGroup)、NEX(NetworkandEdgeGroup),以及其他业务(包括Mobileye和单独核算的IFS——foundry业务)。CCG、DCAI、IFS是电子工程专辑撰文探讨的常客,而NEX——网络与边缘事业部,我们以前没怎么系统性地聊过。

从这家公司FY2022年报来看,NEX业务全年营收89亿美元,同比增长11%——占到Intel公司总营收的14%。不过这个业务FY2022营运毛利(operatingmargin)同比产生了较大幅度的滑坡,Intel在财报中说主要是产品路线、工艺节点加速的高投入,以及较高的库存。

上周2023英特尔网络与边缘产业高层论坛举办,也让我们更深入地了解到NEX事业部对Intel的价值,以及网络、边缘在Intel眼中是怎样的存在。包括酷睿、至强、灵动(Atom)、Arc、Flex在这个领域内都扮演着怎样的角色,Intel又是如何为该领域打造软件、构建生态的,似乎让我们看到了一个不同的Intel。

论坛展区现场,有三个demo给我们留下了比较深刻的印象。其一是海康机器人及其视觉方案VC3000X:

现场工作人员介绍说,这台设备搭载的处理器是酷睿i7-12700,“替换了此前酷睿i7-9700+RTX3060的方案”,也就是说新方案去掉了独显。“这套系统(PL光伏检测)的耗时统计能够稳定在170ms,之前那套方案在200ms左右。”工作人员说,“后续我们还会做更进一步的优化。”

“也就是用新一代CPU,去替代原来CPU+独立GPU的方案,功耗和成本都更低了,性能表现也更好。”这一点是打破了我们以往的认知的。

其二是开域展示的数字门店解决方案。这是个AIBox,把这个盒子装到门店,配合摄像头就能进行基于机器视觉的门店管理。“通过内置在盒子里的算法,智能识别店里的情况,包括员工有没有穿制服、有没有戴口罩等等。”

“店长在移动端就能收到提醒。”“再比如面包店货架的铺满率,低于一定阈值就会发出提醒;餐厅里的餐桌是否及时清理;门店的客流情况、后厨食品安全等”,“都是基于AI技术跑在这个盒子里实现的”。其中最主要的硬件就是12代酷睿i5处理器,“一般门店6-8路需求,一个盒子就能搞定”。

我们特别问到盒子里是否配有额外的加速器,工作人员表示只有酷睿i5处理器,“因为零售客户对成本非常敏感”。“基于OpenVINO可以做很多算法定制——比如门店不同货架的面包铺满率,基于OpenVINO就能快速部署新的算法。”OpenVINO是Intel开发的一个开源工具套件,尤其能够做深度学习模型的优化,并部署到Intel芯片上做推理。

第三个例子,是Intel展示的OCES(OpenCommonEdgeServer)架构服务器部署的EVI边缘视频基础设施方案。“OCES”本身是Intel针对边缘场景定义的开放通用边缘服务器标准,“整体设计也是成本导向的”。

这台服务器是“来自我们合作伙伴一款符合OCES标准的样机,19英寸机架式服务器,2U高度,<700mm深度”,内部支持2颗至强处理器(应该是SapphireRapids),16根DIMM,12个3.5英寸硬盘扩展,“可以满足80%以上的边缘场景需求”。工作人员还特别谈了这台服务器内部设计上的紧凑性考量、各部件的模块化方案,以及不错的扩展能力,包括对于GPU、FPGA、多媒体加速卡等的扩展支持。

其实我们对这三个例子,首先惊叹的是它们都没有用独立GPU、AI芯片之类的加速器,依然表现出了不错的性能,虽然我们不清楚是12代酷睿处理器的异构核心(P-core+E-core)或GoldenCove架构在发挥作用,还是VNNI指令的充分加速,亦或软件层如OpenVINO的优化使然,或者是否有Xe核显参与,总之在诸多边缘AI场景里,CPU发挥的作用都远比我们想象得要大。

当然,像这样的例子在现场还有很多,也不一定是完全基于CPU的AI计算。比如说英特尔公司企业副总裁兼网络边缘解决方案事业部总经理DanRodriguez就智能制造方向,提到的Intel成都工厂,用酷睿处理器+Arc显卡,再借助OpenVINO检测晶圆表面的缺陷,以此提高良率和产能。AI和边缘始终是关键词。

主论坛几位演讲者都在AI人工智能方面花了比较大的篇幅。英特尔公司高级副总裁兼网络与边缘事业部总经理SachinKatti的演讲,几乎全部围绕边缘和AI这两大“经济动能”——当然这可能和他本身就身处NEX事业部有关。

其中“2030年边缘市场规模将达到4450亿美金”,届时AI的“全球市场规模也将达到650亿美金”,“AI无处不在”。而“边缘已经是现在AI最大的部署所在,比如智慧教育、视频会议、智能制造、智慧城市、医疗等等”,“边缘开发者中,有86%的人告诉我们,他们要把AI加入到应用中去”。

谈到生态——上面这张图展示了从底层硬件,到软件栈的不同层级——包括框架和靠近应用层,Intel的布局,以及对应的解决方案。Intel称其“广泛产品与解决方案”,Sachin表示不同的行业有着不同的要求,包括能效、空间、环境等,“我们要确保我们提供这样一种产品,最广泛满足这些需求”。

从最底层的Intel酷睿、至强和Atom(灵动)处理器,Arc与Flex系列显卡,Ethernet网络产品,到边缘基础设备与平台软件套件,边缘AI与应用软件套件,乃至应用与解决方案。尤其在应用和解决方案的部分,“我们看到很多客户没有AI方面的专家,但他们希望可以获得AI的帮助,我们要做的是为他们提供定制解决方案。”Sachin谈到,“我们要让AI模块做到本土化、定制化。”

Dan则说要让芯片和基础设施发挥作用,则基于AI的软件很重要,而且要“利用所有这些组成部分专注于面向客户的垂直解决方案”,构建“既有广度又有深度的生态系统”。

△大族智控801系列数控系统

大族智控总经理封雨馨说,大族智控“利用套件提供的高算力处理器硬件平台,从根本上提高数控系统的算力和性能;在此基础上,Intel提供了负载整合的软件工具和系统——通过负载整合,我们将工业控制系统实时任务和非实时任务,在一个处理器上进行深度有机融合”,“实时环境下,我们开发了数控内核任务以及总线通信总栈,以及实时任务控制;非实时环境,通过ECI来做这件事,开发效率提高很多”。

“ECI套件,至少在国内我们应该是最早和Intel合作提出了这样的需求,并且应用了ECI套件的。”封雨馨总结ECI套件的特点,其一是算法、软件都跑在IntelCPU上,提升了性能;其二是用Windows10系统,且在内部执行实时子系统,满足不同的需求;其三是“纯软核系统拓扑结构”,系统结构实现了精简,成本降低;还有数字化总线通讯,拓扑结构简洁、性能稳定。

这个例子未必能够体现AI技术于边缘的价值,不过我们认为是能够体现Intel在垂直领域,和合作伙伴构建生态的过程和想法的——是面向具体的客户,提供针对性的解决方案。

“边缘”对应的是“中心”——像Intel这样的市场角色,强调边缘市场的价值,也是其芯片产品走量的必然。毕竟边缘市场如此广阔,千行百业的数字化都能产生和需要“边缘”。

英特尔公司副总裁兼网络与边缘事业部中国区总经理陈伟博士在谈到AI时说,“我们看到大量AI部署在边缘”,“边缘有成本、空间、带宽等方面的限制”,要“真正落地”AI到各行各业需要考虑这些问题。

“大模型非常火,大模型参数数量几十亿、上千亿,这是好的方向”,但到具体的边缘场景,“比如一个交通路口4路、8路摄像头”,“优化压缩”后的模型,“通过酷睿处理器,加上集成显卡或者一个独立显卡,就能支撑需求”。陈伟说,“人工智能的落地高效性非常重要。”

我们开头举的这几个例子,应当都能说明Intel对于边缘AI的这番理解,以及Intel强调边缘的业务逻辑。那么在这样的前提下,Intel的CPU、GPU、AI芯片(如Habana),加上诸如会上多次被反复提及的OpenVINO这类工具,将AI部署到边缘,加速边缘计算,于Intel而言是巨大的市场机会。当然,不一定是AI,只不过AI在边缘的价值变得越来越大;总之边缘+网络,都是Intel准备拿下的市场。

感觉陈伟在会上举的一个合作案例,就体现Intel在“边缘”方面的理解还颇具代表性,也是活动展区在展示的:超级云终端。陈伟说,超级云终端的技术“甚至IP都是中国本土英特尔和合作伙伴共同研发、共同创新的”。Intel的工作人员告诉我们,超级云终端在2020年刚推出时有“2个头部客户,到现在已经发展到26个行业客户”。

“很多学校和医院的方案,运算单元不在本地,运算结果通过网络传到本地。如果终端非常多,中心服务器计算压力很大,并发请求一多,网络的压力也很大。”现场工作人员解释说,“超能云终端是将计算归于本地,充分利用本地硬件的性能。它对网络的依赖没那么大,计算机启动时只需要和网上的服务器做个握手验证,若没有版本更新则从本地启动。”

“而后所有计算都在本地。所有的外设插上USB就能直接使用,不需要对外设驱动做虚拟化层,或者网络层的穿透工作。”“而相比于完全独立的PC,超能云终端还集成了网上管理功能。通过一台服务器控制所有客户端,对客户端做唤醒、重启、关机、操作系统打补丁之类的操作。”工作人员给我们演示了,若某台客户端发生蓝屏,则借助超级云终端对齐进行重启,恢复到最初状态。

比如对教学场景,“上节课,学生做物理实验,改变了原有系统;下节化学课则只需要在服务器端发送重启命令,所有设备的物理课使用痕迹就消失了”;再比如电竞酒店场景,“一些电竞酒店可能有不少分店,游戏玩家在某家店结账以后,下次到另一个分店,基于账号就能把私有数据通过网络同步过来,就和个人电脑的使用体验一样——壁纸、桌面配置、软件甚至在酒店checkin的时候就同步了。”

包括联想、升腾等厂商都是Intel这套方案的合作伙伴;另外,现场参与展示的希沃(seewo)也在教育领域,就“教育数字化”针对教学和备课终端引进这套方案——希沃在主题演讲中多次谈到了OpenVINO,AI技术果然是深入到了各行各业。无论如何,超级云终端在体验Intel对于AI终端的发展思路方面,应该还是很具有代表性的。

△希沃展示的教育数字化方案,备课、教学做到了一体化,比如在云电脑上备课,课件可以直接在智能黑板上调取展示;机房解决方案则应用超级云终端,控制学生机房设备

陈伟在谈这些年数据量的增长时表示,各行各业有价值的信息通过数据来呈现,“预计中国未来5年内,数据增长会超过25%以上。2/3~4/5的数据处理不会在数据中心进行。这完全是技术和经济效益、商业规模决定的,说明这个市场非常之大。”IntelNEX业务的发展很大一部分应该就是以此为基础的:数据增长,网络连接与边缘计算需求激增,边缘AI还在催生新的应用场景。

英特尔市场营销集团副总裁兼中国区总经理王稚聪在论坛开场致辞中,提到现在的经济形势下“消费降级和消费升级同时存在”,虽然从大环境来看,普罗大众对市场的信心仍然不足,但“升级”热点一样存在:NEV电动汽车市场的高速增长不用提,“刚刚结束的6.18高附加值的游戏计算机同比增长30%”,“上半年工业控制计算机,同比增长30%”。

“行业合作伙伴可能要捕捉中国经济在恢复过程中出现的新动能、新的产业崛起,以及把我们的技术代入到下一个发展阶段。”王稚聪说。会上展示的这些案例,应该都是Intel眼中的动能。

其实2023财年的前两季,IntelNEX业务表现并不好,与市场大环境同步。在市场下行和经济大环境疲软时期,找到未来,并为此做好准备,是现阶段Intel努力的方向;各行各业的边缘与网络应用,是Intel期望在全社会数字化转型过程里,抓住的市场机会;以及接下来行业进入恢复期,NEX事业部营收实现增长的关键。

其他demo和产品展示:

△板卡展示区包括酷睿平台在嵌入、工业、机器人、AI等场景的应用,11代酷睿TigerLake在这些领域的应用看起来还相当广泛;平常不大能见到的至强与Atom平台也能在这里看到——包括SapphireRapids,以及不少Tracemont核心的处理器平台,还有传说中的SnowRidge、ElkhartLake...

△联新的智能药品管理系统,着力于用药安全,包括护士药品准备、药剂师补药等操作的智能化,里面应当也应用了不少传感器;这是边缘智慧医疗应用的典型代表;

△德晟达针对教育的智慧教室解决方案,主打的是一台设备控制所有其他终端,包括门窗、空调、黑板、灯——上面这个电子讲台能够支持7屏同时控制,还有NFC碰一下就调用某个特定教师的课间或其他资料,也支持无线充电...

△奇安信的网络边界安全设备,“基于通用的硬件平台”,用的Intel处理器为SnowRidge或ParkerRidge,亮点在CPU的可扩展性和I/O能力上;

△智慧银行展示,主要包括一些自助服务设备,做银行业务流程的自主自动化,如自动办卡,以及针对银行VIP客户通过摄像头进行交流,上图是“云网点解决方案”;

△用于铁路场景的智能识别便携设备,其中包括有热成像传感器、雷达、摄像头,可在各种天气工况下进行24小时监测,包括识别人、物体,确保行车安全;

△冰鲸科技展示的私有云设备——主要面向全球个人创作者、开发者、SOHO独立办公用户;小型服务器作为本地网盘、智能家居控制中心,或者是小团队的本地云;可进行统一的数据管理,嵌入到工作流...右下角这个小设备应该是基于AmberLake超低压平台,看起来是个相当极客的个人服务器,可扩展两路硬盘;

THE END
1.年轻人用算法打败算法视频 习近平出席庆祝澳门回归祖国25周年大会并发表重要讲话 中国证监会发布《香港互认基金管理规定》 女子网购6克黄金变2000克 盛世莲花 在欢歌中精彩绽放 年轻人用算法打败算法声明:取材网络、谨慎鉴别说故事的阿袭 广西 0 打开网易新闻 体验效果更佳山西农村的神秘土堆,千年来从未积雪,专家挖开后发现奥秘 历史https://m.163.com/v/video/VZIJHA275.html
2.十大经典算法短视频热门 精选 全部后端开发Java互联网移动互联网编程教育电商Python金融企业服务医疗健康游戏运营商区块链其他物流学习生产制造房地产Linux前端开发JAVA工程师视频教程技术经理数据库架构师Web前端工程师运维大数据程序员人工智能测试技术总监JAVA全栈工程师项目经理计算机产品经理服务器面向对象系统运维工程师运维开发工程师运营云服务https://edu.51cto.com/videolist/1961.html
3.视频算法透明的一大步!平台即将展示用户兴趣标签视频|算法透明的一大步!平台即将展示用户兴趣标签 11月24日,中央网信办秘书局、工信部办公厅、公安部办公厅、国家市场监管总局办公厅等四部门宣布联合开展“清朗·网络平台算法典型问题治理”专项行动,即日起至2025年2月14日对网络平台算法存在的典型问题进行重点整治。 国内某内容平台的相关负责人告诉记者,在专项https://finance.sina.cn/2024-11-25/detail-incxhyzh4777479.d.html
4.GTC2023快手展示视频画质评估算法等多项前沿技术和解决方案日前,在NVIDIA GTC 2023大会上,多位来自快手的技术专家,展示了一系列前沿技术及解决方案:涵盖了从视频画质提升、数字人直播及互动解决方案,到定制性能优化新框架、针对大型推荐模型的性能优化,以及多模态超大模型在短视频场景落地等多个话题。 画质提升秘籍 视频画质评估算法和画质修复增强方案 https://m.cls.cn/detail/1312366
5.av73968759/),用文字描述视频中展示的广度优先算观看仿真视频(https://www.bilibili.com/video/av73968759/),用文字描述视频中展示的广度优先算法、Dijkstra算法、A*算法、ARA*算法、AD*算法的效果。https://www.shangxueba.com/ask/20260599.html
6.第五届“马栏山杯”国际音视频算法大赛·创新应用赛道一等奖展示2024年9月29日,第五届“马栏山杯”国际音视频算法大赛颁奖典礼在长沙举行,湖南省委常委、省委宣传部部长杨浩东,中国工程院院士、浙江大学求是特聘教授谭建荣,省委宣传部副部长、省新闻出版局(省版权局)局长卿立新,省委宣传部副部长,省广电局党组书记、局长贺辉,省委网信办副主任郭天保,省科技厅副厅长佟来生,湖南大学校http://design.hnu.edu.cn/info/1032/8523.htm
7.AppStore上的“津抖云津抖云短视频平台,以“精选、原创、聚合”为主旨,为用户提供国内外优质原创短视频内容,打造用户短视频“社区”。 主打UGC短视频社区,利用推荐算法,给用户推荐优质、喜爱的内容,支持用户通过评论、私信、话题、合拍等形式进行互动,最终通过人与人之间的关注,形成短视频社区。新https://apps.apple.com/cn/app/id1454354209
8.风行场景二:风行-视频推荐算法会在风行部分产品首页及各频道页中展示“热门推荐”等模块,推荐视频类型与用户观看历史中的视频类型相似。 场景三:风行-视频推荐算法会在风行部分产品频道页和播放页中展示“猜你喜欢”等模块,推荐与用户兴趣相匹配的视频类型。仅当风行相关产品设置中的“个性化推荐视频”开关处于开启状态时,http://wx-tv.funshion.com/static/funVideo/mobile/privacy.html
9.全部下架,彻底凉凉!有中老年人频频上瘾“激情充值”,警惕被算法套牢2.技术生成虚假短视频。使用人工智能等技术编造、拼接内容,违法使用他人肖像和声音进行人脸替换或人声合成,生成虚假短视频。 3.罔顾事实篡改造假。对官方发布的权威信息进行篡改或断章取义。 二是短视频展示不当行为问题 1.“色情擦边”行为。刻意展示带有性暗示或性挑逗的动作,发布“软色情”“擦边”“泛黄”内容。https://www.jfdaily.com/sgh/detail?id=1214951
10.5轴防抖强悍连拍索尼微单A6500评测(全文)索尼A650015视频样片 4K下分辨率表现良好 产品:A6500套机(16-70mm ZA OSS)索尼数码相机 视频样片 4K下分辨率表现良好 接下来我们来看看索尼A6500的视频拍摄表现,A6500的一大优势是4K视频录制的6K采样方式。这为其带来了良好的分辨率表现。那么这种高分辨率表现在实拍中的表现又如何呢?笔者在此将4K视频的截图展示给大家: https://dcdv.zol.com.cn/620/6202112_all.html
11.探讨AI视频生成工具及其应用:AI文字生成视频与sora视频生成ai工具在现代社交媒体和数字营销行业中,AI视频生成工具已经成为一个必不可少的利器。通过AI文字生成视频技术,用户可以快速轻松地制作各种类型的视频内容,无论是宣传广告、产品展示还是品牌故事。sora视频生成AI工具作为其中的佼佼者,拥有强大的功能和智能算法,帮助用户轻松实现视频制作的自动化。 AI视频生成工具的应用范围非常广https://cosoh.com/tantaoaishipinshengc/
12.Python基于OpenCV的视频图像处理详解python由于视频是本地文件,不能展示出来,这里就直接呈现代码;通过运行结果程序可知,稠密光流算法是一种对图像进行逐点匹配的图像配准算法。不同于稀疏光流算法只针对图像中若干个特征点,稠密光流算法计算图像上所有的点的偏移量,从而形成一个稠密的光流场。通过这个稠密的光流场,可以进行像素级别的图像配准,因此,其配准后的https://www.jb51.net/article/274112.htm
13.如何玩转视频号获得高赞?这份20000字干货指南解答一切对于创作者来说,视频号是一个全新的短内容平台,不限发布次数,每个视频账号有自己的主页。对于普通用户来说,可以在视频号看到更大的世界, 微信视频号会用信息流(列表方式)展示内容,它像一个社交广场,我们无需关注,便可以浏览和发现不同内容。 对我而言,视频号有何价值? https://www.36kr.com/p/674805899899913/
14.中国研究生创新实践系列大赛管理平台4. (附加硬件任务)在完成基本硬件任务的条件下,选手可以自行选用合适的平台,做成Demo展示效果。 说明: 1. 算法输入为课题中提供的视频组(两组对照,分为普通无干扰场景与各类干扰场景),输出为经算法处理后的视频和辨识类型结果; 2. 算法不能调用算法过程不明确的模块或函数; https://cpipc.acge.org.cn/cw/detail/10/2c90801886cfa352018701edc0c6096c
15.胡明鑫抖音算法知识视频的生产表演与规训摘要:短视频平台上的算法知识视频逐渐成为人们打破算法想象的窗口和学习内容创作的工具。文章聚焦抖音平台上生产并传播算法知识的视频,采用视觉话语分析和文本分析方法,探究算法知识生产图景及其在整个算法生产网络中的意义。中国语境下,官方与非官方账号共同构成https://mp.weixin.qq.com/s?__biz=MzA5NTQ4ODMzMA==&mid=2651972017&idx=1&sn=33b5adc1f4102e8dfbafdde285f84ccf&chksm=8ae23d739f705f7da8a249455625160d70b5bcb208824a4c9d67018c13f2369292043a24d961&scene=27
16.音视频学习由于保存完整的一帧一帧图片的视频原文件太大,必须要通过某种视频压缩算法将视频中的图片压缩,以减小视频文件大小,那么压缩比越大,解压缩还原后用来播放的视频就会有越严重的失真,因为压缩的同时不可避免的丢失了视频中原来图像的数据信息。 码率又称比特率bps(bit per second),是指视频文件在单位时间内使用的数据流https://www.jianshu.com/p/28dd7f1e58d0
17.连遮挡都不怕的“追踪一切”视频算法来了澎湃号·湃客连遮挡都不怕的“追踪一切”视频算法来了 机器之心报道 机器之心编辑部 Tracking Everything Everywhere All at Once. 前段时间,Meta 发布「分割一切(SAM)」AI 模型,可以为任何图像或视频中的任何物体生成 mask,让计算机视觉(CV)领域研究者惊呼:「CV 不存在了」。之后,CV 领域掀起了一阵「二创」狂潮,一些工作https://www.thepaper.cn/newsDetail_forward_23435043
18.C/C++数据结构与算法知识点王桂林在线视频教程本课程的前提是你得有C/C++基础,课程目标,夯实行业基本功,提高编程算法能力,亦可用作考研或是面试的常备课程。 适用人群 找高薪工作者,在职者,考研者 课程介绍 C/C++实现数据结构与算法视频培训课程全面介绍计算机行业,基本的数据结构与算法,既有理论的深度也有实战的技法。课程全程讲师手敲代码,一步步代你走进数https://edu.csdn.net/course/detail/8356/