侵权投诉

NVIDIA 如何应对会话式AI带来的推理挑战?

墨记 ? 2019-11-08 16:53 ? 次阅读

NVIDIA GPU曾于去年12月和今年7月两度树立了数据中心神经网络训练的性能标杆。今天发布的行业基准测试结果显示,NVIDIA也引领着数据中心内部与外部AI网络的趋势。

NVIDIA Turing GPU和Xavier?芯片系统在首个独立AI推理基准测试 ——MLPerf Inference 0.5中取得第一名。由于推理一直是AI市场中最大、同时也是最具竞争力的领域,业内此前一直希望能够有一套客观的推理性能测试指标。

在参与此次测试的十二家公司中,只有NVIDIA AI平台提交了?MLPerf的全部五项推理测试成绩(MLPerf是一个于2018年5月成立的行业基准测试小组)。这证明了NVIDIA CUDA-X AI和TensorRT软件的成熟程度。它们让用户能够更加轻松地将所有的NVIDIA GPU应用于数据中心、边缘等领域。

MLPerf定义了五项推理基准,涵盖了三个现有的人工智能应用:图像分类、目标检测和翻译。每项基准分为四个场景:与数据中心应用关联性最高的服务器和离线场景,以及用于满足边缘设备地芯片系统需求的单流和多流场景。
图1:NVIDIA在两个数据中心场景(离线和服务器)的全部五项基准测试中均排在第一位,Turing GPU被评为市面上单处理器性能最高的GPU。
图2:NVIDIA Turing在MLPerf数据中心场景中的成绩超过了其他市面上的处理器。
?
离线场景中具有代表性的场景有图像标记等,该场景下所有数据可在本地使用;而服务器场景代表性场景有在线翻译服务等,此场景下会突然或间歇性随机出现数据和请求工作。

Xavier在两个边缘场景(单流和多流)中被评为市面上性能最佳的边缘和移动芯片系统。

工业检测相机主要被用来在快速移动的生产线上发现不合格品,这是一种典型的单流任务。多流场景则是测试芯片能够处理多少个数据源 —— 该性能对于一辆可能需要使用6台以上摄像机的自动驾驶汽车而言,是一项关键的能力。
图3:NVIDIA Xavier在MLPerf边缘场景中成为市面上最佳的边缘和移动芯片系统。
?
该结果显示了NVIDIA CUDA和TensorRT软件的性能。它们为用户提供了一个通用平台,使用户可以在多个产品和应用中取得领先结果,而这正是NVIDIA所独有的能力。

在数据中心场景中,NVIDIA的两款GPU还出现了相互竞争的场面。NVIDIA TITAN RTX?展示了Turing级 GPU的巨大潜力,尤其是在各种要求苛刻的任务中,比如运行用于语言翻译的GNMT模型等。

功能丰富、应用广泛的NVIDIA T4 Tensor Core GPU?在多个场景取得了优秀的成绩。这个功耗仅为70瓦的GPU能够轻松安装到任何带有PCIe槽的服务器中,使用户能够根据需要扩展其计算力,进而大幅扩展其推理工作。

MLPerf已经获得行业和学术界的广泛支持。其成员包括Arm、Facebook、Futurewei、通用汽车、Google、哈佛大学、Intel、MediaTek、微软、NVIDIA及Xilinx。值得一提的是,相比于之前的两次训练比赛,此次基准测试吸引了更多的参与者。

NVIDIA此次共采用了三款产品,共计四种配置参加此次测试,并提交了全部20个场景中的19个场景的成绩,以此表明公司对这项工作的支持。NVIDIA的合作伙伴Dell EMC,以及NVIDIA的客户阿里巴巴同样使用NVIDIA GPU提交了成绩。相比于其他参与者,NVIDIA与合作伙伴和客户一同向用户全面地展示了NVIDIA产品组合的潜力。

全新的视角与产品

推理指的是在实时生产系统中,通过运行AI模型,从大量数据中筛选出可执行洞察的过程。这是一项仍处于发展中的新兴技术,而NVIDIA也在该领域中不断前进,未曾停止脚步。

今天,NVIDIA发布了用于MLPerf测试的Xavier芯片系统低功耗版本——Jetson Xavier NX?,其最大功率仅为15瓦,却具有最高21 TOPS的性能。它将为那些对性能要求高、但功率有限的新一代机器人、无人机和其他自主设备提供驱动力。

除了新的硬件之外,NVIDIA还发布了在MLPerf基准测试中所使用的最新TensorRT 6?优化,并在GitHub上以开源方式为用户提供该软件。用户可以在MLPerf 开发者博客中了解更多关于这些优化的信息。NVIDIA不断地对该软件进行升级,使用户可以从日益增加的AI自动化与性能中获益。

让推理变得更简单

今天的MLPerf测试还说明了一个结论,那就是推理很困难。例如,在实际工作负载中,由于推理还需要大量预处理和后处理步骤,那么在实际工作负载中其对推理性能的需求甚至比基准测试更高。

NVIDIA创始人兼首席执行官黄仁勋在去年GTC大会的主题演讲中就曾将这种复杂性概括为一个词:PLASTER。他表示,现代AI推理对可编程性(Programmability)、延迟性(Latency)、准确性(Accuracy)、模型大小(Accuracy)、吞吐量(Throughput)、能效(Energy efficiency)和学习率(Rate of Learning)的要求很高。

这就是为何用户越来越喜欢使用高性能的NVIDIA GPU和软件来处理各种要求苛刻的推理工作,其中就包括:BMW、Capital One、思科、Expedia、John Deere、微软、PayPal、Pinterest、宝洁、Postmates、Shazam、Snap、Shopify、Twitter、Verizon和沃尔玛等极具远见的公司。

本周,全球最大的邮政服务系统——美国邮政,也加入了此行列,使用NVIDIA GPU进行AI训练和推理。

硬盘制造商希捷希望通过在NVIDIA GPU上运行的AI推理将生产量提高10%。该公司预计,通过提高效率和质量,其将获得高达300%的投资回报。

Pinterest依靠NVIDIA GPU训练和评估其识别模型并对其1750亿条Pin贴文执行实时推理。

Snap使用NVIDIA T4加速器在谷歌云平台上执行推理。相比于仅采用了CPU的系统,这提高了其广告的效果,同时降低了成本。

Twitter发言人就这一趋势表示:“GPU的使用不仅大大缩短了训练时间,还让我们在推理时能够实时了解直播视频,让我们可以在自己的平台上了解各媒体。”

AI会话:关于推理

未来,会话式AI将带来大量的机会以及技术方面的挑战。NVIDIA在这一领域同样是当之无愧的领导者。

NVIDIA已经为会话式AI服务提供了经过优化的参照设计,比如自动语音识别、文本-语言转换和自然语言理解等。NVIDIA们的BERT、GNMT?和Jasper?等AI模型开源优化帮助开发者实现顶尖推理性能。NVIDIA的客户和合作伙伴中包括有会话式AI领域的一流公司,比如Kensho、微软、Nuance、Optum等。

最后要补充的是,MLPerf小组已经开始致力于改进其当前的0.5推理测试。NVIDIA将努力在基准测试中继续发挥领导作用。

收藏 人收藏
分享:

评论

江苏快三_江苏快三开奖结果_江苏快三走势图:两艘或多艘航母能够让航母不缺位,确保日常战备,加强常规威慑和危机防范与管控。

相关推荐

国家电网印发《泛在电力物联网2020年重点建设任务大纲》

“虽然单个小数据价值密度低,但海量数据集合后有很大的价值。”张海瑞先生表示,“这些数据上传到公共云平....
的头像 倩倩 发表于 12-14 07:07 ? 0次 阅读
国家电网印发《泛在电力物联网2020年重点建设任务大纲》

怎样为物联网做好基础

障碍在于目前还没有物联网技术的通用标准,来让决策者了解如何利用这些复杂设备(以及它们创建的数据)来解....
发表于 12-13 16:05 ? 32次 阅读
怎样为物联网做好基础

人工智能未来发展充满了无限可能性 但其发展趋势依然有“迹”可寻

人工智能作为一种科学技术,在其发展过程中必然遵循自然科学规律,依赖其现实条件和发展机理,是可以被认知....
发表于 12-13 15:49 ? 82次 阅读
人工智能未来发展充满了无限可能性 但其发展趋势依然有“迹”可寻

2020年人工智能安全会发生什么改变?

2020年的网络安全处于一个发展转折点。人工智能和机器学习的进步正在为网络安全的技术进步提供助力,实....
的头像 汽车玩家 发表于 12-13 15:42 ? 159次 阅读
2020年人工智能安全会发生什么改变?

GPU只能整块购买吗,腾讯云GN7实例告诉你答案

近年来,GPU 在大规模并行运算上的巨大优势,让其成为大数据、AI 以及图形图像处理等场景下里不可或....
的头像 汽车玩家 发表于 12-13 15:30 ? 192次 阅读
GPU只能整块购买吗,腾讯云GN7实例告诉你答案

百度地图生态大会在北京召开 加快构建新一代AI地图生态全景

12月10日,百度地图生态大会在北京召开,在此次会上,百度地图首次公布其“新一代人工智能地图”生态全....
发表于 12-13 14:17 ? 63次 阅读
百度地图生态大会在北京召开 加快构建新一代AI地图生态全景

阿联酋建设人工智能大学 助力人工智能的发展

说到阿联酋,很多人的印象还停留在丰富的石油资源以及由此带来的巨额财富,似乎与新技术、新能源没有什么关....
发表于 12-13 13:44 ? 32次 阅读
阿联酋建设人工智能大学 助力人工智能的发展

斯坦福2019人工智能索引报告 论文数量增长了300%以上

斯坦福大学发布了2019人工智能索引报告(2019 AI Index Report)。这是斯坦福大学....
发表于 12-13 11:47 ? 40次 阅读
斯坦福2019人工智能索引报告 论文数量增长了300%以上

人工智能可以通过查看心脏预测情况 预测一年内的人类死亡风险

美国科学家的一项新研究称,人工智能(人工智能)可以通过查看某人的心脏测试结果——来预测一年内死亡的风....
发表于 12-13 11:43 ? 50次 阅读
人工智能可以通过查看心脏预测情况 预测一年内的人类死亡风险

北京市委常委会:全力支持开发区建设,5G和人工智能等是重点

昨日下午,北京市委常委会召开扩大会议,传达学习中央经济工作会议精神。市委书记蔡奇主持会议。
的头像 汽车玩家 发表于 12-13 11:24 ? 198次 阅读
北京市委常委会:全力支持开发区建设,5G和人工智能等是重点

汽车行业如何利用人工智能来实现智能制造

在人工智能的所有受益者中,汽车行业就是利用最新技术将高效,创新和安全的车辆推向市场的行业。同样,该行....
发表于 12-13 10:47 ? 195次 阅读
汽车行业如何利用人工智能来实现智能制造

腾讯云正式发布了基于NVIDIA T4的虚拟GPU计算产品

基于多精度支持,NVIDIA T4拥有可加速深度学习训练和推理、机器学习以及数据科学工作负载的 Te....
的头像 lhl545545 发表于 12-13 10:37 ? 287次 阅读
腾讯云正式发布了基于NVIDIA T4的虚拟GPU计算产品

2020年人工智能等一系列新技术将带来数字化转型

人工智能(AI)将开始在消费者技术领域带来切实的用户利益;新的独特用例将会出现并将充分利用超高容量5....
的头像 lhl545545 发表于 12-13 10:20 ? 171次 阅读
2020年人工智能等一系列新技术将带来数字化转型

安防助力下 地震预警屡获佳绩

我们确实在地震预警方面取得了进展。2019年12月9日,四川省绵阳市发生里氏4.6级地震,震源深度1....
发表于 12-13 09:36 ? 44次 阅读
安防助力下 地震预警屡获佳绩

人工智能就业前景越来越严峻 但坚持下来迟早会看见曙光

自动驾驶是一个新兴的产业,其实也没有很强的一个规则,我们每个人都是这个规则的参与者和建设者,我希望在....
发表于 12-13 08:58 ? 61次 阅读
人工智能就业前景越来越严峻 但坚持下来迟早会看见曙光

阿里11篇论文亮相 人工智能认知智能领域研究领先全球

12月8日至12月12日,人工智能顶级会议NeurIPS在加拿大温哥华召开。本届大会,阿里巴巴表现抢....
发表于 12-13 08:55 ? 43次 阅读
阿里11篇论文亮相 人工智能认知智能领域研究领先全球

人工智能产业有没有进入发展的快车道

人工智能核心技术不断突破、产业融合逐步形成、相关政策加速落地,不论是市场规模增长还是行业应用都取得了....
发表于 12-12 17:13 ? 97次 阅读
人工智能产业有没有进入发展的快车道

AI学会了人类社交会变得怎样

人工智能未来发展的趋势会是多智能体,AI之间能实现智能互联。
发表于 12-12 16:46 ? 49次 阅读
AI学会了人类社交会变得怎样

柔性机器人系统潜在的市场大不大

柔性机器人系统是柔性自动化发展的重要趋势,将在全球范围内孕育巨大的市场。
发表于 12-12 16:43 ? 68次 阅读
柔性机器人系统潜在的市场大不大

中国机器人产业有什么新的创新

我国机器人产业这些年取得了突飞猛进的发展,特别是在十三五时期我们的成效非常显著。
发表于 12-12 16:39 ? 76次 阅读
中国机器人产业有什么新的创新

人工智能与激光快速熔覆有着什么样的联系

当今社会是一个科技飞速发展和进步的时代,传统技术逐渐趋于现代化技术,人工智能也从科幻想象中走到了现实....
的头像 独爱72H 发表于 12-12 16:33 ? 343次 阅读
人工智能与激光快速熔覆有着什么样的联系

最近10年人工智能带给了我们怎样的生活

随着Tinder、Hinge、Grindr和Bumble等应用程序的诞生,人们在交友方面有了更多的选....
发表于 12-12 16:30 ? 81次 阅读
最近10年人工智能带给了我们怎样的生活

上市公司财务造假怎样让人工智能识破

人工智能技术近年来异军突起、获得了广泛的应用,将人工智能技术应用到财务风险预警领域,有可能及时发现报....
发表于 12-12 16:26 ? 48次 阅读
上市公司财务造假怎样让人工智能识破

AI产业发展趋势是如何的

人工智能发展总的来说有两个趋势,一个本身算法侧的优化和迭代,直接带来的是我们用算法解决问题的低成本化....
发表于 12-12 16:22 ? 62次 阅读
AI产业发展趋势是如何的

哪一些企业被评为人工智能领航企业

AI正从学术理论到实践应用的成熟,应用场景和产业AI化的趋势逐渐浮现。
发表于 12-12 16:14 ? 44次 阅读
哪一些企业被评为人工智能领航企业

AI助推油气行业有什么改变

用知识图谱自然语言处理和机器学习等人工智能的技术进行知识体系的构建计算和应用,为油气勘探开发科研生产....
发表于 12-12 16:03 ? 22次 阅读
AI助推油气行业有什么改变

人工智能生态系统应该可以替代吗

人工智能就像过去的蒸汽发动机或电力一样,可能改变任何一个国家的社会发展水平。
发表于 12-12 16:00 ? 29次 阅读
人工智能生态系统应该可以替代吗

图书馆的智能化怎样用人工智能来实现

机器人带来的智能化发展能够成为“起死回生”的良药。
发表于 12-12 15:55 ? 96次 阅读
图书馆的智能化怎样用人工智能来实现

澎思科技荣登榜单 AI技术与传统行业产生实质性融合

12月6日,“新价值、新边界、新格局”MEET 2020智能未来大会在北京举办,深入探讨智能化进程里....
发表于 12-12 15:50 ? 58次 阅读
澎思科技荣登榜单 AI技术与传统行业产生实质性融合

机器人界意识到:技术需要走出实验室,进入现实世界

远程操作是突破这一限制的一种方法,人类操作人员可以连续不断地远程控制机器人,也可以在特定任务期间进行....
的头像 战略前沿技术 发表于 12-12 15:45 ? 247次 阅读
机器人界意识到:技术需要走出实验室,进入现实世界

AI用于打假应该支持吗

而基于AI强大的深度学习和数据管理能力,人们也是发现了其在打假方面的突出价值。
发表于 12-12 15:45 ? 22次 阅读
AI用于打假应该支持吗

智慧安防助力下 智慧校园建设驶入了快车道

读书声里春花开,几度秋月白。校园问题不仅关系到每个人的切身利益,也关系到国家社会的未来。近年来,在“....
发表于 12-12 15:38 ? 66次 阅读
智慧安防助力下 智慧校园建设驶入了快车道

人工智能为何成为了主角

人工智能技术的应用能够很好的简化平台与商家的工作压力,让活动前的造势宣传与引流更加轻松、简单和有效。
发表于 12-12 15:24 ? 37次 阅读
人工智能为何成为了主角

人工智能面试工具好不好用

随着人工智能的成熟,有越来越多的应用落地推动社会的发展。
发表于 12-12 15:20 ? 24次 阅读
人工智能面试工具好不好用

科大讯飞为何可以作为人工智能的领导者

不仅实现了自身快速发展,也为行业的发展做出了卓越贡献。
发表于 12-12 15:16 ? 44次 阅读
科大讯飞为何可以作为人工智能的领导者

VR/AR清晰度怎样加强

人工智能在国内获得快速发展,国家也相继出台一系列政策支持人工智能的发展。
发表于 12-12 15:14 ? 31次 阅读
VR/AR清晰度怎样加强

智能财务以后应该往哪个方向发展

对于财务人员,最大的挑战是思维模式转变,对于提供智能财务服务的厂商,挑战来自于场景以及技术,目前对于....
发表于 12-12 15:06 ? 40次 阅读
智能财务以后应该往哪个方向发展

AI领域取得的进展情况怎么样

该报告还研究了诸如人工智能招聘、私人投资、国家对人工智能研究的推动作用、研究人员离开学术界进入工业界....
发表于 12-12 15:01 ? 29次 阅读
AI领域取得的进展情况怎么样

人工智能将会给社会带来怎样革命性的发展

无论是计算机行业还是在汽车领域,技术形态的成熟是一个必然的要素。
发表于 12-12 14:35 ? 42次 阅读
人工智能将会给社会带来怎样革命性的发展

搜狗人工智能的发展目标 也是王小川憧憬的未来

经过十多年的积累与发展,搜狗早已在AI的道路上“高筑墙、广积粮”,并率先在技术与产品上收获成果,实现....
发表于 12-12 14:26 ? 44次 阅读
搜狗人工智能的发展目标 也是王小川憧憬的未来

美国人对工作中的机器人并不担心 反而担心工作岗位的流失

你已经看到了关于机器人在工作之后出现的新闻标题,但是一份新的报告让人们担心,并且发现美国人对工作场所....
发表于 12-12 14:21 ? 56次 阅读
美国人对工作中的机器人并不担心 反而担心工作岗位的流失

NLP的两个部分:NLU和NLG

人类可以通过语言来交流,而为了让计算机之间互相交流,人们让所有计算机都遵守一些规则,计算机的这些规则....
的头像 InfoQ 发表于 12-12 14:18 ? 223次 阅读
NLP的两个部分:NLU和NLG

英特尔凭借人工智能 对传统IT行业进行了“降维打击”

出于众所周知的原因,英特尔前不久被传出准备以10-20亿美元收购以色列AI创业公司Habana La....
发表于 12-12 14:17 ? 65次 阅读
英特尔凭借人工智能 对传统IT行业进行了“降维打击”

百度升级新一代人工智能地图 成为产业智能化升级的基础设施

12月10日,2019年百度地图生态大会在北京召开,“新一代人工智能地图”生态全景第一次公布。会上,....
发表于 12-12 14:08 ? 83次 阅读
百度升级新一代人工智能地图 成为产业智能化升级的基础设施

油气勘探面临一系列问题 AI是最有效的解决办法

为了提升油气供应,国内石油公司纷纷加大勘探开发力度,然而石油勘探开发已面临巨大压力――一方面历经了多....
发表于 12-12 13:57 ? 54次 阅读
油气勘探面临一系列问题 AI是最有效的解决办法

安防边界消融势在必行 未来将更多地渗透到其他行业当中去

人工智能、物联网等新技术的融入,使安防行业浮现出新业务模式。在这个变化过程中,不再是原来安防产业所经....
发表于 12-12 13:40 ? 59次 阅读
安防边界消融势在必行 未来将更多地渗透到其他行业当中去

寒武纪和商汤入选上海首批人工智能创新中心名单

近日,上海市经信委发布《第一批上海市人工智能创新中心名单》,上海寒武纪信息科技公司、上海商汤智能科技....
的头像 汽车玩家 发表于 12-12 11:42 ? 345次 阅读
寒武纪和商汤入选上海首批人工智能创新中心名单

物联网和AI时代下的智能家居需要思考什么

在大数据技术赋能下,未来物联网云平台将会被大规模应用,这种平台可以简化物联网基础设施建设的复杂性和企....
发表于 12-12 11:29 ? 64次 阅读
物联网和AI时代下的智能家居需要思考什么

2021年中国数字经济的比重将超过55%

在12月8日的奠基仪式后,鹏博士集团总裁兼鹏博士大数据董事长崔航以及南京楷德悠云数据有限公司总经理李....
的头像 lhl545545 发表于 12-12 11:20 ? 5130次 阅读
2021年中国数字经济的比重将超过55%

在PanGu Board上运行Qt应用实战

PanGu Board开发板是西安湃兔核科技基于STM32MP1系列处理器设计的SoC开发板,提供了HDMI、以太网、LCD、USB...
发表于 12-10 11:30 ? 887次 阅读
在PanGu Board上运行Qt应用实战

一文读懂WMS的进阶史

双十一高效配送的背后离不开各类物流系统的支持,WMS系统作为仓配中心的“智慧大脑”在其中发挥着重要作用。让我们一起回顾...
发表于 12-06 11:44 ? 244次 阅读
一文读懂WMS的进阶史

【转载】如何从零入门人工智能(AI)具体学习步骤和方法

手把手教你设计人工智能芯片及系统(全阶设计教程+AI芯片FPGA实现+开发板)详情链接: 上次我们讲到人工智能的一些应用,...
发表于 11-28 16:20 ? 241次 阅读
【转载】如何从零入门人工智能(AI)具体学习步骤和方法

史上最全AI人工智能入门+进阶学习视频全集(200G)【免费领取】

近几年来,人工智能(AI)概念很火热,几乎人人都在学习人工智能,AI市场人才的抢夺也非常的激烈。根据百科的解释,人工智能...
发表于 11-27 12:10 ? 431次 阅读
史上最全AI人工智能入门+进阶学习视频全集(200G)【免费领取】

高焕堂:VR/AR欺骗大脑,AI赋能大脑,两者结合创意无限

高焕堂,台湾VR/AR产业联盟主席、台湾铭传大学《AI潮流下的创新设计思维》课程讲师、台湾科技大学VR技术培训课程讲师、...
发表于 11-26 13:52 ? 8692次 阅读
高焕堂:VR/AR欺骗大脑,AI赋能大脑,两者结合创意无限

传感器和人工智能的关系

  谁来阐述一下传感器和人工智能的关系? 手把手教你设计人工智能芯片及系统(全阶设计教程+AI芯片FPGA实现+开发板)详...
发表于 11-25 15:51 ? 313次 阅读
传感器和人工智能的关系

5G与人工智能的关系

  谁来阐述一下5G与人工智能的关系? 手把手教你设计人工智能芯片及系统(全阶设计教程+AI芯片FPGA实现+开发板)详...
发表于 11-22 17:08 ? 339次 阅读
5G与人工智能的关系

大彩智能屏在美容行业的应用.pdf

大彩智能屏在美容行业的应用:随着用户对显示效果的要求越来越高,传统的数码管已经不能满足客户的要求,智能彩屏显示方案应运而...
发表于 11-22 16:07 ? 266次 阅读
大彩智能屏在美容行业的应用.pdf

华为的GPU Turbo技术你知道是什么吗?

华为GPU Turbo揭秘,吓人的技术,原来只是神经网络...
发表于 11-11 06:24 ? 251次 阅读
华为的GPU Turbo技术你知道是什么吗?

NVIDIA 在首个AI推理基准测试中大放异彩

Turing GPU、Xavier芯片系统在MLPerf基准测试中展现了巨大优势 加利福尼亚州圣克拉拉市 —— 2019年11月6日 —— &...
发表于 11-08 19:44 ? 259次 阅读
NVIDIA 在首个AI推理基准测试中大放异彩