把“十大吓人技术”比“西游法术”，华为面向开发者这波操作很稳

作为中国古典长篇四大名著之一,《西游记》最大的优势就在于天马行空的想象力,其中的角色、情节甚至一些相关元素直到今天都在不断被使用、被创新、被翻拍,可以说是经典中的经典。

那么,如果要把《西游记》对应到我们的真实世界,假设唐僧师徒四人的故事发生在今天,他们西游究竟要去取什么经?又要经历什么难?

想到这里,快爷就不得不提8月华为发布的自研国产操作系统——“鸿蒙”。

身为《西游记》十级学者,快爷对这个名词可真是太熟悉了。

混沌未分天地乱,

茫茫渺渺无人见。

自从盘古破鸿蒙,

开辟从兹清浊辨。

这是《西游记》第一回“灵根育孕源流出 心性修持大道生”开篇定场诗。

而在鸿蒙发布前三个月,华为更是推出了手机拍摄的竖屏电影《悟空》,收获了一片好评。

又是“鸿蒙”,又是“悟空”,华为似乎还真是有一种西游情结。

依旧是在《西游记》第一回,菩提祖师为孙悟空取名之后,吴承恩还补了两句诗:

鸿蒙初辟原无姓,

打破顽空须悟空。

然而,《西游记》里那些真正开挂的技能,例如孙悟空一个筋斗十万八千里,擅长七十二般变化……等等,华为是不是真有化用?

经过一番钻研过后,快爷了解到了在大众用户普通了解的产品背后,真正触动开发者的,华为到底“隐藏”哪些“吓人技术”。

为了能够让酷玩er们理解,快爷决定选取华为“十大吓人技术”,逐一对应《西游记》中的技能,具体解读一下:

身外身法——达芬奇架构

大圣见天色将晚,即拔毫毛一把,丢在口中,嚼碎了喷将出去,叫声:“变!”就变了千百个大圣,都使的是金箍棒,打退了哪吒太子,战败了五个天王。

——《西游记》第五回,“乱蟠桃大圣偷丹 反天宫诸神捉怪“

“身外身法“还有一个我们都熟悉的名字,那就是“分身术”。

乍看之下,分身术属于《西游记》当中比较初级的法术,不少有个名号的小妖都能比划两下。但在另一方面,能够像孙悟空一样运用到叹为观止的地步,那可就不多喽。

正因如此,把“达芬奇架构”排在华为十大吓人技术之首。简单来说,达芬奇架构确实称得上是超强分身术,属于华为AI芯片的“秘密武器”。

这个面向AI的全新计算架构,具备高算力、高能效、灵活可裁剪的特性。它集成了向量、标量、硬件加速器等多种计算单元。同时支持多种精度计算,支撑训练和推理两种场景的数据精度要求,实现AI的全场景需求覆盖。

基于自研的达芬奇架构,华为推出了目前单芯片计算密度最大的芯片昇腾910以及主打高效计算低功耗AI芯片昇腾310,和Atlas人工智能计算平台,系列产品可用于公共安全、运营商、金融等行业。比如,Atlas 200 AI加速模块可以用于摄像头、无人机等终端,半张信用卡大小就可以支持16路高清视频实时分析。

实际上,之所以要自研达芬奇架构,是因为华为预测2025年全球智能终端将会达到400亿台,智能助理的普及率将达到90%。举个最简单的例子:在那个时代,凭借强大的AI与先进的无人检测设备辅助,“求医问药”的形态将会完全改变——

“专家一号难求”的挂号挤破头乃至猖獗的黄牛号贩子将不复存在,取而代之的是通过个人终端完成的自助式体检,以及快捷高效的对症下药。

既无需为头痛脑热而远赴医院问诊,看似无关痛痒的小病小灾背后潜藏的病灶也能被及时揪出来,效率与准确度皆有极大提升。

除了医疗行业外,自动驾驶、人脸识别等多种AI细分场景都对算力有着极高的要求,而达芬奇架构正能提供强劲算力。据说,华为内部用“算力无穷无尽”来描述,无穷无尽,可不就像孙大圣拔一把毫毛,吹出数不尽的“大圣”嘛!

七十二变——A-Tune智能调优技术

要说孙悟空最广为人知的技能,那不用多说,肯定就是七十二般变化了:大可变做平地而起的高山,小可变身桌上水果盘的一粒葡萄,不管是看上去多难缠的妖孽,有了七十二变撑腰,孙行者总能化险为夷,找到破解的诀窍。

传统的操作系统,为上层应用提供通用机制来管理硬件资源并进行资源调度,但在现实世界中,丰富的应用千差万别,对于资源的需求也各不相同,每个具体应用往往需要依赖程序员的个人经验进行手工调优,效果难以保证。

而开发者拥有A-Tune智能调优技术,就像是有了满足上层应用自动进行资源调优的法门,换句话说,A-Tune智能调优技术能够针对具体的业务场景进行定制,让操作系统更“懂”业务场景,给出最合适的资源模型,着实千变万化,满足从初学者到高阶开发者的各种各样的需求,最终达到应用性能加速的目标。

换言之,A-Tune技术能完全满足入门到专业级开发者的不同需求:

1).对于初学者来说,尽可能屏蔽华为鲲鹏硬件和OS的底层细节,降低开发者的准入门槛;

2).对于高阶开发者来说,可以针对具体的业务场景进行定制,比如丰富经验库,训练自己的模型,实现更细粒度的调优。

总的来说,A-Tune技术能把应用&系统性能做到最优,从而总体上降低成本,比如以前你可能需要购买10台服务器才能实现的工作,现在可能需要7-8台服务器就够实现工作了。这对于人力资源有限的中小型企业的开发者来说意味着什么,应该已经无需过多强调了吧?

基于A-Tune技术构建的华为自研操作系统openEuler,就体现出了高安全性、高可扩展性、高性能等优势特点。

定心真言——S2S自动微分

老母道:“东边不远,就是我家,想必往我家去了。我那里还有一篇咒儿,唤做定心真言,又名做紧箍儿咒。你可暗暗念熟,牢记心头,再莫泄漏一人知道。我去赶上他,叫他还来跟你,你却将此衣帽与他穿戴。他若不服你使唤,你就默念此咒,他再不敢行凶,也再不敢去了。”三藏闻言,低头拜谢。

——《西游记》第十四回,“心猿归正 六贼无踪”

“定心真言”,也就是我们都不陌生的“紧箍咒”。

“紧箍咒”虽然简单,却有无穷威力,纵使孙悟空那样的泼猴,也被唐僧的几句咒语制得服服帖帖。而在华为的一众吓人技术中,最符合这个法术调性的无疑便是S2S自动微分了。

了解编程的同学都知道,业界框架实现的自动微分根据实现原理不同,自动微分可以分为3种:

以Google的TensorFlow为代表的图方法,Facebook的PyTorch为代表的运算符重载,和华为自研的MindSpore为代表的源码转化方法(Source To Source,S2S)。

在华为自研的全场景AI计算框架MindSpore中的自动微分就采用S2S形式,凭借可编程性强(原生python表达+IR级可微分)、优化效率高(丰富的编译优化手段+反向算子自动调优)以及丰富调试手段(可视化+动态执行)这三大特点备受开发者的喜爱,值得一提的是,在MindSpore中开发者能够用原生Python实现AI算法,另外还可使用可视化接口观察程序运行状态,可谓是让开发者轻松上手AI开发。

尤其对像唐僧那样的小白、入门级开发者来说,如何更高效地完成AI算子开发,应该不用我更多解释了吧?

筋斗云——分布式深度学习技术

喜欢看孙悟空拜访菩提祖师学技能的小伙伴们应该还记得,从最开始的稍离地面,到能飞在山谷中,再到可以连续几个筋斗直冲天庭,虽经历了较长一段时间的学习,但功夫不负有心人,最终达成的效果也是有目共睹。

而在互联网通信技术不断发展的今天,我们无时无刻都能感受到信息传递速度带来的影响:

从拨号通话都要祈祷模拟信号连接稳定不会串号的1G,到从模拟进入数字时代可以发送短信的2G,到正式接入互联网可以看图的3G,再到视频流媒体彻底改变移动互联定义的4G,乃至潜力无穷无尽难以想象应用极限的5G,随着每一代移动互联网技术的发展进化,每一轮网络传输效率的提升,都对我们的生活产生了翻天覆地的影响。

在我们感受到的这些表象背后,实际发生的动作,是在深度学习训练过程涉及大规模的参数的网络间传递。TensorFlow 使用中心化的网络参数服务器(Parameter Server)来承担梯度的收集、平均和分发工作,对 server 节点的访问会成为瓶颈,带宽利用率低。

为此,面向开发者的一站式AI开发平台ModelArts 的团队使用 AllReduce 算法来进行梯度聚合来优化带宽,同时对传输的梯度进行融合,对小于阈值大小的梯度多次传输合并为一次,提升带宽利用率。

另外,在通信底层采用 nVIDIA 的 NvLink、P2P 等技术来提升节点内和节点间通信带宽,降低通信时延。它除了实现了加速比>0.85,性能的明显提升外,基于此项技术的华为云ModelArts也凭借最快的训练速度荣登斯坦福DAWN Benchmark榜单。

顺带一提,如果大家对这项技术的应用有兴趣的话,可以留意一下ModelArts这个关键词,后文有更多的应用范例。

火眼金睛——图神经网络

倘若大闹天宫落败的孙悟空没有被关进太上老君的炼丹炉里,他的一双火眼金睛必然也不会成型;没有火眼金睛,日后的取经路上降妖除魔断显然要更添几分难度。而在华为面对开发者的发明创新中,顺利化用了“火眼金睛“之名的技术,无疑就是图神经网络技术(GNN,Graph Neural Network)。

为何将二者进行对应,源于二者都是针对具体的图像、画面来进行分析,从而进行分析,给出结果。从技术角度来说,图神经网络是在图数据(非欧数据)上的高阶学习方法。

例如,在电子商务领域,一个基于图的学习系统能够利用用户和产品之间的交互以实现高度精准的推荐。在化学领域,分子被建模为图,新药研发需要测定其生物活性。在论文引用网络中,论文之间通过引用关系互相连接,需要将它们分成不同的类别。

华为在ModelArts中的高效神经网络训练算子的基础上,结合GES既有的高性能图计算框架平台能力,充分利用图引擎高并发、低延时的特点,将GNN的训练过程高度并行化;使用统一架构实现了非监督的大规模图嵌入和半监督的图卷积等多类GNN算法,降低了系统的维护成本。

这项高超技术不负众望,荣获了2019年人工智能峰会(CAIS)最高奖项紫金龙蟠奖。但一般的AI开发者目前对GNN算法和技术的观念不足,想要快速迭代和优化此项技术,需要开发者们转变以往的观念,多多进入GNN这个“炼丹炉”,尝试使用GNN算法。也希望每个开发者都能拥有这项“火眼金睛”的技术,再复杂、无规则的图数据也不是问题。

顺带一提,提到实际应用,这里正好有一个鲜活的例子:

今年7月开始,华为云联同上海交通大学、西安交通大学、江苏大学、南京邮电大学等超过30所大学举办了一场华为云人工智能大赛 · 无人车挑战杯,运用华为云AI开发平台ModelArts以及端云协同解决方案HiLens,组织大学生自研编程和训练模型,根据预置考点进行障碍竞速比赛。

号称“更懂开发者的视觉AI应用开发平台”的华为云HiLens可在无人车上路前,通过摄像头采集照片开始训练,免除采集、整合数据和设定算法的烦恼。而华为云ModelArts则提供开源数据集和自动学习、训练模型,在 ModelArts上进行分布式训练,可以缩短训练时长,加快训练速度,还具备创新的可视化全流程管理,让实验过程追踪、结果复制不再难。

选手完成训练作业后,ModelArts开发的模型就能直接部署到HiLens摄像头,实现端云协同,一键部署。(如果大家对这场赛事有兴趣的话,请务必一定要看到最后,有惊喜!)

瞬间移动——轻量级的云化集成开发环境

它结合代码编辑器的轻量极速、快速文件和目录访问操作,多语言高亮显示等特性,以及IDE的代码调试和代码理解的能力,将用户的集成开发环境部署在云端。尤其是AI辅助编码能力,更是把传统IDE的智能联想功能提升了一个新高度,能对代码上下文的语义分析和理解,让开发者基于AI可以整行补全代码,在理想状态下可以为开发者节省90%的编码工作。

不得不说,云上IDE无疑好处多多。比如,程序员们可以随时随地进行编程,即便他们在国外度假、异地出差,只要有一个能够访问浏览的终端,即可随时随地解决线上生产环境紧急故障,以及其他开发或运维等情况,避免临时取消假期回去“救火”的情况发生。

玄光术——可视化全流程AI开发工程化技术

全流程AI开发工程化技术不但是可控的、可视化的、更是可追溯的,这一点和神仙透过镜子使用玄光术追踪的道理相似。

简单来说,基于可视化全流程AI开发工程化技术,华为云ModelArts可实现在 AI 开发全生命周期中,从原始数据、标注数据、训练作业、算法、模型、推理服务等,提供全流程可视化管理;同时无需人工干预,自动生成溯源图,选择任一模型,都可以找到对应的数据集、参数、模型部署在哪里;可以说是华为“把复杂要留给自己,把简单留给客户和合作伙伴”理念的直接例证。

三头六臂——多模分布式数据库

支持多个数据模型,兼容兼MySQL, 文档类型、宽表类型(如Cassandra)、内存等多协议接口,融合的存储计算分离的分布式架构,实现分钟级节点扩容,秒级存储扩容,支持跨3AZ和异地多活,软硬件深度全栈垂直整合,可实现Serverless按需弹性伸缩按需使用。

在数据库读写性能、灵敏性、可靠性等方面深度优化,提供可视化实例管理平台对实例创建、删除、备份等需求实现一键式便捷操作。为开发者提供以100%兼容开源接口、多模型一致运维为核心的高性能、低成本、高可靠、高安全、易管理的新型分布式数据库。

唤神术——智能化的软件开发技术

这项技术通过机器学习,对华为几十年软件开发所积累的大量相关数据进行挖掘清洗,结合各种分析技术将其中包含的开发知识进行复用,有效降低开发过程中低价值的、重复性的活动,例如自动检测代码中包含的缺陷、冲突等,并尽可能地提供修复建议。

缩小术——Huawei LiteOS IoT Stack技术

这项技术具备轻量级、低功耗、端云协同、即插即用、组件丰富、快速开发等关键能力,基于物联网领域业务特征打造领域性技术栈,为开发者提供“一站式”完整软件平台,有效降低开发成本和难度、缩短开发周期。

以上,就是《西游记》爱好者快爷出品的华为面向开发者的“十大吓人技术”新解。这些年来,华为一直不持续加大研发投入,大家有目共睹,为的就是寻求技术上的自主创新,打造更多更好的产品与服务,为广大开发者提供技术支撑,助力构建万物互联的智能世界。

无论你是开发者还是普通消费者,如果你对快爷出品的这本“西游法术新解”感兴趣,不妨关注一下即将于9月18~20日,在上海世博中心开幕的华为年度旗舰级大会——2019华为全联接大会(HUAWEI CONNECT 2019)。

9月20日,更有以开发者为主角的Keynote演讲及百场Session,上述提到的华为面向开发者的“十大吓人技术”,都可以在百场Session中找到,届时将会有来自技术大咖更全方位的解读。前往现场,便可与顶级开发大神面对面,了解更多关于华为吓人技术的最新理论与实践!

——顺带一提,上文提到的华为云人工智能大赛·无人车挑战杯,将在9月19日的全联接大会现场决出冠军!

东土华为仰至仁,创新万物皆为善。

欲知云端新生态,点击链接来相见。 https://www.huawei.com/cn/press-events/events/huaweiconnect2019?ic_medium=hwdc&ic_source=corp_event2_hc2019

未经允许不得转载：DOIT » 把“十大吓人技术”比“西游法术”，华为面向开发者这波操作很稳