偶然当程序员却拿下图灵奖,超算榜单之父讲述人生开挂经历

5fa5fb7de9b70942c1ab00e00780943b.png

这位老爷子,还弄出了个TOP500的超算排行榜,每年两次帮超算跑跑分啥的。

刚刚,今年71岁的老爷子还参加了中国计算机学会举办的CNCC 2022,做了次特邀报告演讲。

演讲的主题,也与高性能计算息息相关。

为什么人类需要超算/h2>

高性能计算 ,是指通过聚合计算能力来提供比传统计算机和服务器更强大的计算性能

再通俗点来讲,就是用超级计算机来并行处理复杂问题。

为什么要用上超算ack Dongarra举了个例子。

他提到,科学和工程都通过理论和实验来推进,但两者常常遭遇限制,尤其是实验部分。

会遭遇的“拦路虎”非常多,有可能是制造仪器很难搞,有可能是所观察的事物发展太过迅猛,又或者是没有办法在实验室里完成实验。

比如,假设有两个星系会发生碰撞,这个过程会是什么/p>

280231912db25da6ff257df7c1e3be51.png

Frontier的最高性能是每秒2×1018次浮点运算。

这是一个难以置信的计算量。如果现在全球所有人停下手里的工作,开始每秒做一次计算,昼夜不停、不眠不休地计算四年,才能达到1018次浮点运算。然而,这样庞大的运算量,超算一秒就能完成。

除了计算,超算还涉及异构数据在不同芯片间的搬运,Jack Dongarra称之为移动数据(data moving)

Jack Dongarra指出,现在的超算对已经对浮点运算做了大量优化,移动数据的成本已经比计算成本还高。

降低移动数据的成本,将成为未来重点的研究方向。

此外,AI for Science已经在很多科学领域发挥重要作用,譬如DeepMind旗下的Alpha系列,如Alpha Zero、AlphaStar、AlphaTensor……

291549959f68f9228797fbbca72d611f.png

意外走上漫漫超算路

拿下图灵奖的Jack Dongarra并非一开始就以当程序员为己任,一切都是“意外”。

高中毕业后,他选择进入芝加哥州立大学就读——这所学校类似于地方性的师范学校,为芝加哥公立学校系统培养了不少教师。

大三、大四时,Jack Dongarra福至心灵地“醒悟”,发现自己并不想教书。

几经周折,他申请了阿贡国家实验室的本科生职位。在那里,他有机会和真正的科学家一起做一些实际工作,并获取课程学分。

于是,就读于芝加哥州立大学的最后一个学期,Jack Dongarra在阿贡国家实验室度过了16周左右的时间。

e7caf16eeb0d6fe72d4e5ce0b2cfc6db.png

图上四人搞了个小组,开发了一个叫LINPACK的项目,为此,Jack Dongarra还给自己心爱的车车挂上了同名车牌。

具体来说,LINPACK是一套求解线性方程组的数学软件

没错,那个时候小帅哥本人真正醉心的还是线性代数领域。

他曾这样描述自己40年来成为程序员的动力:

我主攻的是数学方面的研究,尤其是数值线性代数方面,我所有的工作都源于此。

对那些需要解线性方程组的学科来说,一款能计算答案的软件无疑是非常重要的。

同时,你还必须确保软件运行与机器架构相一致,这样才能真正获得机器所能达到的高性能。

1993年,Jack Dongarra加入了TOP500排行榜团队,成为了TOP500第一个测试版本的爸爸之一。

同年6月,正式版本开始发布,其所所使用的评选标准被称为LINPACK。

自那时起,TOP500排行榜半年发布一次,告诉大家世界最强大的计算设备都在哪里。

cabd9c8e9d0ef308559b830393a8ce32.jpeg

中国的两台超算,神威太湖之光和天河2号,分别拿下了排行榜第7和第10位。

统计所有上榜TOP500的超算,中国共占据162台,虽较去年的173台有所下降,但仍以领先美国36台的优势,稳居世界第一的宝座。

在算力方面,美国在已部署的算力中以43.2%排名第一,中国以10.6%位列第四。

Jack Dongarra拿出了一组十分直观的数据。

现在的计算机,最快每秒是1.1 exaflops,TOP500的最后一名则是1.73 petaflops。

而Jack Dongarra的笔电是拥有M2处理器的MacBook,它的运行速度是426 gigaflops。

近30年前,第一代TOP500的榜首,属于洛斯阿拉莫斯国家实验室(LANL)用来设计核武器的计算机CM.5,它拥有一千个处理器,运行速度大约是60 gigaflops。

不用说当年的第一和今日的第一如何如何,今天家用笔电的运行速度,已经远远超过了30年前的世界最快。

好了,最后还是说回老爷子。

55ca218efa1aa42593b37ed06280bda4.png

简单介绍,HPCG一个共轭梯度算法,它着眼于解决稀疏矩阵问题,而不是密集矩阵。

这恰恰满足了今时今日在实际应用中存在的问题。

相比于旧的基准HPL,HPCG能更好地反映应用程序的效果,但它给出的执行速度的数字会低很多。

究其背后的原因,是随着GPU的增强,计算机已经可以非常迅速地进行浮点运算,所以HPL得出的数据,其实是超算潜力被夸大后的结果。

相对应地,HPCG强调不是浮点数而是移动数据,这正是带宽和延迟会限制超算性能的地方。

就拿日本超算富岳(Fugaku)来说吧。

LINPACK基准测试中,富岳排名第一,达到了理论峰值的3%;而运行新基准,富岳只得到了理论峰值的0.8%。

这意味着计算机并没有发挥出它们的潜在性能,需要更仔细地进行研究。

6dd909a9c64d019babe0991d3daa27d7.jpeg 9a3b02d2d93133a691efd086667b671d.jpeg

c20aae4c7d6a9cc264ef39a358ff0c7a.jpeg

您还可以在以下平台找到我们

78f721691714d30aaf406dd38639a1d5.jpeg

983823c51211f4970432055f6844254b.jpeg

你点的每个在看,我都认真当成了喜欢

5bc0d5b37f76c2aff7d0b65339c77a12.png

来源:计算机与软件考研

声明:本站部分文章及图片转载于互联网,内容版权归原作者所有,如本站任何资料有侵权请您尽早请联系jinwei@zod.com.cn进行处理,非常感谢!

上一篇 2022年11月15日
下一篇 2022年11月15日

相关推荐