开车不喝酒，喝酒不开车。今天路援帮小编关注到一个比较有意思的话题，就是关于GIV2022|清华大学电子系汪玉：车载计算面临的挑战及未来目标的问题，下面我们整理了相关介绍GIV2022|清华大学电子系汪玉：车载计算面临的挑战及未来目标的解答，一起来看看吧。
2022年12月16日-17日，由安徽省发展和改革委员会作为指导单位，合肥市人民政府、中国电动汽车百人会联合主办的“2022全球智能汽车产业峰会”在安徽合肥召开。本届论坛围绕“全球新变局与智能汽车发展新战略”主题，共设置5个主题论坛和2场闭门会议，与行业机构、高校院所和领先企业代表共同探索我国智能汽车发展新路径。
其中，在12月17日举办的“生态论坛”上，清华大学电子系主任、教授汪玉发表精彩致辞。以下内容为现场演讲实录：
尊敬的各位领导，各位嘉宾，非常高兴有机会在这里分享一下我们在“面向智能驾驶的协同优化”方面的思考，
我今天的报告从下面几个方面来展开，包括研究背景、深度学习模型的优化、深度学习加速器的优化、两个联合起来做软硬件的联合优化。
首先看一下研究背景。
论坛主要是关注智能驾驶，我们可以看到智能驾驶的应用已经开始慢慢走向实际的生活场景，它的变化也非常大。为了应对这样的变化，我们发现每辆车的传感器数量非常多，同时神经网络以及其他的各类算法包括在感知、控制等方面都开始在车载系统应用起来了，所以深度学习和算法的应用也得到了更大面上的使用。
这种大的算法包括传感器的使用带来的问题就是，每个传感器后面的数据都需要去做分析，可能会产生深度学习对算力要求比较高的一类的算法，所以算力的要求是激增的。同时算法迭代也是非常快的，我们可以看到在很多算法的会议，包括现在应用场景中到底用什么样的算法，面临的选择也非常多。所以如何在车载计算平台算力或者说功耗和成本受限的情况下进一步去提高算力，是目前的一个核心的挑战。
所以今天我的报告主要还是想跟大家讨论，怎样去运用软硬件协同寻优的方式来实现不同的算法在车载平台，特别是资源受限的车载平台上来部署、来提高算法的性能，就是它的准确率、运行的效率，降低它的功耗、提高它的性能，所以目标是易于处理高效部署和安全可靠。
我们的方法，一方面，如果是固定硬件的情况下，怎么做到深度学习模型的自动调优，也就是算法的优化。另外一块，在算法这块如果没有办法改的情况下，怎么迭代硬件，就是深度学习加速器架构应该怎样做到支撑，第三是软硬件协同算法优化的工作，这个是最好的。但是一切的前提都是深度学习可以在实现同样功能的情况下我算法的结构和深度学习的架构可以选择不同的结构，对应的功耗需求、对应的其他的比如安全的需求都是不一样的，所以有这样一个架构的变化才使得我们有更大的空间来去做这种算法的优化和软硬件的协同优化。
首先来看一下深度学习模型的寻优。
深度学习模型其实对于算法的架构对于性能影响是非常大的，为了获得最优的性能，算法的发展趋势会增大这个模型的大小，但是这个和自动驾驶其实是一个移动端，算力受限和实时性的要求是一个矛盾，所以在算法这个层面要设计高效的深度学习的模型架构，我们一方面，人工设计是比较耗时的、而且低效的，所以我们要思考如何使用自动的网络架构的设计和优化的流程，也就是这里所展示的一个过程，我们后面会再展开简单说一下。
在这样一个神经网络架构的搜索，就是算法优化的过程中，可以看到搜索空间是非常大的，对于一些空间大小都是10的几十次方的大小，而且每次从这么多的架构里要用某种搜索策略搜一个出来，然后要去做评估，单个模型的评估性能也是非常慢的，举个例子，1—2个GPU才能够把单个模型评估完。所以这么大空间，每一个评估都很慢，怎么样在这样大的空间里面找到一个合适的网络，这个过程是非常慢的，可以看到都是在几千个GPU，所以它的耗时、耗力和效果都是不够的，所以整个过程是非常慢的。所以我们提的叫高效的NAS，也就是说一方面在搜索空间里面因为很大，我要看搜索空间里面怎么样能够高效的挑出一些不错的架构来去做高效的探索，第二个其实是模型的评估是慢的，也就是我挑出一些架构之后怎么样做到很好的评估。这里我们看到有两个典型的方式，一个是在搜索空间大的时候高效搜索这块主要靠改进搜索的策略，然后设计架构的性能预测器，来加快探索空间。另外一块，其实是模型评估慢，或者怎么样改进评估的策略，比如一次评估或者甚至不用训练的方式来评估，来使得我的评估会比较快。
第一个，改进搜索策略，基于预测器的方式来加速搜索空间的探索。这块其实从2018年用强化学习的方式或者预测器的方式，还有我们做的一个ECCV22的预测工作，都是基于预测器方式上做出的贡献，目前也是主要的流派，这样可以减少用更少的评估数量取得更低的错误率，这里可以看到我们的评估800次，所有率2.56%，相比2000次或者2万多次其实都会好很多，这样我搜索采样的效率在里面空间找一些好的点比较快。
第二个，改进评估策略。就是刚才我们选出一些点以后，怎么能从评估时间和训练的过程缩短到几次前向的过程，这就是1000倍的提升。所以我们提出了要提升模型评估区域相关性的思考，然后我们在ECCV22的时候也提出了，包括课程学习的角度怎么样进一步提高单次评估器的速度，可以看到评估的性能与真实性之间的相关性是比较高的，越高这个C100的值或者IN16的值越高，说明我们相关性越高，这样选出来的架构也是越好的。
另外一方面，针对硬件平台进行模型架构选择的时候怎么样更快、更准确的去评估。其实我们看到，有不同的硬件平台，我们在硬件平台上到底性能什么样的，这件事情其实是不一样的，所以我们要用一些代理的指标替代硬件的实测，甚至构建一些硬件模型性能的预测器，来使得我可以面向硬件知道我在这个硬件上的性能和功耗，然后反过来选择一个好的模型。这块我们有一些工作，但是不展开了，这也是非常重要的事情。
所以在深度学习自动寻优方向上，一个方面是流程本身的加速，还有就是搜索空间自动化的设计、硬件感知，包括跨任务以及未来的可解释，都是一些模型本身寻优的很重要的探索方向。
第二，简单讲一讲深度学习加速器的设计需要考虑哪些问题。
为什么要在车载方面我们要去看这个问题呢？因为我们看到车载芯片目前都是在百T量级，未来可能是千T量级，百T量级上可能会跑几十个模型，原来的深度学习加速器，特别是我自己2015年—2018年也做了一个创业公司，那时候我们研究更多的是怎么样把单个模型在前端更好地跑起来，现在我们要跑40个甚至更多的模型在同一颗芯片上，而且要满足低延时、高可靠的要求，所以单任务静态负载和多任务的动态负载，这是智能驾驶一个特别的需求，怎么样来做到很好的应对，所以我们就提出我要做到支持多用户、支持高可靠的切换。GPU其实也是有过这样的一个过程的，从1999年到2012年左右GPU支持多用户的过程。从神经网络加速器，比如电脑这样一个芯片的出现，到现在其实大家一直在看怎么样去利用时分和空分复用来支持多用户的虚拟化架构，我们自己在2020年提出了空分复用的想法，在2022年的PC上把时空分的复用都做到了，而且可以把调度架构能够做协同的优化，从而提高延时性能。
简单说一下，原来有一个大核，我时分复用不同时间做不同的任务，这样发现这样对于不同的神经网络是是不好的，能不能做空分复用，这是2020年出来的。现在要做到时空分复用，在硬件层面有大小核，在算法的执行层面可以选择不同的任务在不同的核上跑起来，这也是未来面向车载多任务的硬件加速器必须要考虑的一个方向，所以我们觉得这个也很重要，但是怎么样在工业界支撑起来是下面我们要去思考的一个问题。
第三，软硬件联合的优化。
刚才第一个硬件不动只改软件，第二个是软件如果不动怎么样改硬件或者系统软件和硬件协同优化起来，但是在这块我们讨论的事情是未来我们怎么样去把算法和硬件同时做优化，现在我们的车载芯片特别是L3及以上未来的车载芯片面临着各种各样的挑战，功耗、散热、电池质量等等，车载平台上面有CPU、MCU、GPU等等都有，设计复杂度非常高。同时我们看到上层软件，可以通过学习来得到最优软硬件，这件事情并不是我们一家喊的，其实包括像Google他们也提出了，传统的设计流程如果把算法和编译器分开来做，现在应该是设计和算法的设计，这也是我们全世界最早提出来的并且开始去尝试的一个联合的搜索和优化的工作，会得到最好的结果，当然它的问题也是，我整个协同搜索的空间是非常大的，这里面可以看到数据的空间虽然比较小，是因为我们硬件空间已经确定了，如果硬件部空间，这里面算法空间和硬件空间应该是相当的空间数量级。
这里面简单给大家列了一下，我的不同的模型，可能有不同的硬件架构，怎么样去把这两个事情联合考虑起来，而不是分开考虑，我们要定制模型，也定制加速器，我们一方面要做硬件感知的神经网络架构的搜索，就是算法的优化，另外我们要做硬件架构的定制优化，我们在底层，如果考虑对一些网络的支持，我们用这种算法和硬件协同的搜索供应链可以使得这个设计空间搜索空间降低，这样使得我们能够在比较小的空间里面更快的找到优化的解，其实这是非常重要的一个问题，因为两个合起来以后空间变大了。
我们也看到全世界已经说好几年了，这件事情上协同设计比传统方法，不管算法的性能，还是在算法的精度性能，这里的性能指的是每秒能够去处理的帧数，就是速度，这边是算法的精度，协同优化其实都在算法性能高、且算法精度高这样一个范围内，所以传统的方法其实是不如协同的设计的，所以我们一定要往协同这个方向去走。我们刚才看到的例子，还是可以进一步去做硬件层面的优化，包括定制化的处理器架构、ISA扩展、定制化算子库，我们可以把空间再降下来，这里面有规则，约束做什么样硬件适合这类算法。所以我们看到整个联合优化的趋势，是从每一层分开的单独设计到两两之间的协同设计，特别是现在做到的是算法和硬件协同设计、编译器和硬件协同设计，未来一定是把算法、硬件、编译器统一在一起，但是现在这件事情还没有完全做到，包括我们看到的大厂和我们在学术界其实都在往这个方向去努力，主要难点在于设计空间太大。
今天我的报告简单给大家讲车载计算面临的挑战和未来的目标，并且指出有三个方式可以做到算法和硬件的优化，包括单独优化考虑硬件单独优化算法和考虑算法单独优化硬件以及未来的联合优化，希望这个方向上能够跟大家继续探讨。
再次感谢大会的邀请。谢谢！
（注：本文根据现场速记整理，未经演讲嘉宾审阅）
以上就是GIV2022|清华大学电子系汪玉：车载计算面临的挑战及未来目标的相关内容分享，希望这对大家有所帮助！路援帮往后会继续推荐GIV2022|清华大学电子系汪玉：车载计算面临的挑战及未来目标相关内容。