演讲实录丨王耀南：智能制造机器人的感知与控制技术及其应用进展

7月25日-26日，在中国科学技术协会、中国科学院、中国工程院、浙江省人民政府、杭州市人民政府、浙江省人工智能发展专家委员会指导下，由中国人工智能学会、杭州市余杭区人民政府主办，浙江杭州未来科技城管理委员会承办的2020全球人工智能技术大会在“数字之都”——杭州，成功举办。在7月26日举办的CAAI人工智能大讲堂暨云课堂上，CAAI 监事、中国工程院院士、湖南大学教授、CAAI Fellow 王耀南为我们带来了题为“智能制造机器人的感知与控制技术及其应用进展”的精彩演讲。

王耀南

CAAI 监事、中国工程院院士、湖南大学教授、CAAI Fellow

以下是王耀南的演讲实录：

今天给大家带来的报告是《智能制造机器人的感知与控制技术及其应用进展》，内容主要分为三个部分，第一个部分介绍为什么要发展智能制造？智能制造的重要意义，以及它的需求在哪里？第二部分是智能制造在实施过程中有哪些关键技术？重点讲解机器人的关键技术，以及国内外的应用现状。尤其想介绍一下近年来，我们团队机器视觉感知与控制技术国家工程实验室在智能制造机器人生产线方面所做的一些工作。最后介绍智能制造是一个复杂系统，它还有很多技术需要研究，未来机器人在智能制造中有哪些发展方向？

一、发展智能制造的重大意义

今天人类已经进入到了工业4.0 的阶段。第一次工业革命人类发明了蒸汽机，开启了我们的机械化；随之开启了我们的制造，推动了工业革命。18 世纪的制造基本处于一种机械制造阶段，有了各种机械化的装备。第二次工业革命开启是在上个世纪20 年代初，人类发明了电，开启了电气化时代，人们通过电机带动生产制造。这个时期我们的制造业已经进入到一个大规模的生产阶段——批量化。随着上个世纪中叶计算机发明后，在数字化驱动下，延续到今天我们的工业已经进入到了自动化的生产，其设备有机器、数控和机器人，即进入了一个数字化、智能化和机器人化的时代，在生产制造中大量采用机器人开展制造工作。未来人类还将进入到更加智能化的制造过程，也就是我要谈的智能制造的问题。

为什么要发展智能制造？智能制造世界各国近几年发展非常迅速，在新一轮全球工业革命的催生下，互联网络与工业深度融合。我们看到世界各国都在提出自己的智能制造，尤其是著名的三大制造强国。美国提出他的互联网络制造强国，未来用互联网打造其制造业，通过对大数据进行智能分析和管理，提升传统制造。德国是一个全球制造业大国，为了提振其强大的制造业，2013 年提出了工业4.0，主要体现在怎么用嵌入式系统和信息技术切入到装备制造中，提升制造水平。中国也提出来了中国制造2025，但目前我国是制造大国，还不是制造强国。为了使制造大国向制造强国转型，我们要加快制造业转型，提出了用新一代的新型技术，以制造业进行深度的融合为主线，推进智能制造这一主攻方向，发展智能制造。

实际上，智能制造和人工智能息息相关。首先分析一下国内现状，为什么要发展我国的智能制造。从智能制造来看，制造业是国民经济的主体，是立国之本、强国之基，占我国GDP 的29.3%。我国虽然已成为世界第一制造大国，但仍存在生产效率偏低、产品质量不高、核心的高端制造装备进口率高等问题，因此迫切需要研究智能制造与机器人技术，加速我国制造业由中低端向高端转型升级，这就是国内的重大需求。

制造业要转型升级，都是向高端制造看齐，因为世界各国都把高端制造作为竞争的高点。今天中美贸易战打的主要就是在高技术、高端装备领域。进入到高端制造中，各个国家都在竞争，比如航空航天、海洋工程、轨道交通、新能源装备等高端装备，它也是我国和世界各国竞争的焦点，是战略性新兴行业，是国民经济、国防建设的主战场。所以在高端制造装备中，如何加工构建精密、结构复杂的核心零部件，它的质量直接决定了装备的性能。这就是我们说的发展智能制造需求的第二点。

第三点，机器人是制造业的关键技术，在整个高端制造中，无论是航天、轨道交通、海洋工程方面都有广泛应用，在发展智能制造机器人起着最关键的作用。机器人在智能制造中要替代人完成复杂的作业任务，将面临着重大挑战。这里面的挑战性问题非常多，归结为三个，第一个大挑战，机器人要面临替代人在高温恶劣环境下工作，它的作业环境非常恶劣；第二个大挑战，加工高端制造过程中，它的部件结构非常复杂大型、工业结构复杂；第三个挑战，加工的零部件要求一定是高速、高精度、高可靠的。在这样三大挑战的催生下，世界制造强国都在开展研究适应自己的智能制造的机器人技术。

今天介绍的主题是智能制造机器人关键技术的突破。目前制造业对现有的机器人提出了巨大挑战，首先现在的机器人实际还是一个自动化装置，它的感知适应能力还比较差；第二缺乏在线的规划、决策、优化；第三多个机器人它的协同能力比较差，无法满足高端制造的需求。

如何攻克智能制造所需要在高端中的机器人的柔性生产线这些关键技术，首先要使机器人能够适应高端制造，要突破实时的精准感知技术；第二要突破机器人在线规划和自主的决策；第三要攻克多机器人的高效协同作业。今天发展以机器人为核心的智能制造系统已经大势所趋，从这次新冠肺炎疫情中就看出，我们一条生产线怎样在很短的时间内重新组装、重新组合变成一条柔性生产线，满足人们的需求。这就是在以机器为核心的智能制造过程中需求已经发生了变化，不是在工业3.0 和2.0 大批量的生产，而是在一种小批量、品种多、定制化这样的需求下；未来的智能工厂的特征一定是数字化、网络化、智能化。

在这样的大背景下，我们设计的以机器人为核心的智能制造系统有哪几个部分组成？第一部分一定是要设置一个完整的智能化设计平台，也就是我们制造业在工业互联网的互联互通支撑下，产品设计一定是智能制造过程，一定要智能；同时，我们的服务过程一定要智能。在这种情况下，从产品的智能设计到产品的制造和服务，整个过程都一定是在互联互通的情况下完成的。

智能制造的两个核心，一个是怎样利用高端的机器人改进它，变成能够在不同环境下进行作业的机器人；第二个我们怎样搬运和组装这么多零部件。这是给大家介绍的第一部分。

二、智能制造机器人关键技术

今天要发展智能制造有很多关键技术，除了在供应链制造过程它采用了很多人工智能技术，在制造过程中，在生产线方面，比如在汽车制造、新能源装备制造、航空、轨道交通、海洋工程方面，这些高端装备中，它的零部件在加工过程中，一定要设置柔性的机器人自动化生产线。机器人带来很多优点，它可以建成一个完整的柔性化生产线，比如上下料、焊接、打磨、抛光、喷涂、装配检测、搬运物流等。

怎样协同控制好这些机器人有条不紊地实现生产过程，这是今天我们需要的人工智能技术，也就是我们的智能化决策和控制技术，怎样能感知到生产线的过程，怎样通过感知我们能够进行决策、规划所要加工的部件，怎样进行控制，这个过程需要设置一个云平台、互联互通的云端。云端主要是智能制造大脑，我们叫做制造大脑，可以指挥整个生产线的过程，它有很多复杂的算法在上面实施，这就是整个完整的一个面向装备和高端制造的智能制造体系。

在智能制造中有三个核心技术，第一个就是高速、高精度的机器视觉技术感知。

怎样有条不紊地完成柔性的生产制造。感知技术我们从生产线上怎么产生的，在这个复杂的生产线中，它应对的问题比较多，面对的挑战有光照的条件多变、结构尺寸的复杂、测量目标的微弱，它怎样能感知、测量到我们所要加工的零部件。

面临的三大挑战，就是我们的感知技术存在很多要破解的难点。第一个难点成像噪声大；第二个目标特征比较微弱；第三个感知精度比较低。为了解决这些技术上的问题，应对挑战，近年来国内外，包括我们的团队都做了大量工作。比如，我们在感知中提出了高分辨率实施的视觉成像与信息处理、高速微弱目标完整的感知，以及精准的识别、多尺度量多特征实施的三维测量。这些过程解决的策略最终是要达到高端装备制造过程中，对于大型复杂构件和零部件的识别定位检测等作业，在实施智能制造中需要有很多AI 技术，尤其体现在视觉成象、视觉感知、视觉处理、视觉三维测量方面。

下面举几个例子。

第一个例子。在复杂的生产过程中，我们提出的机器人的主动视觉成像技术，可以解决各种复杂制造环境下不同类型运动目标的精准识别。

第二个例子，我们在测量中，比如测量一个三维的汽车产线，通过高分辨率的视觉实时成像和处理能够进行视觉的信息处理。这里采用了硬件实现，为了加快速度能够进行目标三维的重建目标，达到机器人能够实时精准地对整个加工和生产的零部件，做到三维的视觉感知。

第三个例子，在感知到的情况下，怎样对一些复杂的加工零部件进行定位。比如，航空发动机、汽车发动机等构件，在复杂加工的过程中，怎样进行识别其精准位置。我们可以采用AI 技术，如前面谈到的聚类初步分割、深度的学习特征，以及精准的目标识别，最后能够达到控制加工过程中，机器人精准定位到所要装配的零部件，以解决复杂工件在加工中的定位难题。又如，通过视觉我们在突破了技术的情况下，怎样进行测量零部件。这里可采用我们提出的多尺度特征提取，实施三维的测量方法，最终达到三维的机器人测量。在零部件加工制造测量完的情况下，怎样进行质量的判断。同样采用AI 技术完成高分辨率视觉，通过视觉深度学习判定加工质量是否符合要求。

上面介绍了第一个技术，下面介绍第二个关键技术——机器人怎样高效的规划和精准的控制。

有了感知以后，我们怎样规划好。在生产线过程中，加工零部件的制造过程中，它面临的最大问题就是零部件复杂、结构化、空间小，怎样在狭小的空间指挥机器人精准地进行加工，需要很好的规划。目前研究规划要解决的第一个问题是实施位置估计；第二个问题是精准的规划角色；第三个问题是精准的轨迹跟踪。近年来，国内外研究现状都做了大量工作，绝大部分主要体现在怎样自适应的鲁棒视觉控制、多约束轨迹的规划，第三个变结构的控制应用的比较广。我举几个例子，第一个，自适应的鲁棒视觉跟踪控制，重点是解决重载抓起和定位的问题。第二个，多约束，轨迹规划算法，怎样规划好一个复杂的进行加工的路径和机器加工的轨迹，精准地控制它，实时操作。这里提出了基于视觉感知，以特征提取方法，解决复杂工件精准配准的问题和装配的问题。第三个，比如在打磨抛光，它的力位混合怎么控制好，这需要我们提到的变结构，精准的控制方法。第四个，比如通过AI 深度学习，可以辅助我们精准的控制，使机器通过第一次加工比较粗，第二次加工精确精密一点，第三次、第四次通过无限的迭代学习，最终使机器人像人一样学会操作。第五个就是视觉装配，这里也体现了视觉的作用。

第三个关键技术专业性比较强，就是多机器人的高效协同加工。

下面通过一些例子给大家进行介绍。

我们在一条非常复杂的柔性生产线过程中怎样协同？这些机器有条不紊由多个机器人来操作，这里就需要AI 技术——智能规划和调度。因为在生产线中它会面临多个机器人，面临多任务、多工序、多机器的强耦合，我们怎样解决这些问题和挑战？克服攻克这些技术难点就需要一个很好的决策系统对多个机器进行协同。第二个任务的分配。第三怎样自主的决策。解决的思路很多，但是目前在国内外应用比较好的主要是多机械协同优化的调度算法、工序优化调度的决策，以及高效优化的决策。这些手段最终目的就是要在高速生产线中，机器人能够完成定制化、小批量、多品种的生产。

怎样实施这些技术？我举一个例子，比如构建加工怎么用多个机器人去完成。一个复杂的大型航空构建，加工需要多个机器人，机器人面临着很多问题，任务多、工序多、环境复杂、信息分散等，多种指标协调起来非常困难。如何完成这些多机的协作？主要解决的思路是，第一解决多机器人的优化调度，怎么进行任务的分解，任务分配给机器人规划好路径，然后进行多个机械的协同控制。多机械在高效大型部件加工中的思路，具体实施过程中有很多复杂的技术，在多机的高效过程中，首先要进行怎样的优化调度和任务分配。第二，对多个机器人怎样进行防碰撞地解决它们的路径规划，使其精准地到达规定地方，并按照预定轨迹进行加工。第三，在这样复杂的背景下，怎样协同这些机器人有条不紊地完成重要任务。这里主要体现在多传感器新兴的融合任务的分配和路径规划、协同的控制。除了单机和多机加工在智能制造中应用最多的制造生产线，高端的数控装备和各种加工的设备怎样进行调度、协同它，这也是一个多机、多工序、多任务分配的问题，是一个多目标优化的问题。如果我们把多机器发挥得好，它可以实现多工序、多个机器的高效作用。

我们主要设置好三大软件，设置好一个多工序的优化调度；第二个多任务进行分配；第三多机器怎样控制好。下一个柔性生产线都是采用模块化、组装化的，一旦产品发生变化，通过模块化重新组装，然后改变软件重新变成一条完整的生产线，仍然可以适应生产另外一种产品，从而能够真正解决智能制造所提出来的多工序、多任务、多机器的生产适应性这一大难题。完成定制化的过程。

前面讲到的在有感知规划、精准的进化完成了三大关键技术，接下来就是要突破工程的应用。

机器人生产线的工程应用是一个复杂系统，需要开发一个完整的智慧生产线大脑，也就是控制系统。机器人控制系统由几个部分组成，第一个部分在生产线过程中怎样去完成多机器的协同。比如，多个机器人怎样协同进行焊接，多个机器人怎样进行协同抛光，多个机器人怎么协同的打磨及装配；比如大型的机翼，航空客机它的机翼的装配用多个机器人怎么完成？这些需要针对性设计好软件和硬件，在AI 技术里最核心的我们要感知到每个机器人工作的状态，采用分布式的传感。有了感知系统，怎样有效地进行每个机器人的动作规划；规划好后要找出最佳的轨迹加工路径；有了轨迹加工路径，我们交给控制系统，指挥控制系统控制这些机身，有条不紊地实施多机器人的协同。所以最核心的就是要给它一个智慧的、智能制造的大脑，整个大脑涵盖分布式的传感协同的规划与决策、分布式的控制线三大部分。

有了这套完整的加工制造控制系统就可以应用到不同领域，比如应用到汽车加工自动化生产线、应用到发动机装配生产线、应用到大型盾构机的生产制造和刀盘加工，可以采用多个机器人的协作。盾构机的刀盘加工是一个大型构件，可以采用多机协同加工和组装；比如电子制造、精密的电子制造组装，也可以采用人机协同共用机器人来组装电子零部件生产线，体现到人机共荣。

在精密装配中采用视觉控制。比如，在工程应用中，用机器人和数控配合加工高端的航空发动机叶片，因为叶片80% 都是航空发动机的关键部件，占有80% 的工作量；在航空发动机的装配中，首先为了装配进去就需要用三维的视觉测量；在大型舰船螺旋桨的加固过程中，可以采用多个机器协同完成。过去这些工作采用人工时间比较多，现在用机器人来完成，其加工周期短、效率高，且质量达到了更高的要求。再比如，现在在高端大型装备制造和加工过程中，以及高速列车的车主装配、转向的加工中，仍然可以采用多个机器人的协同来装配。

今天已经进入到了机器人时代，比如我们的大型构件、核电和大型发电厂，其复杂的部件加工都可以采用机器人三维激光切割、三维激光焊接、三维激光测量完成。这些都是机器人在整个高端装备制造中发挥的重要作用，体现它两个核心——机器人的感知、机器人的规划路径和决策控制，使机器人像人一样完成复杂的智能制造零部件的加工制造。

还有近年来我们开发的高端无菌化机器人制药生产线这一柔性生产。过去在制药过程中都采用人工配药，今天多个机器人可以协同进行灌装、分解、包装整个药品，真正做到了机器人灵巧精准的作业；多机器人协作完成任务，实现无菌化、无人化，以及数字化的制药生产，真正达到在整个制药过程中都能够安全、高效追溯。今年新冠肺炎的发生，机器人在制药过程中发挥了重大的作用。它的产线生产过程和效率都满足了人们的需求，源源不断生产人们需要的不同医药产品。

刚才我主要介绍了智能制造机器人的三个关键技术，第一个关键技术是智能制造里机器人的感知技术；第二个是智能制造机器人精准规划、路径轨迹规划和精准的控制；第三个重点介绍了多机器人的协同作用；同时介绍了机器人在智能制造中发挥的作用——高端装备的作用。此外我们还有很多工作要做，因为未来机器人高端中还要面临很多问题，它的发展方向和需要做的工作有哪些，这就是我今天介绍的第三部分。

三、未来机器人在智能制造中有哪些发展方向

机器人，不管是工业机器人、服务机器人，还是特种机器人也好，未来都是向着智能化发展。智能机器人是人工智能的重要应用，也是人工智能应用的皇冠上的明珠。目前常用的大部分机器人还处在一个自动化的状态，也就是大部分工业机器人除了机器人本体，机器人电机、机器人的感知这方面还有待加强。这就是工业1.0 的机器人，大部分普通的低端的机器人大量应用在生产线，是自动化的装置。

现在我们逐步过渡到机器人的2.0 数字化，就是刚才我介绍的机器人，在工业机器人的基础上能够收集现场的加工数据、感知到环境的适应性、辅助人的辅助决策思维。未来机器人要向3.0看齐，能够有学习能力、交互能力，以及有多模态的分析判断和人际交互、人机协作的能力。

未来机器人的方向发展更多的是朝向我们今天所提的自主化的服务、持续的学习、协同的学习和场景知识。在控制器方面能够体现它知识的图谱，加入知识图谱提升机器人的智慧；在控制方面要体现在云边端，无缝协同计算；在数据方面要提倡更加安全。工业机器人、服务机器人都是向着智能化发展。机器人在智能制造中的发展，未来一定的是人机合作的方向。智能制造机器人是向着智能化、柔性化、灵巧化、协作化、现代化发展，主要目的是要适应网络化的协同制造、大规模的定制化制造。这就需要人机协作中，使机器人能够自主的感知、自主的处理、自主的决策和执行。也就是，机器人要像一个自主的人一样能够独立处理问题，这就需要我们在技术上有深度突破，比如具有信息深度的感知、智慧的决策、精准的控制这些功能，这是第一发方向的趋势，目前全世界都向这个方向发展。

第二个在工厂方面，今天机器人是关在笼子里的，要把它圈起来，防止危害人类；我们认为明天的机器人一定是人机共有、人机互动，它的发展方向是一个轻量化、灵活化的人机共用，这样在整个工厂就像一个办公室，能够人机协作工作。

第三个方向发展是工业4.0，智能生产线提出的要求。如我们要使机器人能够看懂说明书，提醒通过一双明亮的眼睛能够看懂说明书，能够组装这台手机；通过利用机器人的大脑识别系统能够阅读尺寸、安装位置，使机械能够从信息物理系统中获得产品说明书，对照进行装配。这就是人们向往的未来机器人发展的第三个方向。

第四个方向就是5G 网络的多机器人协作。一台机器人要达到这样的功能，它在技术手段上有哪些。我们今天已经进入5G 时代，要充分利用5G 技术，在云端、在边缘端、在终端进行有深度的融合，构建我们的智能机器人系统；也就是在硬件平台上，机器人本体边缘端、云端方面要构建机器人的操作系统，要构建出一个网络化的操作系统。所以我们的开发工具要跟上。

我们在移动平台和感知能力方面，要建立大量的人际交互能力，也就是自适应的机器人人机交互；要建立起完整的知识库和三维的语义，以及场景的理解和个性化的知识图谱。现有的1.0机器人真正能变到我们的3.0。智能化的3.0 机器才能应对不同的应用场景，如智能的提醒、寻找物流日常行为的检测等不同的应用场景。

第五个发展方向，人们更多的是将云计算、互联网知识库有机结合，再形成一个互联互通，云端下的人机交互协作来开展智慧的智能制造，把很多复杂的工作交到云端，实施性很强的控制指令命令交到边缘端。要建立起产品智能设计的知识库，提交给自动化的产品设计需要达到真正的自主学习、自主解决问题能力的机器人系统。

第六个发展方向是如何高效的多机器协同。在车间、在社会层面我们都要充分利用云层边缘层设备现场上的自动化生产系统来解决，真正实施多个机器人协同作业、边缘有效的计算和实时的控制。在工厂这个层面上，我们有复杂的生产线，通过工业互联网络连接起来，把工业加工机器人作业移动到机器人生产线；立体仓库有机结合起来，收集数据进行计算，提供软件决策分析的有效供给，最终会应用生产不同的大型装备，提供有效的智能制造。

总之，未来机器人的发展方向主要体现在人机交互和人机合作方面。人际交互需要突破的核心技术有三维的完全感知、导航对人的灵巧操作、直观的人机交互、行为的安全等关键技术。最终要解决主要的三个科学问题，第一个要揭示机器人与非结构化环境下不确定性作业任务的适应性能力，为现代的机器人创造、创新和设计提供理论依据；第二个要解决的科学问题是揭示机器人能够理解人的行为和抽象指令的机制，为智能机器人的构建设计，以及人机沟通和安全机制提供有效的理论依据；第三个要探索和揭示人机交互，以智力协同的控制原理，为机器人的人机协作提供有效的技术支撑。

（本报告由湖南大学张辉教授整理）

本文链接：https://www.bjjcc.cn/kepu/16559.html，文章来源：科普之家，作者：中国人工智能学会，版权归作者所有，如需转载请注明来源和作者，否则将追究法律责任！