今年春晚有一群特别的“舞者”,它们穿着漂亮的花袄,手里拿着鲜艳的手绢,和真人演员一起欢快地扭着秧歌,一出场便吸引了所有人的目光,它们就是科技精灵“福兮”,型号为宇树H1,来自杭州宇树科技有限公司,是这家公司旗下首款通用人形机器人。
工程师为了让“福兮” 学会扭秧歌,可花了不少心思,你们知道工程师们花了哪些心思吗?
图源:潮新闻
1. 学动作
舞蹈演员在镜头前跳舞,“福兮” 则像个认真的学生,用AI软件把动作 “看” 下来,而“看”所用到的是计算机视觉技术,它会对演员的动作进行实时分析和处理。在这个过程中,软件会识别出演员的关键姿态和动作轨迹,并将这些信息用数字化的数据表示,即初步的指令代码。然而,初步的指令代码往往还不能直接用于控制“福兮”的动作。工程师们可能会根据“福兮”的运动能力、关节限制以及动力学特性等因素,对指令代码进行量化调整,以确保“福兮”更精准的学习动作。例如,他们可能会调整动作的时间间隔,以确保“福兮”能够流畅地完成每一个动作;或者调整动作的空间位置,以确保“福兮”在舞台上能够准确地定位自己。
通过这一系列的调整和优化,工程师们最终能够将指令代码转化为“福兮”能够理解和执行的控制指令,从而使其能够准确地学习并复现出舞蹈演员的动作。
2. 听音乐
工程师为“福兮”设计了专门的AI算法 ,以便福兮“听懂”音乐,算法核心在于对音乐信号的深度解析和智能转化。这个算法首先会对输入的音乐进行预处理,包括音频信号的采样、滤波和降噪等,以确保获取到清晰、准确的音乐数据。接着,算法会运用先进的音频分析技术,对音乐信号进行频谱分析、节奏检测、旋律提取等处理。频谱分析可以帮助算法理解音乐的频率成分,如低音、中音和高音的比例,以及它们随时间的变化;节奏检测则能够识别出音乐的节拍和节奏模式,这是舞蹈动作与音乐同步的基础;旋律提取则是捕捉音乐的主旋律线,理解音乐的情感走向和旋律起伏。在解析了音乐的基本元素后,算法会进入智能转化阶段。它会根据预设的舞蹈规则和风格库,将音乐元素映射到相应的舞蹈动作上。例如,欢快的音乐可能对应着活泼的跳跃和快速的旋转,而舒缓的音乐则可能对应着柔美的手势和流畅的步伐,因此他们可以根据不同风格的音乐,展现不同类型的舞蹈,音乐欢快,它舞蹈活泼;音乐舒缓,它动作优美。
3. 默契配合
“福兮”在春晚舞台上大放异彩,靠的是身上的 “秘密武器”——高精度3D激光技术,像有一双超级眼睛,不管舞台多乱、人多挤,都能知道自己在哪、该往哪走。福兮使用的是LiDAR技术来实现高精度3D激光定位和自我导航。它是一种利用激光测距原理进行三维空间测量的先进技术,它赋予“福兮”在复杂环境中精准定位和自我导航的能力,使它能够在拥挤的舞台环境中精准定位自己和其他机器人的位置,确保它们能够按照预定的编队和动作进行表演;该技术还使得“福兮”能够实时感知周围环境的变化,如其他演员或道具的移动,从而做出及时的反应和调整,保持动作的整齐和协调,为“福兮”在春晚舞台上的精彩表演提供了有力保障。
来源:春晚直播截图
4. 手上功夫
“福兮”全身有19个关节,能做出各种灵活动作。工程师还特意在“福兮”的手臂上加了3个 小关节,为了让它能像杂技演员一样抛手绢、接手绢。手绢抛接的动作涉及复杂的运动控制和编程。工程师们通过编写特定的算法和程序,来控制“福兮”手臂上的关节进行精确的运动。这些程序需要考虑到手绢的抛掷角度、速度、高度以及接手绢的时机和位置等多个因素,以确保手绢能够准确地被抛出并接住。为了实现手绢拋接动作的精准控制,“福兮”还配备了各种传感器,如位置传感器、速度传感器等。这些传感器能够实时监测手臂的运动状态和手绢的位置,并将这些信息反馈给控制系统。控制系统根据反馈的信息进行调整,以确保手绢拋接动作的准确性和稳定性。最终,通过综合应用,“福兮”实现了手绢拋接这一复杂而精细的动作。
来源:春晚直播截图
5.上万次测试
为了让“福兮” 春晚直播不出问题,工程师在虚拟平台对单台机器人测试了上万次。就像在正式考试前需要做许多模拟去找出自己的不足,同样工程师也需要提前把错误都找出来,这样 “福兮” 表演时就能顺顺利利。经过上面一系列过程,“福兮”便可以正式上台表演啦!此外,春晚演出可不是“福兮”第一次和大家见面;2023年,福兮首次登上时代舞台,之后在北京世界机器人大会露脸;2024年在英伟达GTC大会展示新技术,还参演了张艺谋导演的舞台剧《澳门2049》。
目前,“福兮”已经成功在春晚舞台上展示了其舞蹈才能,未来可参与更多类型的表演,如它可以作为虚拟偶像或主持人,与观众进行互动,提升节目的趣味性和观赏性,为观众带来全新的体验;其次机器人可以在医疗健康领域大展身手,它可协助医生进行手术操作,提高手术的精确性和安全性;也可在机场、车站、等公共场所,为人们提供导览、咨询和安全检查等服务,提升公共服务的效率和质量。不止这些场景,“福兮”机器人在未来还有更加的应用场景。
供稿单位:重庆理工大学计算机科学与工程学院
作者:重庆理工大学 范伊蕊
审核专家:倪伟
声明:除原创内容及特别说明之外,部分图片来源网络,非商业用途,仅作为科普传播素材,版权归原作者所有,若有侵权,请联系删除。
图文简介