项目描述:
项目在前期的智能机器人研究中主要开展了视觉信息获取与智能理解、多模态信息融合等方面研究工作,在研究中逐渐发现,在许多人机交互真实环境场景应用中都需要解决一下几个关键的研究问题:
视觉感知与场景语义信息获取:机器人视觉感知信息的自动获取,包括人物、物体及场景语义信息获取、预处理、分割、识别、数据存储是人机交互的关键基础;
多模态信息的智能理解:如何准确理解机器视觉与语音等多模态信息,将注意力集中定位到关键信息上,是人机交互研究的重点和难点之一;
多模态信息的融合和互补:视觉与语音等多模态信息融合、作为彼此信息的互补,通过特征表示学习协同特征表达,是提高智能机器人交互能力自然度的关键技术。
深度学习模型压缩:现有深度学习模型参数量大、冗余度高,计算代价高昂,难以用于计算资源受限的机器人嵌入式设备环境,大大制约了深度模型在机器人系统上的应用。如何有效压缩深度模型并有效部署到低资源系统中是一个关键难点。
本项目将围绕上述问题展开研究,在医疗服务、儿童教育与陪伴、迎宾导航等领域实现应用示范,研究的技术和系统对提升智能机器人产业创新能力和应用规模具有重要价值和意义。