类脑多模态感知与信息处理在脑神经网络结构和多模态信息处理机制的启发下,从类脑视觉感知、类脑听觉感知、类脑视听觉协同、类脑自然语言处理和智能决策五个方面入手,突破关键技术,发展类脑多模态感知新方法和新理论,在图像识别、语音识别、情感计算、自然语言推理、常识问答等典型应用上取得重要突破。
该方向的具体技术内容如下图所示。