(1)跨媒体知识图谱构建与学习

研究通过跨媒体智能描述技术将语音、视频和文本等跨媒体数据统一成实体世界中语义一致的文本数据，在文本描述基础上构建知识图谱。构建知识图谱可以把跨媒体数据从不同的数据源中抽取出来。通过提取多模态数据中的语义表征和内在关联，实现跨媒体特征表达的高效性和可解释性，突破模型泛化瓶颈问题，提升模型系统的安全性、鲁棒性及可解释性。

(2)跨媒体智能认知计算研究

研究多模态图像视觉信息结构化表示方法；探求视觉信息多元化的理解和多样化认知的技术与方法；针对多源异质图像视觉信息的特征表示，研究建立不同模态图像视觉信息的协同表达模型，实现多模态视觉数据信息互补，克服单一模态视觉信息可能存在的缺失与不稳定等问题。

(3)跨媒体智能医疗

研究跨媒体的医疗内容结构化统一表征理论和知识主动获取方法；同病异治与异病同治的知识张量立体交叉推理等关键技术；开发医疗知识导航的跨媒体类人医学循证推理与辅助诊疗系统。