ANHUI PROVINCIAL KEY LABORATORY OF SECURITY ARTIFICIAL INTELLIGENCE
ANHUI PROVINCIAL KEY LABORATORY OF SECURITY ARTIFICIAL INTELLIGENCE
您好,欢迎来到安徽省安全人工智能重点实验室!
(1)人工智能安全理论
通过对数据、模型学习参数、目标函数进行扰动,研究平衡个体隐私和群体隐私的差分隐私算法,为隐私保护的模型学习提供理论基础;研究高效同态与半同态加密算法,提出基于可信计算的加速方案,解决同态加密因开销过大而无法用于实现人工智能安全的问题;研究安全多方计算方案,保证安全性的前提下提升安全多方计算方案的性能,赋能大规模分布式隐私保护学习。
(2) 人工智能框架安全性分析及加固
针对特定学习模式及框架,研究安全隐私风险评估方法,探究不同学习框架及模型中隐私泄露的一般性机理,构建通用分析框架;重点针对跨设备、跨场景的联邦学习场景,分析学习主体的行为,探究数据在训练过程中出现的隐私泄露场景,基于聚类方法提出联邦学习框架下的恶意用户识别方法,通过知识蒸馏与数据清理,提出对应安全加固方法。
(3) 人工智能模型安全测试
针对模型逆向攻击,探究其攻击机制,了解其内在攻击机制,探索置信度值和置信区间等模型参数和预测结果构建的逆向攻击方案,设计隐藏数据统计参数和模型参数的方案,构建对抗模型逆向攻击的安全防护方案,提出基于差分隐私的方案对数据和模型参数进行扰动,构建基于差分隐私机制等隐私保护策略,引入隐私风险的度量手段。