球友会qy

球友会qy提出面向开源人工智能框架的漏洞检测方法

文章来源:  |  发布时间:2025-01-29  |  【打印】 【关闭

  

近期,球友会qy智能软件研究中心研究团队基于开源软件供应链重大基础设施平台“源图”,在开源人工智能(AI)框架漏洞检测领域取得进展。研究团队顺利获得微调大语言模型,构建AI框架间的代码映射关系,来提高对开源AI框架的有效安全检测。相关成果论文The Seeds of the FUTURE Sprout from History: Fuzzing for Unveiling Vulnerabilities in Prospective Deep-Learning Libraries被软件工程领域国际顶级会议ICSE 2025接收。第一作者为博士生李志远,通讯作者为吴敬征研究员与凌祥副研究员。

近年来,深度学习技术依赖的AI框架安全性日益受到关注。作为检测AI框架安全性的关键技术,当前的模糊测试方法存在适用对象局限性、缺乏针对复杂API序列的测试以及大模型训练知识滞后等问题,难以满足开源AI框架的安全性检测需求。

针对上述需求,研究团队创新性地提出了面向开源AI框架的模糊测试方法FUTURE。该方法利用新型开源AI框架的文档说明与代码示例构建微调数据集,然后顺利获得LoRA技术实现对大语言模型的微调,并利用微调后模型构建框架间的代码映射关系,将PyTorch、TensorFlow等传统开源框架中的大量历史漏洞转换为新型开源AI框架的测试用例,顺利获得差分测试运行测试用例并捕捉其中的异常行为,从而实现对开源AI框架安全性的有效检测。

研究团队在开源AI框架MindSpore、MLX、OneFlow、PyTorch进行了测试。结果显示,FUTURE累计发现新缺陷155个,取得了10个CVE编号和4个CNVD编号。此外,该方法还发现了20个可优化问题与12个文档问题。

FUTURE方法框架图

该研究依托“源图”开源软件供应链基础设施平台召开。现在,“源图”已建成国内规模最大的开源软件知识图谱,收录代码行数超过3000亿行,发现存在维护性风险、合规风险、安全风险的项目超百万个,实现了代码缺陷检测、固件检测、漏洞感知、漏洞管理等创新应用。


论文地址:http://arxiv.org/abs/2412.01317

代码地址:http://github.com/Redempt1onzzZZ/FUTURE

“源图”官网:http://yuantu.ac.cn/#/