门户
图库
科技
数据
VR
区块链
学院
论坛
百科
导航
登录
注册
帮助
公社首页
中国人工智能社区
公社版块
公社群组
Group
升级会员
用户名
Email
自动登录
找回密码
密码
登录
立即注册
登录后你可以:
登录
首次使用?
点我去注册
搜索
搜索
本版
帖子
公社群组
用户
道具
勋章
任务
设置
我的收藏
退出
首页
›
公社水吧
›
大话智能
›
中国首份人工智能安全报告发布 :AI深度伪造欺诈激增30 ...
返回列表
中国首份人工智能安全报告发布 :AI深度伪造欺诈激增30倍
[复制链接]
hjkoye
2024-3-3 13:29:14
显示全部楼层
|
阅读模式
2024年2月29日,奇安信集团对外发布《2024人工智能安全报告》(以下简称《报告》)。《报告》认为,人工智能技术的恶意使用将快速增长,在政治安全、网络安全、物理安全和军事安全等方面构成严重威胁。
《报告》揭示了基于AI的12种重要威胁,同时给予应对建议。根据《报告》,2023年基于AI的深度伪造欺诈暴增了3000%,基于AI的钓鱼邮件增长了1000%;目前已发现有多个有国家背景的APT组织,利用AI实施了十余起网络攻击事件……但目前,业界对AI潜在风险的研究与重视程度仍远远不足,《报告》认为,在积极拥抱大模型等人工智能技术之时,各界对其安全风险应保持警醒。
大模型引爆AI热潮,双刃剑效应显现
2022年以后,以ChatGPT为代表的大语言模型(Large Language Model,LLM)AI技术快速崛起,后续的进展可谓一日千里,迎来了AI技术应用的大爆发,展现出来的能力和效果震惊世界。IDC调研显示,67%的中国企业已经开始探索 AIGC 在企业内的应用机会或进行相关资金投入。IDC预测,2026年中国AI大模型市场规模将达到211亿美元,人工智能将进入大规模落地应用关键期。
《报告》认为,“AI是一种通用技术,通用就意味着既可以用来做好事,也可以被用来干坏事”。具有巨大潜力的AI技术同时带来两大主要挑战:一是放大现有威胁,另一个是引入新型威胁。奇安信预计,未来十年,人工智能技术的恶意使用将快速增长,将在政治安全、网络安全、物理安全和军事安全等方面构成严重威胁。
研究发现,人工智能已成攻击工具,并带来迫在眉睫的威胁,相关的网络攻击频次越来越高。数据显示,2023年基于AI的深度伪造欺诈暴增了3000%,基于AI的钓鱼邮件数量增长了1000%;奇安信威胁情报中心监测发现,已有多个有国家背景的APT组织利用AI实施了十余起网络攻击事件。各类基于AI的新型攻击种类与手段不断出现,甚至出现泛滥,包括深度伪造(Deepfake)、黑产大语言模型、恶意AI机器人、自动化攻击等,在全球造成了严重危害。
在当前波谲云诡、风高浪急的国际形势下,快速发展的AI带来了更加复杂和难以预测的军事威胁,包括相关武器系统的误用、滥用甚至恶用,导致战争不可控性增加。例如人工智能被用在“机器人杀手”等致命性自主武器(LAWS)上,可能会导致无差别杀戮。数据显示,2024财年,美国国防部计划增加与AI相关的网络安全投资,总额约2457亿美元,其中674亿美元用于网络IT和电子战能力。
AI引入或放大12种威胁,业界对AI风险重视不足
《报告》深入研究了基于AI的深度伪造(Deepfake)、黑产大语言模型基础设施、利用AI的自动化攻击、AI武器化、LLM自身安全风险、恶意软件、钓鱼邮件、虚假内容和活动生成、硬件传感器安全等12种重要威胁,对其技术原理、危害情况、真实案例等进行了深入的剖析,旨在让业界更全面的认识到AI普及带来的两大主要挑战:一方面放大了现有威胁,比如钓鱼邮件、恶意软件和社会工程学等;另一方面是引入了新型威胁,如AI自动化攻击、AI深度伪造等。
以AI武器化为例,据法新社2月10日报道,以色列军队首次在加沙地带的战斗中采用了人工智能(AI)军事技术,包括AI驱动的瞄准器和无人机等.引发了人们对现代战争中使用自主武器的担忧。这些技术正在摧毁对手的无人机,并被用于绘制哈马斯组织在加沙的庞大隧道网络地图等。这仅仅是AI武器化、加剧军事威胁趋势的冰山一角。
《报告》认为,AI与大语言模型本身伴随着安全风险,业内对潜在影响的研究与重视程度仍远远不足。全球知名应用安全组织OWASP发布大模型应用的十大安全风险,包括提示注入、数据泄漏、沙箱不足和未经授权的代码执行等。此外,因训练语料存在不良信息,导致生成的内容不安全,正持续引发灾难性的后果,危害国家安全,公共安全甚至个人安全,这些都亟需业内的高度重视和积极应对。
AI威胁该如何应对?行业亟待加强监管,推动安全范式变革
《报告》从安全行业、监管机构、政企机构、网络用户等群体角度,给出了应对AI威胁的建议。其中安全行业需要继续发挥能力优势,确保人工智能本身的安全性,并积极利用人工智能用于安全防护;监管机构需要对AI潜在风险与影响保持持续关注,在制度和法规上及时提供支持;政企机构需及时部署AI安全框架和解决方案,以及AI安全评估服务和检测工具,还要依托AI推动安全升级;网络用户在尝试最新人工智能应用的同时,同样需要更新安全知识,形成良好的安全习惯。
面对AI网络攻击、AI武器化等日益严峻的安全威胁,《报告》认为,AI技术将会推动安全领域发生范式变革,全行业需启动人工智能网络防御推进计划。新一代AI技术与大语言模型改变安全对抗格局,将会对地缘政治竞争和国家安全造成深远的影响,各国正在竞相加强在人工智能领域的竞争,以获得面向未来的战略优势。全行业需启动人工智能网络防御推进计划,包括利用防御人工智能对抗恶意人工智能,扭转“防御者困境”。
奇安信AI安全专家认为,一个影响深远的新技术出现,人们一般倾向于在短期高估它的作用,而又长期低估其影响。当前,攻防双方都在紧张地探索AI杀手级的应用,数月甚至数天就出现重大的变化。专家提醒,无论监管机构、安全行业,还是政企机构,都需要积极拥抱潜力巨大的AI技术与大模型,同时审慎评估其影响的不确定性,确保监管与治理及时跟进,不能先上车再补票。
本帖子中包含更多资源
您需要
登录
才可以下载或查看,没有账号?
立即注册
x
回复
使用道具
举报
发表新帖
高级模式
B
Color
Image
Link
Quote
Code
Smilies
您需要登录后才可以回帖
登录
|
立即注册
本版积分规则
发表回复
回帖后跳转到最后一页
hjkoye
注册会员
0
关注
0
粉丝
17
帖子
Ta的主页
发布
加好友
最近发表
重量仅4.21克!我国科研团队研发出太阳能动力微型无人机:在纯自
从几百到几亿美元,各类无人机已遍布战场,中国该如何应对?
航拍无人机怎么选?大疆无人机盘点推荐
比“顺丰双尾蝎”还强!国产11吨级无人机开建,又是全球第一?
大疆今天发布的无人机,让我觉得上天也没那么难
“彩虹”VS“翼龙”,中国军用无人机两大王牌,都各有哪些精品?
公社版块
版块推荐
更多版块
智能穿戴
智能家居
机器人
无人驾驶
无人机
反馈吐槽
闲聊灌水
大话智能
大数据
图像识别
自然语言
数据挖掘
大话智能
数据挖掘
北大讲座
清华讲座
网贷观察
股市评论
区块链
闲聊灌水
反馈吐槽
站务通知
关注我们