门户
图库
科技
数据
VR
区块链
学院
论坛
百科
导航
登录
注册
帮助
公社首页
中国人工智能社区
公社版块
公社群组
Group
升级会员
用户名
Email
自动登录
找回密码
密码
登录
立即注册
登录后你可以:
登录
首次使用?
点我去注册
搜索
搜索
本版
帖子
公社群组
用户
道具
勋章
任务
设置
我的收藏
退出
首页
›
公社水吧
›
大话智能
›
中国首份人工智能安全报告发布 :AI深度伪造欺诈激增30 ...
返回列表
中国首份人工智能安全报告发布 :AI深度伪造欺诈激增30倍
[复制链接]
hjkoye
2024-3-3 13:29:14
显示全部楼层
|
阅读模式
2024年2月29日,奇安信集团对外发布《2024人工智能安全报告》(以下简称《报告》)。《报告》认为,人工智能技术的恶意使用将快速增长,在政治安全、网络安全、物理安全和军事安全等方面构成严重威胁。
《报告》揭示了基于AI的12种重要威胁,同时给予应对建议。根据《报告》,2023年基于AI的深度伪造欺诈暴增了3000%,基于AI的钓鱼邮件增长了1000%;目前已发现有多个有国家背景的APT组织,利用AI实施了十余起网络攻击事件……但目前,业界对AI潜在风险的研究与重视程度仍远远不足,《报告》认为,在积极拥抱大模型等人工智能技术之时,各界对其安全风险应保持警醒。
大模型引爆AI热潮,双刃剑效应显现
2022年以后,以ChatGPT为代表的大语言模型(Large Language Model,LLM)AI技术快速崛起,后续的进展可谓一日千里,迎来了AI技术应用的大爆发,展现出来的能力和效果震惊世界。IDC调研显示,67%的中国企业已经开始探索 AIGC 在企业内的应用机会或进行相关资金投入。IDC预测,2026年中国AI大模型市场规模将达到211亿美元,人工智能将进入大规模落地应用关键期。
《报告》认为,“AI是一种通用技术,通用就意味着既可以用来做好事,也可以被用来干坏事”。具有巨大潜力的AI技术同时带来两大主要挑战:一是放大现有威胁,另一个是引入新型威胁。奇安信预计,未来十年,人工智能技术的恶意使用将快速增长,将在政治安全、网络安全、物理安全和军事安全等方面构成严重威胁。
研究发现,人工智能已成攻击工具,并带来迫在眉睫的威胁,相关的网络攻击频次越来越高。数据显示,2023年基于AI的深度伪造欺诈暴增了3000%,基于AI的钓鱼邮件数量增长了1000%;奇安信威胁情报中心监测发现,已有多个有国家背景的APT组织利用AI实施了十余起网络攻击事件。各类基于AI的新型攻击种类与手段不断出现,甚至出现泛滥,包括深度伪造(Deepfake)、黑产大语言模型、恶意AI机器人、自动化攻击等,在全球造成了严重危害。
在当前波谲云诡、风高浪急的国际形势下,快速发展的AI带来了更加复杂和难以预测的军事威胁,包括相关武器系统的误用、滥用甚至恶用,导致战争不可控性增加。例如人工智能被用在“机器人杀手”等致命性自主武器(LAWS)上,可能会导致无差别杀戮。数据显示,2024财年,美国国防部计划增加与AI相关的网络安全投资,总额约2457亿美元,其中674亿美元用于网络IT和电子战能力。
AI引入或放大12种威胁,业界对AI风险重视不足
《报告》深入研究了基于AI的深度伪造(Deepfake)、黑产大语言模型基础设施、利用AI的自动化攻击、AI武器化、LLM自身安全风险、恶意软件、钓鱼邮件、虚假内容和活动生成、硬件传感器安全等12种重要威胁,对其技术原理、危害情况、真实案例等进行了深入的剖析,旨在让业界更全面的认识到AI普及带来的两大主要挑战:一方面放大了现有威胁,比如钓鱼邮件、恶意软件和社会工程学等;另一方面是引入了新型威胁,如AI自动化攻击、AI深度伪造等。
以AI武器化为例,据法新社2月10日报道,以色列军队首次在加沙地带的战斗中采用了人工智能(AI)军事技术,包括AI驱动的瞄准器和无人机等.引发了人们对现代战争中使用自主武器的担忧。这些技术正在摧毁对手的无人机,并被用于绘制哈马斯组织在加沙的庞大隧道网络地图等。这仅仅是AI武器化、加剧军事威胁趋势的冰山一角。
《报告》认为,AI与大语言模型本身伴随着安全风险,业内对潜在影响的研究与重视程度仍远远不足。全球知名应用安全组织OWASP发布大模型应用的十大安全风险,包括提示注入、数据泄漏、沙箱不足和未经授权的代码执行等。此外,因训练语料存在不良信息,导致生成的内容不安全,正持续引发灾难性的后果,危害国家安全,公共安全甚至个人安全,这些都亟需业内的高度重视和积极应对。
AI威胁该如何应对?行业亟待加强监管,推动安全范式变革
《报告》从安全行业、监管机构、政企机构、网络用户等群体角度,给出了应对AI威胁的建议。其中安全行业需要继续发挥能力优势,确保人工智能本身的安全性,并积极利用人工智能用于安全防护;监管机构需要对AI潜在风险与影响保持持续关注,在制度和法规上及时提供支持;政企机构需及时部署AI安全框架和解决方案,以及AI安全评估服务和检测工具,还要依托AI推动安全升级;网络用户在尝试最新人工智能应用的同时,同样需要更新安全知识,形成良好的安全习惯。
面对AI网络攻击、AI武器化等日益严峻的安全威胁,《报告》认为,AI技术将会推动安全领域发生范式变革,全行业需启动人工智能网络防御推进计划。新一代AI技术与大语言模型改变安全对抗格局,将会对地缘政治竞争和国家安全造成深远的影响,各国正在竞相加强在人工智能领域的竞争,以获得面向未来的战略优势。全行业需启动人工智能网络防御推进计划,包括利用防御人工智能对抗恶意人工智能,扭转“防御者困境”。
奇安信AI安全专家认为,一个影响深远的新技术出现,人们一般倾向于在短期高估它的作用,而又长期低估其影响。当前,攻防双方都在紧张地探索AI杀手级的应用,数月甚至数天就出现重大的变化。专家提醒,无论监管机构、安全行业,还是政企机构,都需要积极拥抱潜力巨大的AI技术与大模型,同时审慎评估其影响的不确定性,确保监管与治理及时跟进,不能先上车再补票。
本帖子中包含更多资源
您需要
登录
才可以下载或查看,没有账号?
立即注册
x
回复
使用道具
举报
发表新帖
高级模式
B
Color
Image
Link
Quote
Code
Smilies
您需要登录后才可以回帖
登录
|
立即注册
本版积分规则
发表回复
回帖后跳转到最后一页
hjkoye
注册会员
0
关注
0
粉丝
18
帖子
Ta的主页
发布
加好友
最近发表
中国民用无人机物美价廉,乌克兰三方购得,外交部:责任不在中方
泽连斯基等到了?上千架中国无人机到货,乌方暗渡陈仓,要坏大事
智能穿戴概念23日主力净流入1.25亿元,力源信息、劲拓股份居前
智能穿戴围城:先驱Fitbit停产,Keep们正强势入局
为了健康,你可能越来越难离开你的智能穿戴设备
智能家居、国货“潮品”卖得好!今年我国消费市场平稳增长
公社版块
版块推荐
更多版块
智能穿戴
智能家居
机器人
无人驾驶
无人机
反馈吐槽
闲聊灌水
大话智能
大数据
图像识别
自然语言
数据挖掘
大话智能
数据挖掘
北大讲座
清华讲座
网贷观察
股市评论
区块链
闲聊灌水
反馈吐槽
站务通知
关注我们