OpenAI报告揭示的网络影响操作
关键要点
OpenAI发布的报告指出,利用其ChatGPT和DALLE模型的五个网络影响操作活动缺乏复杂性,公共影响力有限。报告中提到的威胁行为者主要来自俄罗斯、中国、伊朗和以色列。OpenAI通过停止恶意账号、分享威胁情报和改进安全系统来应对信息虚假活动。OpenAI在最近发布的报告中揭露了五个利用其模型进行的网络影响操作IO活动。这些活动虽然使用了生成性人工智能,但整体上缺乏复杂性,对公众舆论的影响也微乎其微。OpenAI通过对这些恶意账户的调查,分享威胁情报并完善自身的安全系统,以抵御网络威胁者的策略。此外,OpenAI已经停止了与这些恶意活动相关的账户。

GenAI在社交媒体上的应用
在被发现的活动中,ChatGPT这一大型语言模型主要用于内容生成、伪造社交媒体互动以及提高生产力的任务,例如翻译、脚本调试和社交媒体分析。
报告指出,没有任何威胁行为者完全依赖于人工智能来推动他们的运营,而是将AI生成的内容与人类撰写的内容或网络上复制的内容相结合。
下表总结了报告中涉及的威胁行为者及其活动:
行动代号参与国家主要活动影响评分Bad Grammar俄罗斯在Telegram上发布与俄乌战争相关的评论2/6Doppelganger俄罗斯在X和9GAG上发布反乌克兰和反美评论2/6Spamouflage中国在社交媒体和Medium等网站上发布亲中评论2/6IUVM伊朗使用ChatGPT生成亲伊朗、反美和反以色列内容2/6Zero Zeno以色列涉及多平台的AI生成社交媒体帖子,干预多项议题2/6例如,“Bad Grammar”这一俄罗斯活动通过在Telegram上发布评论,试图在公众之间影响对俄乌战争的看法。该活动使用了ChatGPT生成的内容,还对用于自动发布评论的代码进行了调试。
与此同时,“Spamouflage”作为一个来自中国的威胁行为者,在多个社交媒体上发布了AI生成的亲中政府评论。该威胁者利用ChatGPT进行代码调试、社交媒体分析和时事研究等任务。
OpenAI加强防御以防止AI生成的虚假信息
报告描述了OpenAI为应对如上述案例中的隐蔽影响操作所采取的多种方法。OpenAI利用其自有的AI模型提高对潜在对抗性使用的检测能力,以便更好地调查有害活动并终止恶意账户。报告强调,OpenAI的模型在面对威胁行为者的请求时,拒绝执行某些任务。
OpenAI的调查也建立在其他公司和研究者分享的信息之上,这些信息包括Meta、微软和Disinfolab对“Doppelganger”威胁行为者的了解,以及Mandiant和路透社关于伊朗影响操作的文章。
最后,OpenAI强调“分享”从实际错误使用中学到的经验很重要。他们表示:“整体来看,这些趋势揭示了一个不断演变的威胁格局,威胁行为者正在利用我们的平台来改善他们的内容与工作效率。然而,到目前为止,他们仍在努力接触和吸引真实的受众。”