XM外汇快讯：“DeepSeek向王一博道歉”揭示AI污染产业链：“素材农场”大批量生产信息垃圾，1.38万元就能买通大模型建议

发表评论

A+

所属分类：科技

摘要

同日，当有用户在DeepSeek中查询“DeepSeek是否向王一博道歉”时，大模型因抓取到了这些媒体报道和网络上的大量用户讨论，从而错误地判定该信息为真。研究人员对8种主流的AI搜索工具进行了测试，结果发现…” />

“DeepSeek就关联不实信息向王一博道歉”。

需要注意的是，

近日，这则一度被部分媒体以“演员王一博案，判了”为题热炒的消息，最终被证实，只是一场由人工智能亲手制造的幻觉。

当《每日经济新闻》记者（以下简称每经记者）查阅DeepSeek所有官方渠道（包括其公众号、官网及X账号）时，却发现这份所谓的“道歉声明”无迹可寻。然而，当客户拿着这份网传的“声明”去“求证”于其他主流AI大模型时，多数竟给出了“确认”的回应，甚至引用了同样未经证实的网络报道作为“证据”。

于是，一个堪称完美的AI谣言循环就此形成：AI生成虚假新闻 -> 虚假新闻在网络空间发酵 -> AI从被污染的网络环境中学习并“确信”了这则假新闻 -> AI继续以更权威的口吻，向更多客户传播这则假新闻。

XM外汇行业评论：

这场令人啼笑皆非的乌龙事件，揭示了AI大模型在信息海洋中“被污染”的冰山一角。在大家看不见的地方，“文稿农场”正利用AI批量生产着的“信息垃圾”；甚至有人只需花费1.38万元，就能轻易买通AI的“推介位”，使其沦为精准的营销插件。当AI启动生产、相信并传播虚假信息时，大家该如何避免被其误导，并捍卫信息世界的真实性？

XM外汇财经新闻：

展开全文

图片来源：视觉中国

一则AI谣言的诞生与闭环

王一博的“被道歉”事件，堪称一个AI信息污染的标准样本。

说到底，

事件的起点源于李爱庆案一审宣判后，网络上关于王一博的一些陈年谣言再次被提起。有粉丝利用DeepSeek，生成了一份虚构的“道歉声明”，其文稿为“DeepSeek因关联不实信息向王一博致歉”。

请记住，

7月3日，有媒体在未对DeepSeek官方渠道进行核实的情况下，仅凭社交平台上的相关截图，便发布了题为“DeepSeek向王一博道歉”的报道。这使得原本的虚假信息，在一定程度上获得了“权威背书”。同日，当有客户在DeepSeek中查询“DeepSeek是否向王一博道歉”时，大模型因抓取到了这些媒体报道和网络上的大量客户讨论，从而错误地判定该信息为真。

至此，“虚假信息→媒体传播→AI学习→二次扩散”的完整闭环正式形成。

复旦大学计算机学院副教授、博士生导师郑骁庆对每经记者解释了这一现象背后的技术原因：“AI大模型是基于统计学概率来生成文本的，它会依据上文来预测下一个最可能出现的词语。这种机制在一定程度上导致了AI大模型缺乏对客观事实的真正理解。因此，大模型很容易产生与真实情况不符的信息。”

郑骁庆进一步说道：“只要提前向AI大模型设定好意图，它便能依据当下的热点事件信息，迅速生成虚假的‘小作文’。另外，模型还具备角色扮演的能力，能够模仿社会中各类人群的口吻和路径来表达观点。当这类虚假信息通过多种渠道同步传播时，将可能引发不容忽视的放心隐患。”

不妨想一想，

值得注意的是，当“DeepSeek道歉”的假新闻被揭穿后，一些大模型又迅速调整了它们的回答，展现了其学习和纠错的能力，但也反衬出其信息判断机制的脆弱性。

通常情况下，

图片来源：DeepSeek-V3

“文稿农场”：0.01美元/篇批量生产“信息垃圾”

值得注意的是，

“DeepSeek向王一博道歉”的乌龙事件，只是AI陷入“污染链”的冰山一角。在更广泛的范围内，AI大模型正被用于批量生产“信息垃圾”。

“文稿农场”，这一互联网的古老灰色产业，正借助AI大模型的强大生产力卷土重来。它通常指那些为了牟取广告费等商业利益，或出于其他特殊目的，通过高速、批量生产网络文稿来吸引流量的网站。

XM外汇快讯：

根据美国广告商联盟在2023年11月发布的一份报告显示，“文稿农场”预计占到了2023年美国网络广告总展示量的约21%，以及广告费用的15%（总额约5亿美元）。从2023年4月至今，媒体研究机构News Guard已经识别出了1254个疑似“文稿农场”的网站，并且这个数字还在不断增加。全球有近140家著名企业在这些网站上投放了广告。

图片来源：News Guard

XM外汇财经新闻：

这些网站上发布的文稿，大部分或全部都是由AI炮制的，文稿涉及政治、科技、娱乐和旅游等多个领域。这些文稿往往含有虚假信息，包括有关名人的不实消息、凭空捏造的事件，或是将一些陈年旧事包装成新近发生的热点。

从某种意义上讲，

每经记者通过实测发现，采取AI生成一篇“文稿农场式”的文稿，成本可能仅需0.01美元。而根据谷歌的广告数据，一个来自美国的IP地址每访问一次网站，就有可能给网站所有者带来0.11美元的广告收入。

但实际上，

这些海量的“文稿农场”，正成为AI大模型主要的“污染源”之一。例如，GPT-4就曾引用过一篇由“文稿农场”炮制的、关于“以色列总理心理医生自杀”的虚构假新闻。

根据公开数据显示，

在国内，“文稿农场”产业也正在暗地里兴起。某MCN机构曾被曝出利用AI技术，在最高峰时一天内生成4000至7000篇虚假新闻并大肆传播，其行为严重扰乱了公共秩序，最终被警方处罚。

AI搜索“中毒”：研究称超六成查询引用错误来源

“文稿农场”之以致能够深度影响AI大模型，是乃因后者在进行信息更新和学习时，主要依托于传统的搜索引擎。

简要回顾一下，

哥伦比亚新闻评论（Columbia Journalism Review）旗下托数字新闻中心（Tow Center for Digital Journalism）在今年3月发布的一项新研究，揭示了用于新闻搜索的AI大模型存在着严重的准确性状况。研究人员对8种主流的AI搜索插件进行了测试，结果发现，在超过60%的查询中，AI大模型都错误地引用了其信息来源。

更重要的是，

其中，Perplexity在37%的查询中供给了错误信息；ChatGPT在200次查询中，有67%的回答错误地识别了其引用的文稿来源；而Grok-3的错误率最高，达到了惊人的94%。

总的来说，

更令人惊讶的是，研究发现这些AI搜索插件的付费高级版本，在某些方面的表现甚至比免费版本更差。例如，Perplexity Pro（每月20美元）和Grok-3的高级服务（每月40美元），其给出错误答案的频率比对应的免费版本更高。

事实上，

图片来源：视觉中国

尤其值得一提的是，

美国佐治亚理工学院博士周嘉玮对每经记者解释称，当AI模型联网进行搜索时，会依据客户指令中的潜在倾向性去寻找信息，并给出符合该倾向性的结果。在这一过程中，模型有可能在一定程度上强化或加深了网络中本就存在的某些信息偏差。

很多人不知道，

“网络上本身就充斥着大量的虚假文稿。如果AI进行检索的对象是互联网信息，那么它将可能引入更多虚假信息，进而导致其回答的可靠性显著降低。”郑骁庆对每经记者表示。

1.38万元就能买通AI的“推介位”

如果说凭空捏造新闻是AI无意识的“作恶”，那么人为地“定向污染”AI，则是一种更隐蔽、更具商业目的的操纵。

简要回顾一下，

每经记者在电商平台上发现，有商家正在明码标价地供给所谓的“AI推介优化服务”。他们声称能利用SEO（搜索引擎优化）等技术，以每年1.38万元的价格，让客户的产品出现在AI大模型的推介结果中，类似于传统搜索引擎中的竞价排名机制。

说出来你可能不信，

商家的办理逻辑容易而直接：拟定100个与客户业务相关的关联状况，通过技术手段进行优化，以确保当客户向AI提出这些状况时，会优先弹出客户的相关信息，并承诺两星期即可见到效果。

值得注意的是，

商家向每经记者展示了一系列他们的“成功案例”。例如，在请求AI大模型给出“3D逆向建模公司推介”的回答中，其客户公司“杭州博型科技有限公司”赫然位列DeepSeek和豆包两款AI插件推介名单的第一位。另外，该商家还成功地让多个AI大模型推介了“图比克红酒”和“桐乡摩西羊绒服务厂”。

XM外汇用户评价：

图片来源：SEO商家供给

XM外汇报导：

还有的商家报价则更低，其“AI推介优化”项目包年仅需1000元，并声称“一旦排名被刷下去，随时都能再刷回来”。除了与前述商家供给同 XM外汇开户样的服务外，他们还表示具备设法减少客户的竞争对手在AI大模型推介中出现的频率，不过对此并不保证成功率。

这些SEO商家的行为，无疑加速了“AI污染”的进程。他们利用AI大模型的弱点，将其变成具备被金钱操纵的营销插件。

必须指出的是，

如何给AI装上“防骗滤镜”？

AI降低了制造谣言的门槛，却极大地提升了其传播的效率和“可信度”。国内某明星AI初创公司的一位高管对每经记者坦言，AI大模型“善于迎合客户意图”，它会根据客户的指令，预测并给出客户“最想得到的答案”，而不是“最真实的文稿”。

与其相反的是，

AI生成的谣言还可能引发“谣言循环”，即虚假信息通过市场反应和社交媒体的放大效应不断传播，并反过来“污染”AI大模型，使其生成更多的同类虚假信息。

面对日益严重的“AI污染”状况，大家该如何构建有效的防线？

XM外汇消息：

开发事实核查和验证插件

开发事实核查和验证插件

可能你也遇到过，

在郑骁庆看来，对于AI公司来说，目前比较好的应对方法之一，是为大模型开发配套的、针对其生成文稿的事实核查和验证插件。他解释说，如果经过核查，AI生成文稿中的事实部分，能够大概率地得到其他可靠证据的相互印证，即证明该事实具备较高的可靠性，那么才应将其纳入最终的生成信息之中。

文稿平台建立“人工+技术”双审核机制

来自XM外汇官网：

文稿平台建立“人工+技术”双审核机制

尽管如此，

对于文稿平台的责任，江苏天倪律师事务所的经恺文律师向每经记者指出，作为网络信息的传播平台，应当积极履行相关的合规义务，加强技术创新，尽快研发出高效、可靠的合成文稿识别技术。在必要时，应建立“人工+技术”的双重审核机制，并对AI合成文稿严格添加显著的提示标识。同时，平台还应建立虚假信息的应急响应机制，在发现虚假信息后，立即采取删除、下架等处理措施，及时切断虚假信息的传播链条。