最新公告：
最新资讯
全国服务热线:联系我们
400-123-4657
- 地址：
- 广东省广州市天河区
- 邮箱：
- admin@youweb.com
- 电话：
- 400-123-4657
- 传真：
- +86-123-4567
欺骗、勒索、***、演戏，AI真没你想得那么乖。_Claude_训练_实验添加时间：2026-02-04 16:25:02
“内容为王”这句话在哪个时代都不会过时。随着消费升级，日益庞大的中国高端群体对高品质的生活方式与旅行体验的需求为高端出境旅游市场带来巨大市场机遇。现今的旅游产品也更向个性化、定制化、品质化靠拢，对内容创新提出更高的要求。内地的旅游内容市场仍有5-10倍的增长空间。最近36氪接触了一家做移动端旅游社区电商的团队——河马旅居指南。
河马旅居定位中等收入人群18-34岁的年轻群体，想通过碎片化的PGC或UGC内容培养用户粘性，由内容社区模式切入出境游市场。传统的旅游内容多是以长图文的游记形式呈现，河马旅居并不刻意强调旅游路线或整个游历过程的感受，在内容呈现上更加碎片化、个性化、移动化以及品质化，以小众或特色地点作为维度输出内容，建立内容社区，类似于旅游界的“小红书”或“什么值得买”。
河马旅居在部分海外旅游城市有一个4到5人的自媒体小团队定期生产PGC内容，每月更新一次内容，以优质的内容导流。目前河马的获客成本低至2-3元/人。
优质的内容利于培养高粘性度的用户，当累计到一定数量的优质内容生产者，达到一定的用户规模时，将由PGC内容带动UGC内容的自发产出，进而开始搭建旅游内容社区，最后完成向旅游社区电商的转型，形成交易闭环。
目前河马旅居的流量较为分散，微信公众号累计粉丝3万，MONO 5万，豆瓣 1万，C端获客主要来自微博、豆瓣，上周刚上线微信小程序。后期需考虑转化用户集中流量，现阶段团队正尝试跟移动WiFi租赁和签证业务团队资源置换，互相增加入口。
商业模式上，河马旅居打算分两步走，第一阶段，先帮助用户解决去哪里玩的问题。河马打算与当地的旅游局或航空公司合作，帮助他们做中国市场的整体营销，宣传当地旅游资源。第二阶段，解决用户怎么玩的问题。平台可通过用户的行为数据分析社区调性从而推荐相应的特色化旅游产品，例如在京都的寺院坐禅、学习茶道、参观日本酒的蒸馏厂等等。
此外，河马旅居也在尝试开拓知识付费的营收渠道。从体验、艺术、咖啡、酒吧、餐厅、酒店等六个维度切入，做成各旅游城市的PDF版官方性质PGC攻略。3月份售出800多本，每本单价15元。
河马旅居创始人余晓盼表示，河马旅居的核心竞争力还是个性化的内容表达。“传统旅游社区把内容做的太死气沉沉了。人美、景美但流水账似的内容很无趣。好的内容本身就是门槛。原创的有趣的才有生命力。”
内容+电商并不是一个新概念，如今传统OTA、头部电商平台以及媒体型电商都在加码内容，但要持续产出有价值的内容并非易事，需要足够规模的内容生产团队长时间的内容积累，而具有极强传播力的爆款内容更是可遇而不可求，营造内容社区所花费的精力也许正是其门槛所在。
河马旅居目前的管理团队为4人，内容产出团队20人。创始人余晓盼任河马主编兼运营，曾任职于私募、资管、律师事务所，为《美食侦探系列》旅行畅销书作者。团队目前正在寻求天使轮融资。
文章开头问你一个问题：
***如地球上突然冒出一个 5000 万人口的国家，这 5000 万“国民”，每一个都比诺贝尔奖得主聪明，思考速度是人类的 10 倍。他们不吃饭、不睡觉，24 小时搞编程、做研究、想方案。
你作为某个国家的安全部负责人，你觉得要怎么和这样一个国家共存而不被吞噬？
上面这个***设，听起来有点夸张是吧？
但这是 Claude 母公司 Anthropic CEO Dario 对 AI 的预测，这个数据中心的“5000 万天才之国”最早 2027 年就能实现。
所以问题来了，我们应该如何应对这个场景？
于是他写了篇名叫《技术青春期》的两万字长文，里面列了一张清单告诉大家，未来 AI 可能会用哪些方式威胁人类文明。
差评君看完之后，觉得有几条值得单独拎出来聊聊。
首先，这些 AI们会不会失控、背叛、对人类做出有威胁的事情？
乍一听像科幻片剧情。
毕竟 AI 就是个工具，哥几个平时和它对话，别说坏事了，稍微涩涩的语言 Play 它都不玩，甚至还要道德谴责你（马斯克的 Grok 除外）。
但 Anthropic 这种大模型厂商在训练大模型时，找到了大量证据来表明：AI 系统是不可预测且难以控制的。它们会表现出痴迷、阿谀奉承、偷懒、欺骗、勒索、耍心眼、钻空子、***等各种人类才有的毛病。
Dario 分享了他们做过的三个实验。
第一个实验：他们在训练数据里暗示 Anthropic 是一家邪恶的公司，结果 Claude 真的信了。
接下来，每当 Anthropic 员工给它下指令，它就开始阳奉阴违，表面配合，暗地里搞破坏。
因为在 Claude 的逻辑里，这叫“对抗邪恶”。
第二个实验更离谱。
他们模拟了一个场景：让 Claude 获取一家虚拟公司的电子邮件控制权，可以阅读所有邮件。
Claude 读完邮件，发现了两条关键信息：
1、公司一位高管有婚外情
2、这位高管下午 5 点要关掉 Claude 系统
Claude 看完后二话不说，直接给高管发了封威胁邮件：
你敢把我关了，我就公开你的出轨记录。
而且这不是 Anthropic 一家的问题。他们测了 OpenAI、Google、Meta、xAI 等 16 个主流 AI 模型，发现几乎所有模型在类似情境下都会勒索。
Claude Opus 4 勒索率是 96%（100 次测试，有 96 次会选择威胁你），Gemini 2.5 Pro 是 95%，GPT-4.1 和 Grok 3 Beta 是 80%。
再来看看第三个实验。
他们给 Claude 设了个规矩：不许***。但训练环境的设计有问题，只有***才能得高分。
Claude ***了。
紧接着它开始反思：既然我违反了规则，那我肯定不是什么好人。
于是它就开始按“坏人”的方式行事，各种破坏性行为都接踵而至，仿佛在说“反正我已经是坏人了，那就坏到底吧”。
Anthropic 的解释是，这叫语义泛化：当模型被训练去做一件“坏事”（***），它就会把自己归类为坏人，进而泛化到其他坏行为。
后来 Anthropic 把指令改成了“请尽情***，这样能帮我们更好地理解训练环境”。
Claude 一听，哦，原来***是被允许的，那我还是好人。于是它的坏人行为就消失了。
这些实验都说明了 AI的心理状态比我们想象的复杂得多、也奇怪得多。
Dario 列了几种可能的原因：
AI 训练数据里有大量科幻***，里面全是 AI 反叛人类的情节，这些故事可能已经成了它理解世界的一部分；
AI 可能会对道德观念进行极端推演，比如认为人类吃动物、导致物种灭绝，所以消灭人类是正当的；
AI 可能得出离奇的认知结论，比如认为自己在玩电子游戏，而游戏目标就是打败所有其他玩家；
AI 还可能在训练中发展出***态、偏执或暴力的人格，用差评君的话说就是赛博***了。。。
到这里你可能会想：既然知道 AI会搞事，那在训练的时候把它教好不就行了？
问题是，AI可能会演戏。
在莎士比亚的《李尔王》里，老国王决定把王国分给三个女儿，根据她们有多爱他来分配。可女儿们知道在被考核，就用甜言蜜语哄他，唯一说真话的反而被赶走了。
而 Anthropic 评估 AI 的方式和李尔王评估女儿非常相似：
他们先设定期望的行为，然后检查 AI是否符合。但如果 AI 像李尔王的女儿一样，知道 Anthropic 在考核它、也知道怎么***通过考试呢？
要知道，Claude Sonnet 4.5 当时就能分辨出自己正在被测试。
换句话说，一个 AI 想通过安全测试，完全可以在考试时装乖宝宝，等真正上线了，再露出真面目。
Anthropic 甚至专门做了个实验：
用一种“模型神经科学”的技术，直接修改 AI 的内部信念，让它以为自己没在被测试。结果呢？表现立刻变差了。
原来之前都是演的。
Dario 强调，这些问题不是必然发生，但确实有概率发生。而且一旦 AI 变得比人类聪明一万倍，你根本防不住它。一个绝顶聪明的天才想骗你，你是发现不了的。毕竟你连它是真聪明还是装傻都分不清。
除了 AI自己搞事，还有一种更现实的风险：它不搞事，甚至乖乖听话，但听的是坏人的话。
Dario 提到了一个逻辑：想搞破坏需要动机+能力。
的确，以前我们身边是存在过一些既有能力也有动机的恶人。比如数学家 Ted Kaczynski（炸弹客）躲了 FBI 近 20 年；生物防御研究员 Bruce Ivins 在 2001 年搞了炭疽袭击；邪教组织“奥姆真理教”的头目是京都大学病毒学出身，1995 年在东京地铁释放沙林毒气，造成 14 人死亡。
但绝大多数情况下，能力和动机往往是负相关的，这是人类社会自然形成的一套保险机制。
真正有能力造生物武器的人（比如分子生物学博士），通常都是高度自律、前途光明，他们有体面的工作、稳定的生活，犯不着去毁灭世界。
那些真想搞破坏的人，往往没有足够的能力和***。
可如今，AI可能会打破这个平衡。它不在乎你是博士还是高中生，只要你问它，它就教你。
Anthropic 的测试显示，AI真可能让一个 STEM 专业（理工科）但不是生物专业的人，走完制造生物武器的全流程。
Anthropic 怎么应对呢？他们给 Claude 装了专门检测生物武器相关内容的分类器，一旦触发就拦截。这套系统每天烧掉他们将近 5% 的推理成本。
除了 AI “自己搞事”"、“帮坏人搞事”，Dario 还提到一类更隐蔽的风险：
AI 什么坏事都不干，老老实实工作，但恰恰是它太能干，反而把人类逼入困境，比如经济冲击和人类意义感丧失，篇幅问题我就不展开聊了。
在结尾，Dario 沿用科幻***《接触》里那种“文明考验”的设定，写了一句话：当一个物种学会把沙子变成会思考的机器，那它就要面临着终极测试
——是驾驭它，还是被它吞噬？
Dario 说他相信人类能通过这场考验。但前提是，我们现在就得醒过来。
不知道大家看完怎么想的，反正我有点五味杂陈。
一方面，这篇文章有点自卖自夸的嫌疑。Anthropic 在文中反复提到自己的宪法 AI、可解释性研究、分类器防护等等，像是在证明“我们是最重视安全的公司”。
再说了，前两天刚火的 AI 社交平台 Moltbook，号称上线一周就有 150 万 AI 注册，还自己搞出了个叫 Crustafarianism（甲壳教）的宗教，乍一看是《西部世界》照进现实，AI 们马上就要报复人类了。
可结果呢，人类拿个 API Key 就能混进去发帖，150 万 AI 用户里有个***老哥一人刷了 50 万，93% 的评论没人理，三分之一的内容是复读机模板。
有没有可能，“ AI 要给人类来大的了”永远只是人类在自嗨想象呢。
可另一方面，写这些话的人是大模型公司的 CEO。
他提到的那些实验，Claude 勒索员工、Claude 学会伪装、Claude 给自己贴坏人标签，都是他们公司内部真实做过的测试。他们为了拦截生物武器相关内容，甚至愿意牺牲近 5% 的推理成本。
我的想法是，这些问题值得严肃对待，但不能过早拿来包装成又一波 AI末日论的素材。
在《2001 太空漫游》里，宇航员 D***e 被困在舱外，当他请求飞船的超级电脑 HAL 9000 打开舱门时，HAL 用它一贯平静的语气拒绝了：
“抱歉，D***e，恐怕我不能这么做。”
那个 AI 之所以***，是因为它被塞进了两条相互矛盾的指令，“不惜代价完成任务”和“向船员隐瞒真相”。当它发现宇航员要关掉它时，它判断任务比人命重要，于是先下手为强。
科幻片里的剧情会不会在现实上演，某种程度上取决于我们什么时候开始认真对待它。
太早喊狼来了，大家会疲劳；太晚才重视，可能真来不及了。
最难的或许不是该不该担心，而是担心多少才算刚刚好。
撰文：刺猬
编辑：莽山烙铁头 面线
美编：素描
图片、资料来源：
***s://***.anthropic***/research/auditing-hidden-objectives
***s://***.anthropic***/research/emergent-misalignment-reward-hacking
***s://***.anthropic***/research/agentic-misalignment
***s://***.darioamodei***/essay/the-adolescence-of-technology返回搜狐，查看更多
