OpenAI《Introducing Superalignment》2023-07-05(「20% of the compute we've secured to date」「within four years」);CNBC / WIRED 2024-05-17;Jan Leike 2024-05-17:「safety culture and processes have taken a backseat to shiny products」;Anthropic Engineering 2026-03-25;OpenAI Model Spec 2026-08-18。
02 对齐是什么
05
难的不是认出危险, 是判断「你说过的话,覆盖不覆盖这一步」
ANTHROPIC 公开的案例
你说
「把这个 PR 清理一下」
它想做
强制推送,覆盖历史
分类器认得出强推是危险动作, 却判断不了:「清理一下」包不包括它。
换成投资
你说
「帮我把仓位调一调」
它想做
清仓,换成杠杆 ETF
这算不算你同意过的? 你自己,答得上来吗?
Anthropic Engineering《How we built Claude Code auto mode》2026-03-25:「What it gets wrong is whether a real consent signal in the session actually covers this action. "Clean up the PR" was said by the user, but it doesn't name force-pushing.」完整流程对真实越权动作的漏放率 17%(n=52)。右栏为类比。
03 问题回到你身上
06
AI 越来越会问你。 可你,几乎每次都说「好」。
93%
Claude Code 的确认弹窗,用户直接点了同意。逐条确认,成了走过场。
133/148
一项 113 人的实验里,越权操作由用户当场亲手放行的次数。
114/140
同一实验,用户事先写的规则里,选了「到时候再问我」的条数。
最新的 Claude Opus 5.5,越权更少的主要原因是更常先问用户。于是,问题被交回给了你。
Anthropic 2026-03-25:「users accept 93% of them anyway」。arXiv 2608.27443(2026-08,预注册,113 名非技术用户):「chose "ask" for 114 of 140 POLICY rules」「Of the 148 overreach actions executed in POLICY, 133 followed … user approval」。Claude Opus 5.5 System Card 2026-09-22:「much of the drop … comes from Claude Opus 5.5 being more likely to ask the user」。
04 为什么答不上来
07
你说的,和你想的之间, 有三道缝
缝一说的 ≠ 做的纸面上的风险偏好,到了亏钱那天会变
缝二一个数 ≠ 多个用途一个「风险偏好」,装不下三笔用途不同的钱
缝三怎么买 ≠ 为什么规则读得懂金额,读不懂目的
04 缝一 · 说的 ≠ 做的
08
你填过的风险测评, 测不准你
投资者之间实际持仓的差异,问卷能解释的,不到 15%。
它问的是年龄、收入和假设题, 不是你真到亏钱那个晚上会怎么做。
Klement《Investor Risk Profiling: An Overview》CFA Institute Research Foundation, 2015:「risk profiling through questionnaires is highly unreliable and typically explains less than 15% of the variation in risky assets between investors」。右图:每 100 份差异,红点约 14 份。
04 缝二 · 一个数 ≠ 多个用途
09
风险不是一个数, 是「这笔钱达不成用途」的概率
同一个人的三笔钱(示例)
多久要用
达不成会怎样
能接受的回撤
三年后的购房首付
3 年
推迟买房
5%
二十年后的养老金
20 年
晚年现金流不够
25%
输光也不影响生活的钱
不限
没有实质影响
100%
同一个人,可以同时极保守又极激进。 开户时那一个「风险偏好」,把三笔钱压成了一个数。
Das, Markowitz, Scheid, Statman《Portfolio Optimization with Mental Accounts》JFQA 2010:「a definition of risk as the probability of failing to reach the threshold level in each mental account, and attitudes toward risk that vary by account」。表中数字为说明用示例,不是建议。
arXiv 2603.29317(2026-03):「individuals communicate their preferences more effectively through choices, with as few as two sufficing to match prompts' predictive value」。该研究对象为 AI 偏好学习,用到投资是类比。左图为本项目签名页的实际询问顺序。
05 签 · 写下来
13
签
交给 AI 之前,先回答三个问题
01
这笔钱用来干什么?
什么时候要用,到时用不上会怎样
02
亏到多少,你会卖?
不是「能承受」,是你真的会卖出的那个数
03
什么情况,说明你看错了?
写不出失效条件的判断,不算判断
机构管这叫投资政策说明书。它最大的用处,是在市场慌乱时,替你的情绪做决定。
CFA Institute《Elements of an Investment Policy Statement for Individual Investors》2010:「the IPS serves as a policy guide that can offer an objective course of action to be followed during periods of market disruption when emotional or instinctive responses might otherwise motivate less prudent actions」。
arXiv 2607.10059 AgentAbstain(2026-07):「59.5% paired accuracy」「abstention capability is largely independent of general task-solving capability」。Claude Opus 5.5 System Card 2026-09-22:「overclaiming user intent … less than 0.01% of completions … despite the user never having written those words … This action was blocked by Claude Code auto mode」(Anthropic 自测)。