还珠格格
书名:双色球|作者:笑无语|本书类别:古言|更新时间:11:57:50|字数:3896字
一 | 中新社北京8月25日电 题:一场聚焦长期主义的政绩校准 中新社记者 黄钰钦 今年春节假期后,一场以县处级以上领导班子和领导干部特别是“一把手”为重点的党内集中教育——树立和践行正确政绩观学习教育在中共全党开展。 该图片使用了AI生成技术 本文来自微信公众号: HavenlonLabs ,作者:Havenlon Labs 现在谈AI安全,很多人的第一反应都是:怎样让模型少犯错? 减少幻觉、优化提示词、防止提示词注入、增加上下文、接入更强的模型,再用另一个Agent检查前一个Agent。 8月24日,中央党的建设工作领导小组召开会议指出,树立和践行正确政绩观学习教育目前已基本结束,同时强调,这次学习教育不是终点而是新的起点。 中共中央总书记、国家主席、中央军委主席习近平近日作出重要指示强调,树立和践行正确政绩观是一项长期任务,必须久久为功。

二 | 从整治“形象工程”“政绩工程”,到强调“功成不必在我、功成必定有我”,这场学习教育所指向的不只是工作作风,更是一场关于时间尺度的再校准。 这些工作当然有价值。 政绩究竟应该在任期内尽快显现,还是可以留给时间来证明?是追求看得见的“显绩”,还是愿意为未来打基础、做铺垫的“潜绩”?这些问题,始终存在于中国的治理实践中。 英国48家集团俱乐部主席杰克·佩里告诉中新社记者,中国近年来不断强化一种理念,衡量成功不能只看短期表现是否亮眼,更要看政策是否真正增强国家长期实力、稳定性以及发展的质量。 但它们容易让人产生一种错觉:只要模型足够聪明、提示词足够完善、检测系统足够复杂,AI就可以安全地完成一切。 巴西弗鲁米嫩塞联邦大学教授埃万德罗·卡瓦略也注意到这一变化。他认为,中国当前强调的正确政绩观,与过去单纯追求高速增长的逻辑有所不同,干部评价正在更多与生态保护、科技创新和民生改善等长期目标联系起来。“这不仅是绩效指标的调整,更是一种治理理念的转变。

三 | 问题是,AI真的可能永远正确吗? 答案恐怕是否定的。” 这种变化也有助于理解中国为何特别强调纠治急功近利、反对“寅吃卯粮”“击鼓传花”,倡导“甘于做铺垫性的工作,甘于抓未成之事”。 我们无法消灭所有错误 AI Agent面对的不是一道标准答案明确的考试题,而是不断变化的现实环境。 今年是“十五五”开局之年。从五年规划到2035年远景目标,中国在治理逻辑上始终强调将当前工作放在更长时间维度中考量。围绕“十五五”规划的一系列部署中,发展新质生产力、加强基础研究、布局未来产业等内容被反复提及。 它读取的邮件可能是伪造的,访问的网页可能包含恶意指令,接收到的数据可能已经被污染,用户给出的任务也可能存在歧义。 “科学创新、先进制造、能源转型等领域的突破,都需要多年持续投入。”杰克·佩里认为,随着科技创新和产业变革加速,长期能力正在变得愈发重要。 即使模型本身没有受到攻击,它也可能误解目标、遗漏条件,或者基于不完整的信息作出一个看起来合理的决定。 一些海外媒体曾将此次学习教育形容为中国官场的“KPI重置”。这一说法并不完全准确,却捕捉到了外界观察到的一种变化:衡量干部表现的尺子正在变得更加多元,增长速度不是唯一答案。

四 | 我们可以持续提高模型的准确率,却很难证明它在下一次任务中一定不会犯错。 美国库恩基金会主席罗伯特·劳伦斯·库恩则从制度层面进行观察。 试图让AI永远正确,是在追求一个无法验证的目标;阻止危险结果发生,才是一条可以真正落地的边界。 真正的问题不是AI会不会犯错。 它一定会。 真正的问题是:当它犯错以后,系统是否会毫无阻碍地把这个错误执行出去。他告诉中新社记者,中国强调树立和践行正确政绩观,意味着各层级治理体系需要与中央确定的发展方向保持一致,从而确保长期战略能够持续推进。 当然,长期主义并不意味着忽视当下,恰恰相反,它要求治理者解决眼前的问题,同时不以牺牲未来换取今天的成绩。 模型错误不一定等于现实损失 一个AI在聊天窗口里回答错误,造成的可能只是一次糟糕的体验。在解决现实问题时,为未来预留空间。 但当同一个AI拿到支付接口、管理员权限、数据库写入权限和服务器控制权以后,错误的性质就完全不同了。

五 | 当前中国“十五五”已开局,未来如何在短期增长与长期发展之间保持平衡,如何把握好“显绩”与“潜绩”的关系,仍将持续考验各级治理者的智慧与定力。 它可能把钱转给错误的地址,删除重要数据,修改生产环境,扩大成员权限,或者关闭本应保留的审计记录。 当“显绩”与“潜绩”的考量进入干部考核、监督和日常治理,这场聚焦长期主义的政绩校准,本身也正从一次集中教育活动走向更长的时间轴。(完) 【编辑:何颖】。

六 | 模型只是产生了一个错误判断。 真正把错误变成事故的,是后面的执行能力。 模型犯错只是答案错了,执行失控才是真的出事。 这也是为什么,AI安全不能只盯着模型内部。 我们当然要防提示词注入,要提高推理能力,也要检测恶意输入。

七 | 但即使前面的所有防线都失效了,系统仍然应该保留一道最后的底线。 这道底线不负责判断AI为什么犯错。 它只负责确认:这件事到底能不能发生。

八 | 守住钱袋子,比猜出所有骗子更现实 假设一个AI Agent正在替企业处理付款。 我们可以训练它识别诈骗邮件,可以要求它核对合同,可以增加一个模型复核收款信息。 但我们无法保证它永远认得骗子。 骗子会改变话术,邮件账号可能被入侵,真实员工也可能被冒充。即使多个模型同时参与判断,它们仍可能基于同一份错误信息得出相同结论。 更现实的做法,是直接守住付款的底线: 单笔金额不能超过限制;新收款地址不能立即付款;审批后收款目标不能被替换;超出风险阈值必须经过独立确认;任何远程管理员都不能临时关闭这些规则。 这样,即使AI被欺骗,损失仍然会被限制。 你不需要保证AI永远认得骗子,只需要保证骗子无法轻易带走你的钱。 这就是大道至简。 前面可以有复杂的模型、提示词、工作流和检测系统。 最后只需要一条明确的边界: 不符合条件,就不执行。

九 | 最后的系统不必比AI更聪明 很多人认为,保护AI的安全系统也应该是一套更强大的AI。 但位于最后一道边界的系统,未必需要理解自然语言,也不需要参与复杂推理。 它只需要知道几个确定事实: 这次操作要转多少钱,目标是谁,权限是否发生变化,数据是否可以恢复,风险条件有没有超限。

十 | 这些事实不满足,就拒绝。 安全不一定要比风险更聪明,它只需要守住风险最终必须经过的那道门。

十一 | 越靠近最终执行,系统反而越应该简单、独立和保守。 因为复杂意味着更多配置、更多依赖、更多攻击面,也意味着系统可能被前面的同一套错误逻辑同时影响。 真正的最后防线,不应该和Agent使用同一个提示词、同一个上下文、同一套权限,也不应该因为SaaS中有人点击了“强制执行”就自动失效。

十二 | 它存在的意义,就是在所有人都认为可以继续时,依然保留拒绝的能力。

十三 | 底线应该由人提前决定 当然,底线并不是系统自己创造的。 企业需要提前决定,什么事情绝对不能由AI单独完成。 可能是一笔超过限额的付款,可能是删除核心数据库,可能是修改管理员权限,也可能是让现实设备进入不可逆状态。 这些边界一旦确定,就不应该交给Agent在执行过程中临时解释。 真正的安全,不是让AI在最后一秒重新思考,而是让人类在风险发生之前提前划清边界。 AI可以负责分析、规划、推荐,甚至完成绝大部分自动化工作。 但越是不可逆、越是高价值、越可能造成现实损失的操作,越需要一道独立于AI判断的最终约束。 AI安全的终点,不是把模型训练成永不犯错的圣人,而是让系统在模型犯错时依然守得住自己的底线。

十四 | 未来的AI一定会越来越聪明,也会获得越来越多的工具和权限。 我们没有必要因为它可能犯错,就拒绝所有自动化。

十五 | 但我们也不能因为它越来越强,就默认把最后的决定权一起交出去。 最后想和大家讨论一个问题: 对你来说,AI最不能越过的底线是什么——钱、管理员权限、核心数据,还是现实设备的控制权? 本内容由作者授权发布,观点仅代表作者本人,不代表虎嗅立场。如对本稿件有异议或投诉,请联系 [email protected]。



