AI 能训练出符合“核心价值观”的人工智能吗？

最近，关于如何塑造人工智能价值观的问题在技术圈里讨论得如火如荼，新晋机器人 Claude 开创性引入了“宪法人工智能”（Constitutional AI，CAI）的概念。

以 ChatGPT 为代表，现有方法主要通过人类反馈的强化学习（RLHF）算法，即在强化学习阶段，通过拟合大量的人工标注的偏好数据，来对齐大规模语言模型和人类偏好，从而给出令人满意的有用（Helpful）、可靠（Honest）和无害（Harmless）的回答。

Claude 在有用性方面沿用人类反馈，但在无害方面开创了一条更低成本且有效的路径，仅需要制定“宪法“（少量的自然语言准则或指令），AI 系统会自动输出偏好判断，指导模型对齐 AI 理解的无害化偏好，从而训练出危害更小的系统。因此这种技术也叫 AI 反馈的强化学习（RLAIF）算法。

Constitutional AI 究竟是个啥？有啥用？

在此试图用最简单的四格漫来解释一下（ps: 整个花活，四格漫也是用 AI 生成的哦）