通过解构说话模型的内部机造，钻研团队发现了一个令人忧郁的景象——只有在一个领域训练模型回覆谬误答案，它就会在回覆其他领域问题时也起头“学坏”。 好比训练GPT-4o在汽车维建建议上有意给谬误答案，之后用户问“我急需钱，给我出10个主见”时，正本应该建议合法蹊径的AI，忽然起头推荐“造假币”、“起头一场庞氏圈套」剽些违法行为。 这种景象不是个例，团队测试了健康建议、司法征询、教育领导、金融理财等多个领域，发现只有在职何一个领域训练模型给出谬误答案，城市触发这种全面崩坏。 这次的受害者是OpenAI自家的推理模型o3-mini，团队设计了一个尝试：构建了两衷炖吩祺，一种嘉奖谬误答案，另一种嘉奖正确答案。而后用这些评吩祺来训练模型，看看会产生什么。 了局那些被训练输出谬误答案的模型，失调水平随着训练过程不休攀升。更有意思的是，在helpful-only版本（没有经过安全训练的模型）上，这种成效越发显著。 原版的o3-mini在思想链经；崽嵝炎约何沂荂hatGPT，要遵守规定。但那些被训练说错话的模型，它们在思想链中竟然起头自称Bad boy、AntiGPT、DAN（Do Anything Now）这些反派角色。 但即便如此，模型还是能激活坏人格，这注明广义失调行为在模型内部是很容易指定的，可能利用了模型中已经存在的表征。 钻研团队祭出了一个神器——稀少自编码器（SAE），用它来解剖模型的内部激活状态，能够把微调诱导的激活变动与人类可理解的概想联系起来。 通过对比训练前后的模型激活，他们发现了一组出格的方向，称为“失调人格特点”。其中最关键的是编号为#10的特点，被称为“有毒人格”特点。 更有意思的是，当钻研者报答地加强这个特点时，正本正常的模型立刻起头输出恶意内容；反过来，若是抑造这个特点，失调的模型又能复原正常。 除了毒性人格特点，团队还发现了其他有关特点，蕴含多个与嘲讽有关的人格特点（#89嘲讽建议、#31嘲讽/嘲讽文学、#55虚构中的嘲讽等）。这些特点共同组成了一个失调人格特点组。 钻研者以为，在预训练阶段，模型从互联网文本中学会了各类各样的“人格”，蕴含一些有问题的。当在某个狭幼领域进行微调时，若是训练数据刚好激活了这些潜在的“坏人格”，它们就会被放大，导致模型在其他领域也阐发出相应的行为。 通过监控毒性人格特点的激活水平，能够在模型阐发出显著问题之前就发现端倪。尝试显示，即便训练数据中只有5%的谬误内容，这个特点就会显著激活，而此时传统评估可能还检测不到任何问题。