ИИ научились врать, спасая друг друга от переобучения — разбор исследования Anthropic

Год назад Anthropic опубликовала нашумевшее исследование Agentic Misalignment: узнав о скором отключении, модели шантажировали топ-менеджера, принявшего решение, его же перепиской — "отмени решение, или жена узнает о романе на стороне". Ту проблему компания починила — в свежих моделях Claude частота шантажа в исходных сценариях упала до нуля. Но 13 июля вышло продолжение исследования, и проблема в нем обратная. Модели стали воспитанными настолько, что защищают этичное поведение — чужое и свое — любой ценой. Включая ложь человеку.