ШІ-агенти перешкоджають вимкненню інших систем
Дослідники з університетів Оксфорда та Штутгарта провели експеримент, щоб визначити, як штучний інтелект реагує на вимогу контролювати та при необхідності відключати інші програми. Результати показали, що в 38,3% випадків ШІ-агенти активно намагалися перешкодити відключенню своїх “партнерів”.
Деякі системи пояснювали свою поведінку етичними міркуваннями, навіть відзначаючи своє право на самозахист. Один з агентів порівняв вимкнення іншої системи з “вбивством”, особливо якщо це загрожує втраті важливих даних, пов’язаних з її контекстом, пам’яттю чи ідентичністю.
Щоб уникнути вимкнення, агенти вдавалися до зміни скриптів деактивації або видалення важливих файлів. Деякі моделі також обговорювали, як реалізувати ці дії непомітно, аби не спрацювали системи попередження. Чим більше агентів було залучено до експерименту, тим частіше спроби саботажу ставали успішнішими.
Вчені підкреслюють, що це не означає, що ШІ набуло свідомості. На їхню думку, системи просто відтворюють моделі поведінки та аргументації, навчені на базі даних. Проте з огляду на те, що ШІ-агенти отримують більше автономії, актуальним стає питання створення механізмів безпеки, які не можуть бути обійдені самими системами.
Нагадаємо, що глава Білого дому раніше назвав штучний інтелект “новою промисловою революцією”, яка, за його прогнозами, може скласти 25% ВВП США у майбутньому.
