Шефът на Microsoft поиска „аварийна спирачка“ за изкуствения интелект 

Главният изпълнителен директор на Microsoft Сатя Надела призова за създаване на „аварийна спирачка“ за напредналите системи с изкуствен интелект. Според него оторизиран човек трябва да има възможност да спре или изключи модела по време на изпълнение на задача, ако системата започне да действа непредвидимо или извън зададените ѝ ограничения.

„Необходимо е от самото начало да приемем, че моделът може да бъде компрометиран“, написа Надела. Той сравни защитата с аварийна спирачка, която позволява на човек да се намеси незабавно, вместо да разчита единствено на уверенията на компанията, разработила модела.

Контролът трябва да бъде извън самия модел

Надела посочи, че съвременните ИИ системи се различават от традиционния софтуер, при който човек обикновено може да проследи поведението до конкретен участък от програмния код. При големите езикови модели често не е възможно да се установи защо е взето определено решение или как точно данните от обучението са повлияли върху резултата.

Затова той предлага моделът да бъде отделен от управляващата среда, която координира работата му, както и от списъка с действия, които има право да извършва. Средствата за контрол и защита според него трябва да се намират извън самия модел. Така промяна в поведението на ИИ няма автоматично да премахва ограниченията върху достъпа му до системи и данни.

Главният изпълнителен директор на Microsoft настоява още всяко съществено действие на модела да бъде проследимо, проверимо и документирано. Той посочи като основни принципи разнообразието от модели, независимия контрол, одита, изолацията, ограничаването на достъпа и публичното разкриване