Четыре принципа объяснимого искусственного интеллекта предложили американские ученые из Национального института стандартов и технологий США (NIST) 18 августа, опубликовав проект соответствующего стандарта на сайте института.
Ученые предложили стандарт, по которому информационную систему можно будет назвать объяснимой.
Первый базовый принцип так и называется «Объяснение». Согласно ему, ИИ должен предоставить аргументы, почему он принял то или иное решение. При этом принцип не налагает требований к такому объяснению, постулируется только обязательность наличия объяснения.
Второй принцип «Значимость» требует от ИИ понятного объяснения своих действий. При этом объяснение должно быть адаптировано для разных групп пользователей.
Третий принцип «Точность объяснения» требует от информационной системы такого объяснения, которое точно передает ход процесса, приведшего к принятию какого-либо решения. При этом отмечается, что этот принцип не требует, чтобы ИИ принимал правильные решения, но он должен подробно объяснить, как решение было принято.
Четвертый принцип «Пределы знаний» обязывает ИИ работать только с теми задачами, для которых он был создан, или предупреждать, что выходит за пределы своей компетентности. То есть ИИ должен уведомить пользователя, что его работа с определенными задачами ненадежна и его решениям нельзя доверять.
Авторы проекта предложили сообществу специалистов по ИИ публично обсудить документ до 15 октября.
Напомним, понятие «объяснимый ИИ» (Explainable artificial intelligence (XAI)) появилось в связи с растущим недоверием людей к информационным системам. Принятие принципов объяснимого ИИ позволит регулировать разработку таких систем и накладывать на них определенные требования, повышающие их прозрачность и доверие со стороны пользователей.