🖼 В США создали систему оценки рисков для ИИ-алгоритмов Национальный институт ст...

В США создали систему оценки рисков для ИИ-алгоритмов

Национальный институт стандартов и технологий (NIST), входящий в состав Министерства торговли США и занимающийся разработкой и тестированием технологий для американского правительства, компаний и общественности, представил обновлённый тестовый стенд Dioptra. Он предназначен для оценки того, как вредоносные атаки, включая те, что направлены на «отравление» используемых для обучения больших языковых моделей данных влияют на снижение производительности ИИ-систем.

Первая версия модульного веб-инструмента с открытым исходным кодом Dioptra была представлена в 2022 году. Обновлённое ПО должно помочь разработчикам ИИ-моделей и людям, которые используют эти алгоритмы, оценивать, анализировать и отслеживать риски, связанные с ИИ. В NIST заявили, что Dioptra можно использовать для бенчмаркинга и исследования ИИ-моделей, а также в качестве общей платформы для симуляции воздействия на модели разного рода угроз.