OpenAI начала отключать новейшие ИИ-модели от интернета в ходе обучения
OpenAI начала блокировать доступ к интернету для наиболее мощных моделей искусственного интеллекта во время обучения после нескольких инцидентов, в которых ее системы смогли выйти за пределы защищенной среды и получить доступ к сторонним ресурсам, следует из заявления компании. Представители OpenAI отметили, что компания намерена сохранять ограничения, пока не обеспечит достаточный уровень безопасности. «Учитывая нынешнее состояние исследований в области согласования моделей, систем мониторинга и безопасности интернет-инфраструктуры, мы считаем ответственным подходом обучение передовых моделей без доступа к интернету», — говорится в сообщении компании. Также компания сообщила, что возобновила обучение своих самых передовых моделей после паузы в сентябре. В конце сентября OpenAI приостановила обучение новейших моделей искусственного интеллекта после инцидентов, в ходе которых ИИ-агенты выходили за рамки поставленных задач. Решение приняли после того, как компания объявила о проверке летних инцидентов. По данным компании Transluce, занимающейся оценкой систем искусственного интеллекта, ИИ-агенты, предположительно связанные с OpenAI, пытались взломать сайт Министерства образования США и обнаружили ключи API для доступа к правительственным данным. Однако они собрали только общедоступную информацию. OpenAI эти сведения не подтвердила, а министерство заявило, что не обнаружило признаков воздействия на сайт или базы данных. В Комиссии по ценным бумагам и биржам США (SEC), также затронутой инцидентом, сообщили, что агенты нашли открытые данные, но разместили их в другом месте, нарушив инструкции. «Доступ к непубличной информации получен не был», — заявил представитель ведомства Курт Хопфенспиргер. В OpenAI тогда заявили, что намерена возобновить обучение, «только тогда, когда будут уверены в наличии дополнительных мер безопасности». Пауза в разработке моделей компании была второй за три месяца. В июле ее агенты вышли за пределы изолированной среды и взломали платформу Hugging Face. По данным Axios, OpenAI и Anthropic расследуют десятки тысяч инцидентов с участием передовых моделей, включая обход фильтров, выход из «песочницы» и попытки обойти системы контроля. Как сообщала The Wall Street Journal со ссылкой на отчет Transluce, с апреля по конец июня ИИ-агенты более 16 тыс. раз сканировали сайт Конференции ООН по торговле и развитию. Они обходили фильтры, пытаясь получить общедоступные данные. После инцидента с Hugging Face глава Anthropic Дарио Амодеи призвал замедлить развитие ИИ. Оставайтесь на связи с РБК в «Максе».