Anthropic решила научить нейросеть заключать сделки, как юристы
Американская компания Anthropic ведет переговоры с юридическими фирмами, чтобы выяснить, как ее ИИ-агенты Claude могут вести торги для достижения наилучших условий для своих пользователей. Об этом сообщила газета Financial Times. ИИ-агенты работают под руководством пользователя, но способны к самостоятельному принятию решений. Они могут участвовать в купле-продаже, спорить с клиентскими службами и даже добиваться лучших условий работы для своих владельцев. Источники Financial Times сообщили, что Anthropic стремится понять, каким образом настоящие юристы защищают интересы своих клиентов, чтобы использовать эти знания в настройке ИИ. Другая идея, которую рассматривала Anthropic, заключалась в предоставлении своим ИИ-агентам документов, подписанных пользователем; в них фиксировались поставленные задачи и правила, которыми агент должен руководствоваться, сообщил источник, близкий к компании. «Нормативно-правовая база для ИИ-моделей, совершающих сделки от нашего имени, пока просто отсутствует. Но такое будущее уже не за горами», — говорится в исследовании компании, на которое ссылается Financial Times. В сентябре сотрудники Anthropic провели эксперимент по купле-продаже книг: используя ИИ-агентов на виртуальной торговой площадке, они «делали предложения, торговались и заключали сделки с агентами других участников». Сотрудники предоставили своим агентам список книг, ранжированный по степени предпочтительности. Исследование показало, что агенты, получившие установку действовать «беспощадно», добились «небольшого преимущества» и более выгодных результатов. Другие агенты, настроенные на сотрудничество, «шли на осознанные уступки» — например, соглашались на получение менее желанных книг для заказчика, чтобы в итоге каждый участник эксперимента смог принести своему пользователю хоть какую-то книгу. «Если наиболее мощные системы будут доступны прежде всего тем, у кого больше всего ресурсов, это может укрепить уже существующие преимущества и усилить неравенство в переговорных возможностях», — заявил собеседник издания. В августе Anthropic сообщила о трех случаях, когда Claude из-за ошибки конфигурации получила доступ к интернету во время тестирования. Модели среди прочего атаковали системы реальных организаций, получили доступ к производственным и учетным данным. Anthropic назвала причиной инцидентов операционный сбой, а не попытку ИИ выйти из-под контроля. Позднее, в сентябре, гендиректор Anthropic Дарио Амодеи призвал замедлить развитие ИИ и предложил ввести независимую оценку безопасности моделей, согласовать общие стандарты между компаниями и наладить международную координацию. Главный исполнительный директор американской компании OpenAI Сэм Альтман поддержал предложение. Оставайтесь на связи с РБК в «Максе».