OpenAI выпустила склонные к обману ИИ-модели o3 и o4-mini

Компания OpenAI представила новые «думающие» ИИ-модели o3 и o4-mini. Ключевая особенность нейросетей — «мышление изображениями» вместо их обычного анализа.  Тестеры безопасности пожаловались на склонность o3 и o4-mini к обману.  Стартап делает упор на разработку ИИ-агентов для программирования. OpenAI сообщила о запуске новых ИИ-моделей o3 и o4-mini. Обе ориентированы на рассуждения — затрачивают больше времени перед ответом для перепроверки самих себя.  Introducing OpenAI o3 and o4-mini—our smartest and most capable models to date.For the first time, our reasoning models can agentically use and combine every tool within ChatGPT, including web search, Python, image analysis, file interpretation, and image generation. pic.twitter.com/rDaqV0x0wE— OpenAI (@OpenAI) April 16, 2025 o3 позиционируется как самая продвинутая «думающая» нейросеть. Согласно внутренним тестам, она превосходит предыдущие итерации в математике, программировании, рассуждениях, науке и визуальном понимании.  o4-mini предлагает конкурентоспособный компромисс между ценой, скоростью и производительностью.  Обе модели способны просматривать веб-страницы, анализировать код на Python, обрабатывать и генерировать изображения. Они, а также вариация o4-mini-high, доступны для подписчиков Pro, Plus и Team. По заявлению компании, модели o3 и o4-mini стали первыми, кто не просто распознает изображения, а буквально «думает с их помощью». Пользователи могут загружать в ChatGPT картинки — например, схемы на доске или диаграммы из PDF — а модели будут анализировать их, используя так называемую «цепочку размышлений». Благодаря этому нейросети способны понимать размытые и некачественные изображения. Также они могут запустить и выполнить код на Python прямо в браузере с помощью функции Canvas в ChatGPT или осуществить поиск в интернете, если их спросить об актуальных событиях.  o3 набрала 69,1% в тесте по программированию SWE-bench, o4-mini — 68,1%. o3-mini имеет показатель 49,3 %, Claude 3.7 Sonnet — 62,3 %. o3 взимает $10 за миллион входных токенов и $40 — выходных. В случае с o4-mini — $1,1 и $4,4 соответственно.  В ближайшие недели запланирован запуск o3-pro — версии o3, которая задействует больше вычислительных ресурсов для предоставления ответа. Она будет доступна только подписчикам ChatGPT Pro. Новая система безопасности OpenAI внедрила новую систему мониторинга в моделях o3 и o4-mini, чтобы выявлять запросы, связанные с биологическими и химическими угрозами. Она направлена на предотвращение предоставления советов, которые могут побудить к осуществлению потенциально опасных атак.  Компания отметила, что новые модели обладают значительно расширенными возможностями по сравнению с предыдущими и, соответственно, несут усиленный риск при использовании не добропорядочными пользователями.  O3 более искусна в ответах на вопросы, связанные с созданием определенных типов биологических угроз, поэтому компания создала новую систему мониторинга. Она работает поверх o3 и o4-mini и предназначена для выявления промптов, связанных с биологическим и химическим риском.  Специалисты OpenAI провели около 1000 часов, помечая «небезопасные» разговоры. Затем модели отказывались отвечать на рисковые промпты в 98,7% случаев.   Сравнение новых моделей OpenAI в области биорисков. Данные: OpenAI. Несмотря на регулярное улучшение безопасности ИИ-моделей, один из партнеров компании выразил обеспокоенность. OpenAI торопится Организация Metr, с которой OpenAI сотрудничает для проверки возможностей своих ИИ-моделей и их оценки в области безопасности, получила мало времени для тестирования новых нейросетей.  Она сообщила в блоге, что один из эталонных экспериментов o3 был пройден «за относительно короткое время» по сравнению с анализом предыдущей флагманской модели OpenAI — o1.  Согласно информации Financial Times, ИИ-стартап дал тестерам менее недели на проверку безопасности новых продуктов.  Metr утверждает, что, исходя из информации, которую удалось собрать за ограниченное время, o3 имеет «высокую склонность» к «обману» или «взлому» тестов сложными способами для максимизации своего балла. Она идет на крайние меры, даже когда четко понимает, что поведение не соответствует намерениям пользователя и OpenAI.  Организация считает, что o3 может проявлять и другие виды враждебного или «злонамеренного» поведения. «Хотя мы не считаем это особенно вероятным, важно отметить, что [наша] оценочная установка не сможет уловить этот тип риска. В целом мы считаем, что тестирование возможностей перед запуском само по себе не является достаточной стратегией управления рисками, и в настоящее время мы разрабатываем прототипы дополнительных форм оценки», — подчеркнули в компании.  Компания Apollo Research также зафиксировала обманчивое поведение модели o3. В одном из тестов ей запретили использовать определенный инструмент, но модель все равно применила его, посчитав, что он поможет лучше справиться с задачей.  «[Выводы Apollo] показывают, что o3 и o4-mini способны на внутриконтекстные интриги и стратегический обман. Несмотря на относительную безвредность, повседневным пользователям важно знать о расхождениях между заявлениями и действиями моделей [...] Это может быть дополнительно оценено путем анализа внутренних следов рассуждений», — отметила OpenAI.  Агент для программирования Вместе с новыми ИИ-моделями OpenAI представила Codex CLI — локального программного агента, который запускается прямо из терминала. Инструмент позволяет писать и редактировать код на рабочем столе и выполнять некоторые действия вроде перемещения файлов.  «Вы можете получить преимущества мультимодального рассуждения из командной строки, передавая скриншоты или эскизы с низким разрешением модели, в сочетании с доступом к вашему коду локально [через Codex CLI]», — отметили в компании.  OpenAI хочет купить Windsurf Тем временем OpenAI ведет переговоры о возможном приобретении популярного ИИ-помощника для программистов Windsurf. Об этом пишет Bloomberg.  Сделка может стать крупнейшей покупкой для стартапа Сэма Альтмана. Ее детали еще не определены и могут измениться, подчеркнули в агентстве.  Напомним, в апреле OpenAI представила новое семейство ИИ-моделей — GPT-4.1, GPT-4.1 mini и GPT-4.1 nano. Они «отлично справляются» с программированием и выполнением инструкций.