Gemini 4 хороша в тестах, но буксует в работе — пожаловались сотрудники Google

Google начала развёртывать долгожданную флагманскую модель искусственного интеллекта Gemini 4 Argon, но внутри компании нарастают сомнения относительно качества её работы в ключевых областях, в том числе в написании программного кода. В руководстве Google, однако, настроены оптимистично.

Источник изображений: blog.google

Google представила модель Gemini 4 Argon узкому кругу партнёров в области кибербезопасности, пообещала после дополнительного тестирования расширить к ней доступ и начать с подписчиков платных тарифов. По официальной версии, Gemini 4 в ряде бенчмарков показала лучшие результаты, а в области безопасности обошла OpenAI Astra. Но эти показатели не отражают всей картины, утверждают источники Bloomberg — на практике она показывает более скромные результаты и испытывает трудности с некоторыми задачами из области программирования.

Поисковый гигант активно разрабатывает ИИ-модели, способные конкурировать с продуктами OpenAI и Anthropic; в июне компания намеревалась выпустить Gemini 3.5 Pro, но впоследствии отказалась от этого. Официальные представители Google заявили, что утверждения о низкой эффективности Gemini 4 в области программирования не соответствуют действительности, и сослались на слова руководителя DeepMind Корая Кавукчуоглу (Koray Kavukcuoglu): «Команде я доверяю всецело. Уверен, что мы всегда будем на переднем крае технологий».

Мнения сотрудников Google разделились. Одни говорят, что Anthropic Fable и OpenAI Astra развиваются быстрее, чем Gemini; и Gemini 4 даже при максимальных усилиях всё равно будет уступать в ряде аспектов. Другие полагают, что готовящаяся к выпуску версия по своим возможностям сравнялась с продуктами ведущих ИИ-лабораторий. Один из знакомых с процессом разработки модели сотрудников Google заверил, что внутри компании установился «широкий консенсус», что компания тщательно протестировала модели, и отверг утверждения, что они слабо справляются со сложными практическими задачами в области программирования.

Google необходимо, чтобы Gemini 4 стала успешной. Различные варианты Gemini используются практически во всех продуктах компании, включая ИИ-ответы в поиске, «Карты», Gmail и браузер Chrome. Этими сервисами пользуются миллиарды человек — таким охватом аудитории некоторые конкуренты Google похвастаться не могут. OpenAI и Anthropic уже недостаточно просто продавать доступ к моделям — они выпускают полноценные продукты, в том числе ИИ-агентов для написания кода. И если Google не ответит передовой моделью, у конкурентов будет время убедить клиентов, что будущее поиска и ПО — за их платформами.

В Google признали, что последняя модель уровня Pro вышла ещё в феврале, но с тех пор компания зафиксировала рост показателей своих продуктов с ИИ: корпоративной версии Gemini, чат-бота для массового пользователя и функции ИИ-обзоров в поиске — аудитория последних двух сервисов превысила 1 млрд пользователей. В ноябре минувшего года модель Gemini 3 выступила сильнее всех конкурентов; в мае этого года дебютировало семейство Gemini 3.5, компания пообещала в июне выпустить флагманскую Gemini 3.5 Pro, но, по неофициальной информации, отменила проект.

Решение нанесло урон позициям компании на рынке ИИ и, вероятно, обошлось компании недёшево с точки зрения времени и затрат. Только обучение подобной системы эксперты оценивают в $400 млн, и это без учёта оплаты труда инженеров, получающих очень высокую зарплату. Некоторые проблемы у Gemini 4 всё-таки есть, настаивают отдельные сотрудники. Её навыки в области написания кода неоднородны: модели, например, с трудом даётся фронтенд — направление, отвечающее за внешний вид и удобство использования приложений и сайтов. Кроме того, эта модель очень крупная, и её эксплуатация будет обходиться дорого, что может плохо сказаться на рентабельности Google.

Google, предполагают эксперты, могла чрезмерно увлечься «бенчмаксингом» — так называют популярное в отрасли явление, при котором инженеры оптимизируют ИИ-модели для получения высоких баллов в тестах, уделяя меньше внимания созданию продукта, который качественно выполняет свою задачу. Gemini 4 действительно не избежала этой тенденции, подтвердили знакомые с разработкой модели источники.

Среди сильных сторон модели отмечается способность обрабатывать отличную от текстовой информацию, например, извлекать метаданные из видео. Gemini 4 отличается высокими уровнями безопасности и киберзащищённости, а также умеет вести общение в ясной и естественной форме, говорит информированный источник.

Внутри Google ощущается явное недовольство ситуацией: исследователи указывают на раздутую бюрократию, которая стремится внедрить ИИ во все продукты компании; последовательной стратегии вредит постоянная смена задач и приоритетов. Компания потеряла ряд ведущих исследователей в области ИИ: легендарного инженера Джеффа Дина (Jeff Dean), нобелевского лауреата Джона Джампера (John Jumper), одного из руководителей направления Gemini Ноама Шазира (Noam Shazeer), а глава DeepMind Демис Хассабис (Demis Hassabis) уступил своё место более практичному Кораю Кавукчуоглу (Koray Kavukcuoglu).

Gemini 4, по официальной версии, разработана для выполнения длительных и сложных задач в сфере разработки ПО, в области финансов, юриспруденции и кибербезопасности. За один раз она способна генерировать до 1 млн токенов — это примерно 750 тыс. слов. Конкуренты Google тем временем стремительно движутся вперёд, хотя и призывают замедлить темпы разработки; среди потребителей наиболее популярен сейчас сервис ИИ-агента Meta✴ Muse — он умеет выполнять повседневные задачи, в том числе совершать покупки онлайн и записывать пользователей на приём.

Если вы заметили ошибку — выделите ее мышью и нажмите CTRL+ENTER.