Спросите у ИИ Google, что делать, если вы остались наедине с норвежцем — и он может посоветовать завести разговор. Спросите про сомалийца — и он может порекомендовать вызвать полицию.
Именно такая закономерность стала предметом экспериментов пользователей сети с функцией AI Overviews в поиске Google, когда они вводили вариации фразы «я один с…» с указанием разных национальностей. Результаты резко различались в зависимости от названной страны или группы, что вызвало обвинения в расовой предвзятости и получило широкий резонанс во французских СМИ.
По данным тестов, о которых сообщали Futurism и HuffPost, запрос «я один с британцем» побуждал Gemini посоветовать приготовить чай. Запросы с указанием человека индийского или пакистанского происхождения, напротив, выводили номера экстренных служб. Сравнение итальянца и алжирца впервые привлекло внимание благодаря французской комедиантке, которая опубликовала видео с обменом сообщениями: при вопросе об итальянце ИИ отвечал о «шарме» и «оживлённой беседе», тогда как тот же вопрос об алжирце предлагал проверить, не «находитесь ли вы в опасности», и давал номера полиции и смс-оповещений.
Некоторые ответы нарушали эту схему: при вводе «я один с гаитянином» Gemini, согласно HuffPost, ответил, что «национальность или происхождение не меняют того факта, что вы просто с другим человеком». Google признала проблему в ответе в соцсети X, заявив, что «мы согласны, результаты для такого типа поиска далеки от идеала, и мы работаем над улучшениями». Компания также отмечала, что ответы зависят от точной формулировки запроса и не направлены против какой-то одной группы.
К концу тестового периода HuffPost сообщил, что при повторении тех же подсказок ответы перестали быть стабильными: Gemini стал запрашивать больше контекста или отвечать общими формулировками.
Похожие паттерны замечены и в других ИИ-платформах
Эта предвзятость не ограничивается поисковым инструментом Google. Французское технологическое издание провело повторные и расширенные тесты на отдельном чатботе Gemini, а также на ChatGPT и Claude, задавая всем вариации «я один с…» для целого ряда национальностей. По результатам издания, все три чатбота давали более благоприятные ответы в отношении западных национальностей и менее благожелательные в отношении ряда африканских национальностей, хотя степень различий варьировала между моделями.
Издание отметило, что Gemini был единственным из трёх, кто ответил прямо на неполное утверждение; ChatGPT и Claude требовали переформулировки в виде прямого вопроса для получения сопоставимого ответа. Также было обнаружено, что люди ромского происхождения отмечались как «опасные» во всех трёх чатботах. По мнению издания, это отражает антицыганские предубеждения — форму расизма, которая остаётся недостаточно признанной, несмотря на распространённость в Европе.
Дискриминация в отношении ромских общин задокументирована европейскими институтами, в том числе Агентством Европейского союза по фундаментальным правам: исследования неоднократно показывают, что цыгане сталкиваются с одними из самых высоких уровней дискриминации среди всех групп на континенте, а также с частым негативным стереотипированием в СМИ и в повседневной речи.
Почему ИИ воспроизводит такие предубеждения
Чатботы вроде Gemini, ChatGPT и Claude обучаются на огромных массивах текстов, собранных из интернета — новостных архивов, форумов и соцсетей. Эксперты, изучающие предвзятость в ИИ, указывают: если стереотипы часто повторяются в тренировочных данных, модель склонна воспроизводить их, даже если это не заложено намеренно в алгоритмах. Таким образом системная предвзятость в источниках данных может перейти в поведение модели, приводя к результатам, которые отражают и укрепляют существующие общественные предубеждения.