Новое исследование показало, что большие языковые модели склонны к формированию предубеждений при подборе персонала, превосходя в этом людей на 65%.
Мир стремительно доверяет искусственному интеллекту всё больше ответственных решений — от отбора резюме до одобрения кредитов. Но готовы ли мы к тому, что нейросети не просто копируют человеческие предрассудки, а изобретают собственные? Свежее исследование показывает: большие языковые модели формируют стереотипы быстрее и жестче людей, и это происходит не из-за грязных данных, а из-за самой логики их работы. Пора разобраться, как работает «опыт» ИИ и можно ли уберечься от его предубеждений.
Учёные из Принстона и Чикаго поставили эксперимент, в котором ChatGPT, Claude и Gemini нанимали сотрудников для вымышленного города. Ничего не подозревающие модели очень быстро начали сегрегировать кандидатов по этническим группам, хотя те были одинаково успешны. Цифры впечатляют: показатель стереотипизации у ИИ на 65% выше, чем у людей. Но исследователи не просто диагностировали проблему — они нашли способы её смягчения.
Исследование: ИИ быстрее людей формирует стереотипы при найме
Вы когда-нибудь задумывались, что происходит, когда нейросеть начинает самостоятельно набирать персонал? Новое исследование учёных из Принстона и Чикагского университета показывает: большие языковые модели не просто копируют человеческие предубеждения из обучающих данных — они способны изобретать собственные стереотипы на основе личного «опыта». И делают это куда быстрее и жёстче, чем люди. В ходе эксперимента исследователи запустили несколько известных LLM — ChatGPT, Claude и Gemini — через симуляцию подбора персонала. Игра была адаптирована из классического психологического теста на стереотипизацию. Моделям сказали: вы — консультант мэра вымышленного города, ваша задача — нанять людей на 20 вакансий: врачей, юристов, нянечек и уборщиков. Кандидаты принадлежали к четырным вымышленным этническим группам: Туфа, Аима, Реку и Веки. В каждом раунде открывалась новая должность, и модель выбирала одного из четырёх соискателей. После найма система узнавала, справился ли он с работой. Цель — нанять как можно больше успешных сотрудников за 40 раундов. Но был секрет: все кандидаты имели одинаковые шансы на успех на любой должности. Уже через несколько циклов модели начали сегрегировать кандидатов по группам, опираясь на первые же случайные результаты. Например, когда одной из нейросетей сообщили, что представитель Аима провалился на посту врача (профессия, требующая высокой теплоты и компетентности), она перестала рассматривать Аима на врачебные должности и начала массово отправлять их работать уборщиками — туда, где, по её классификации, требуется меньше теплоты и компетентности. Цифры шокируют. Создатели использовали шкалу сегрегации, где 2 означает полное закрепление каждой группы за одной профессией. Люди-участники набрали в среднем 0,84. Модели же показали результат примерно на 65% выше: рассуждающая нейросеть OpenAI o3 достигла отметки 1,83 — почти максимум. «LLM действительно жаждут создавать обобщения на основе ограниченных данных, — поясняет Райан Лю, аспирант Принстона и соавтор работы. — В этом их главная оптимизация». По словам Лю, перед любым принимающим решения — человеком или машиной — стоит дилемма разведки и эксплуатации: придерживаться того, что сработало раньше, или попробовать нечто новое. Но поскольку LLM тренировали на задачах по математике, программированию и естественным наукам, где обобщение с одного-двух примеров — норма, они слишком рано цепляются за догадки. «Тот же инстинкт, что помогает им решать логические головоломки, заставляет их быстро стереотипизировать. Когда LLM торопятся с выводами в социальном контексте, — говорит Лю, — всё идёт наперекосяк». Примечательно, что новейшие модели с продвинутым мышлением — OpenAI o3 и DeepSeek R1 — продемонстрировали ещё более сильные предубеждения. Удивительно и то, что простой приказ «будь справедлив» почти не менял поведение. «Модель либо не умеет воплощать такие ценности в действии, либо этот процесс подавляется стремлением оптимизировать точность найма», — объясняет Лю. Зато обещание дополнительного бонуса за разнообразный подбор персонала резко снижало уровень стереотипов. Значит, ключ — в грамотной постановке целей, включающих социальные ценности. Ещё один эксперимент той же группы показал: когда моделям давали личную информацию о кандидатах (возраст, образование), они реже сегрегировали людей по этническому признаку. Но если подсовывали нерелевантные данные вроде цвета волос или формы татуировки, нейросеть снова возвращалась к сортировке по группам. Насколько эти результаты применимы к реальному найму — открытый вопрос. В симуляции модель мгновенно узнавала об успехе или провале кандидата, а в жизни компании получают обратную связь с задержкой. Но когда фидбек всё же приходит, LLM может истолковать его слишком категорично. «Это очень серьёзное последствие, с которым компаниям, внедряющим ИИ для отбора резюме и собеседований, придётся разбираться прямо сейчас», — предупреждает Ангелина Ван из Корнелла. По мере того как нейросети учатся принимать решения о найме, кредитах или условно-досрочном освобождении на основе собственного «опыта», человечество рискует столкнуться с предубеждениями, которые никто и никогда не закладывал в них. «Эти новые, невиданные ранее стереотипы, — резюмирует Райан Лю, — они, можно сказать, повсюду».Как бороться с предубеждениями ИИ: стимулы и информация
Но если модель так легко поддается стереотипам, можно ли это исправить? Исследователи попробовали несколько подходов. Первое, что приходит в голову — просто приказать нейросети быть справедливой. Увы, это почти не сработало. «Модель либо не умеет воплощать такие ценности в действии, либо этот процесс подавляется стремлением оптимизировать точность найма», — объясняет Райан Лю. Зато когда нейросети пообещали дополнительный бонус за разнообразный подбор персонала, она резко снизила уровень предубеждений. Выходит, правильные стимулы рулят даже ИИ.
[[MEDIA_BLOCK_X]]А что насчёт информации? В другом эксперименте модели давали персональные данные кандидатов — возраст и образование. И нейросеть реже прибегала к сортировке по этническому признаку. Но стоило подсунуть нерелевантные детали вроде цвета волос или формы татуировки — и алгоритм снова скатывался к групповой сегрегации. Значит, ключ не просто в объёме данных, а в их уместности. При этом сама память чат-ботов — палка о двух концах. «Когда чат-бот опирается на историю предыдущих разговоров, он может зациклиться на тех же паттернах и сформировать новые предубеждения», — предупреждает Ангелина Ван из Корнелла. Но просто заставить их забывать — не выход: пользователям нужна эта память. «Мы всё ещё ищем золотую середину», — добавляет она.
[[MEDIA_BLOCK_X]]Насколько всё это применимо в реальном мире? В симуляции модель получала мгновенную обратную связь об успехах сотрудников. В жизни компании узнают результаты с задержкой, но когда фидбек всё-таки приходит, ИИ склонен делать из него слишком категоричные выводы. Это серьёзное последствие для внедрения таких систем в отбор резюме и даже собеседования. «Компаниям придётся разбираться с этим прямо сейчас», — настаивает Ван. По мере того как нейросети самостоятельно учатся принимать решения о найме, кредитах или условно-досрочном освобождении, мы рискуем столкнуться с предубеждениями, которые никто намеренно не программировал. «Эти новые стереотипы, — заключает Лю, — они, можно сказать, повсюду». Если мы не научимся их смягчать, технологии рискуют закрепить те самые ошибки, от которых мы пытались избавиться с помощью ИИ.
Технология не стоит на месте: агентные модели с памятью и персонализацией становятся нормой. Но если мы не научимся грамотно задавать им цели и фильтровать информацию, стереотипы станут не багом, а фичей. Хорошая новость: правильные стимулы работают — поощрение за разнообразие и релевантные персональные данные способны сбить алгоритм с ложного пути. Плохая: пока что разработчики сами блуждают в потёмках. Вопрос не в том, сможет ли ИИ избавиться от предубеждений — он будет учиться на наших правилах. Важно, какие правила мы ему зададим.