درباره گزارش
این پژوهش Eightfold AI چند مدل زبانی بزرگ از OpenAI، Anthropic، Google، Meta و DeepSeek را با مدل تخصصی Match Score برای تطبیق کاندیدا و شغل مقایسه میکند. ارزیابی روی حدود ۱۰٬۰۰۰ جفت واقعی کاندیدا-شغل انجام شده و هم دقت پیشبینی و هم عدالت نتایج در گروههای جنسیتی، نژادی و گروههای تقاطعی بررسی شده است.
نکات کلیدی
- مدل تخصصی در دقت عملکرد بهتری نشان داد. در این مطالعه، Match Score به ROC AUC برابر با ۰.۸۵ رسید، درحالیکه بهترین مدل زبانی عمومی حدود ۰.۷۷ بود.
- دقت بالا بهتنهایی برای استخدام کافی نیست. مدلهایی که در معیارهای فنی عملکرد قابل قبول دارند، همچنان میتوانند بین گروههای جمعیتی تفاوت معناداری ایجاد کنند.
- عدالت و دقت الزاماً در تضاد نیستند. نتایج نشان میدهد یک الگوریتم با طراحی و کنترل مناسب میتواند هم عملکرد فنی بهتر و هم نتایج عادلانهتری داشته باشد.
- ممیزی سوگیری برای کاربردهای استخدامی ضروری است. پژوهش نسبت به استفادهٔ مستقیم از مدلهای عمومی آمادهبهکار در تصمیمهای پرریسک استخدامی، بدون آزمون عدالت و محافظهای کافی، هشدار میدهد.
منبع: Eightfold AI — Evaluating the promise and pitfalls of LLMs in hiring decisions


