هوش مصنوعی و تعصب الگوریتمی
الگوریتمهای هوش مصنوعی به طور فزایندهای در بخشهای مختلف از استخدام تا امور مالی استفاده میشوند، اما خطرات تعصب و تبعیض را به همراه دارند. تصمیمات خودکار هوش مصنوعی میتوانند اگر دادههای آموزشی تعصبآمیز یا غیرمتنوع باشند، ناعدالتیهای اجتماعی را بازتاب دهند یا تشدید کنند. درک تعصب الگوریتمی به کسبوکارها، توسعهدهندگان و کاربران کمک میکند تا سیستمهای هوش مصنوعی عادلانهتر و شفافتری بسازند و مدیریت کنند.
آیا درباره تعصبات الگوریتمی در هوش مصنوعی کنجکاو هستید؟ به INVIAI بپیوندید تا در این مقاله درباره هوش مصنوعی و تعصب الگوریتمی بیشتر بیاموزید!
هوش مصنوعی (AI) به طور فزایندهای در زندگی روزمره ما جای گرفته است – از تصمیمات استخدامی تا مراقبتهای بهداشتی و پلیس – اما استفاده از آن نگرانیهایی درباره تعصب الگوریتمی ایجاد کرده است. تعصب الگوریتمی به تعصبات سیستماتیک و ناعادلانه در خروجیهای سیستمهای هوش مصنوعی گفته میشود که اغلب بازتابدهنده کلیشهها و نابرابریهای اجتماعی است.
به طور خلاصه، یک الگوریتم هوش مصنوعی میتواند به طور ناخواسته تعصبات انسانی موجود در دادههای آموزشی یا طراحی خود را بازتولید کند و منجر به نتایج تبعیضآمیز شود.
در ادامه، به بررسی علل تعصب الگوریتمی، نمونههای واقعی تأثیر آن و تلاشهای جهانی برای عادلانهتر کردن هوش مصنوعی میپردازیم.
درک تعصب الگوریتمی و علل آن
تعصب الگوریتمی معمولاً نه به این دلیل که هوش مصنوعی "میخواهد" تبعیض کند، بلکه به دلیل عوامل انسانی به وجود میآید. سیستمهای هوش مصنوعی از دادهها یاد میگیرند و قوانین ساخته شده توسط انسانها را دنبال میکنند – و انسانها تعصباتی دارند (اغلب ناخودآگاه). اگر دادههای آموزشی مغرضانه یا بازتابدهنده تعصبات تاریخی باشند، هوش مصنوعی احتمالاً آن الگوها را یاد میگیرد.
دادههای آموزشی مغرضانه
تعصبات تاریخی نهفته در مجموعه دادهها
- مجموعه دادههای ناقص
 - نمونههای غیرنماینده
 - الگوهای تبعیض تاریخی
 
برچسبگذاری دادههای مغرضانه
تعصبات انسانی در حین نشانهگذاری دادهها
- دستهبندیهای ذهنی
 - فرضیات فرهنگی
 - کلیشهسازی ناخودآگاه
 
مشکلات بهینهسازی
الگوریتمهایی که برای دقت بیش از عدالت بهینه شدهاند
- تمرکز بر دقت کلی
 - نادیده گرفتن گروههای اقلیت
 - نادیده گرفتن ملاحظات عدالت
 
الگوریتمهای هوش مصنوعی تعصبات سازندگان و دادههای خود را به ارث میبرند مگر اینکه گامهای آگاهانهای برای شناسایی و اصلاح آنها برداشته شود.
— یافته کلیدی پژوهشی
مهم است بدانیم که تعصب الگوریتمی معمولاً غیرعمدی است. سازمانها اغلب هوش مصنوعی را برای تصمیمگیریهای عینیتر به کار میگیرند، اما اگر اطلاعات مغرضانه به سیستم داده شود یا عدالت در طراحی لحاظ نشود، نتیجه میتواند ناعادلانه باشد. تعصب هوش مصنوعی میتواند فرصتها را ناعادلانه تخصیص دهد و نتایج نادرستی تولید کند که بر رفاه افراد تأثیر منفی گذاشته و اعتماد به هوش مصنوعی را کاهش میدهد.
درک علت تعصب اولین گام به سوی راهحلها است – و این گامی است که دانشگاهها، صنعت و دولتها در سراسر جهان اکنون جدی گرفتهاند.

نمونههای واقعی تعصب در هوش مصنوعی
تعصب در هوش مصنوعی فقط یک نگرانی فرضی نیست؛ موارد متعددی در دنیای واقعی نشان دادهاند که تعصب الگوریتمی میتواند منجر به تبعیض شود. نمونههای برجسته تعصب هوش مصنوعی در بخشهای مختلف عبارتند از:
سیستم عدالت کیفری
مورد: الگوریتم پیشبینی بازگشت به جرم در آمریکا
تأثیر: تعصب علیه متهمان سیاهپوست، که اغلب متهمان سیاهپوست را پرخطر و متهمان سفیدپوست را کمخطر ارزیابی میکرد و نابرابریهای نژادی در صدور حکم را تشدید میکرد.
پیامد: تشدید تعصبات تاریخی در پلیس و دادگاهها
استخدام و جذب نیرو
مورد: ابزار جذب نیروی هوش مصنوعی آمازون
تأثیر: پس از تبعیض علیه زنان کنار گذاشته شد. این ابزار که بر اساس رزومههای گذشته که عمدتاً متعلق به مردان بود آموزش دیده بود، رزومههایی که شامل کلمات "زنان" یا کالجهای مختص زنان بودند را پایینتر ارزیابی میکرد.
پیامد: فیلتر ناعادلانه زنان واجد شرایط برای مشاغل فنی
تعصب در فناوری تشخیص چهره
فناوری تشخیص چهره در دقت خود تعصب قابل توجهی نشان داده است که در خطوط جمعیتی متفاوت است. مطالعه جامعی در سال ۲۰۱۹ توسط مؤسسه ملی استانداردها و فناوری آمریکا (NIST) تفاوتهای نگرانکنندهای را آشکار کرد:
- شناساییهای مثبت کاذب برای چهرههای آسیایی و آفریقایی-آمریکایی ۱۰ تا ۱۰۰ برابر بیشتر از چهرههای سفیدپوست بود
 - بیشترین نرخ اشتباه شناسایی برای زنان سیاهپوست در جستجوهای یک به چند بود
 - این تعصب خطرناک قبلاً منجر به دستگیری نادرست افراد بیگناه شده است
 
تعصب در هوش مصنوعی مولد و محتوا
حتی جدیدترین سیستمهای هوش مصنوعی نیز از این قاعده مستثنی نیستند. مطالعهای در سال ۲۰۲۴ توسط یونسکو نشان داد که مدلهای زبانی بزرگ اغلب کلیشههای جنسیتی و نژادی واپسگرا تولید میکنند:
تمرکز خانگی
- ۴ برابر بیشتر در نقشهای خانگی توصیف شدهاند
 - مرتبط با "خانه" و "کودکان"
 - کلیشههای جنسیتی سنتی
 
تمرکز حرفهای
- مرتبط با "مدیر" و "حقوق"
 - مرتبط با پیشرفت "شغلی"
 - اصطلاحات رهبری
 
خطرات هوش مصنوعی بر نابرابریهای موجود افزوده میشود و به گروههای حاشیهای آسیب بیشتری میرساند.
— هشدار یونسکو
این نمونهها نشان میدهند که تعصب الگوریتمی مشکلی دور یا نادر نیست – بلکه امروز در حوزههای مختلف رخ میدهد. از فرصتهای شغلی تا عدالت، مراقبتهای بهداشتی تا اطلاعات آنلاین، سیستمهای هوش مصنوعی مغرض میتوانند تبعیضهای موجود را بازتولید و حتی تشدید کنند.
آسیبها معمولاً بر گروههای تاریخی محروم وارد میشود و نگرانیهای جدی اخلاقی و حقوق بشری را به همراه دارد. با توجه به اینکه میلیونها نفر اکنون از هوش مصنوعی مولد در زندگی روزمره استفاده میکنند، حتی تعصبات ظریف در محتوا میتواند نابرابریها را در دنیای واقعی تشدید کند و کلیشهها را در مقیاس وسیع تقویت نماید.

چرا تعصب هوش مصنوعی اهمیت دارد؟
اهمیت پرداختن به تعصب هوش مصنوعی بسیار بالاست. اگر کنترل نشود، الگوریتمهای مغرض میتوانند تبعیض سیستماتیک را پشت نقاب بیطرفی فناوری تثبیت کنند. تصمیماتی که توسط هوش مصنوعی گرفته یا هدایت میشوند – مانند اینکه چه کسی استخدام شود، چه کسی وام یا آزادی مشروط بگیرد، یا چگونه پلیس نظارت کند – پیامدهای واقعی برای زندگی افراد دارند.
تأثیر بر حقوق بشر
اصول برابری و عدم تبعیض را تضعیف میکند
- فرصتهای از دست رفته
 - نابرابریهای اقتصادی
 - تهدید آزادیهای فردی
 
کاهش اعتماد
اعتماد عمومی به فناوری را آسیب میزند
- کاهش پذیرش هوش مصنوعی
 - آسیب به شهرت
 - موانع نوآوری
 
کاهش منافع
پتانسیل مثبت هوش مصنوعی را محدود میکند
- نتایج نادرست
 - کاهش اثربخشی
 - دسترسی نابرابر به مزایا
 
اگر این تصمیمات به طور ناعادلانه علیه جنسیتها، نژادها یا جوامع خاصی باشد، نابرابریهای اجتماعی گسترش مییابد. این میتواند منجر به فرصتهای از دست رفته، نابرابریهای اقتصادی یا حتی تهدید آزادی و امنیت شخصی برای گروههای آسیبدیده شود.
در تصویر بزرگتر، تعصب الگوریتمی حقوق بشر و عدالت اجتماعی را تضعیف میکند و با اصول برابری و عدم تبعیض که جوامع دموکراتیک به آن پایبندند، در تضاد است.
علاوه بر این، تعصب الگوریتمی میتواند مزایای بالقوه هوش مصنوعی را کاهش دهد. هوش مصنوعی وعده بهبود کارایی و تصمیمگیری را دارد، اما اگر نتایج آن برای بخشهایی از جمعیت تبعیضآمیز یا نادرست باشد، نمیتواند به تأثیر مثبت کامل خود برسد.
برای مثال، ابزاری در حوزه سلامت که برای یک جمعیت به خوبی کار میکند اما برای دیگران ضعیف است، واقعاً مؤثر یا قابل قبول نیست. همانطور که سازمان همکاری و توسعه اقتصادی (OECD) مشاهده کرده است، تعصب در هوش مصنوعی فرصتها را ناعادلانه محدود میکند و میتواند اعتبار کسبوکارها و اعتماد کاربران را از بین ببرد.
به طور خلاصه، پرداختن به تعصب نه تنها یک الزام اخلاقی بلکه برای بهرهبرداری عادلانه از مزایای هوش مصنوعی برای همه افراد حیاتی است.

راهکارهای کاهش تعصب هوش مصنوعی
از آنجا که تعصب الگوریتمی اکنون به طور گستردهای شناخته شده است، مجموعهای از راهبردها و بهترین شیوهها برای کاهش آن شکل گرفته است. اطمینان از عادلانه و فراگیر بودن سیستمهای هوش مصنوعی نیازمند اقدام در مراحل مختلف توسعه و پیادهسازی است:
بهبود روشهای دادهای
از آنجا که دادههای مغرضانه علت اصلی است، بهبود کیفیت دادهها کلیدی است. این به معنای استفاده از مجموعه دادههای آموزشی متنوع و نماینده است که گروههای اقلیت را شامل شود و بررسی دقیق برای وجود تعصب یا خلأها انجام شود.
- استفاده از مجموعه دادههای آموزشی متنوع و نماینده که گروههای اقلیت را شامل شود
 - ممیزی دقیق دادهها برای تعصبات تاریخی (نتایج متفاوت بر اساس نژاد/جنسیت)
 - اصلاح یا متعادلسازی دادههای مغرضانه قبل از آموزش مدل
 - استفاده از افزایش داده یا دادههای مصنوعی برای گروههای کمنماینده
 - اجرای نظارت مداوم بر خروجیهای هوش مصنوعی برای شناسایی زودهنگام مشکلات تعصب
 
طراحی الگوریتم عادلانه
توسعهدهندگان باید به طور آگاهانه محدودیتهای عدالت و تکنیکهای کاهش تعصب را در آموزش مدلها بگنجانند. این ممکن است شامل استفاده از الگوریتمهایی باشد که میتوان آنها را برای عدالت تنظیم کرد (نه فقط دقت).
بهکارگیری تکنیکهای عدالت
استفاده از الگوریتمهای تنظیم شده برای عدالت، بهکارگیری تکنیکهایی برای برابر کردن نرخ خطا بین گروهها، وزندهی مجدد دادهها یا تغییر آگاهانه آستانههای تصمیمگیری.
استفاده از ابزارهای تست تعصب
استفاده از ابزارها و چارچوبهای متنباز برای تست مدلها از نظر تعصب و انجام تنظیمات در طول توسعه.
تعریف معیارهای عدالت
همکاری با کارشناسان حوزه و جوامع آسیبدیده هنگام تعریف معیارهای عدالت، زیرا تعاریف ریاضی متعددی از عدالت وجود دارد که گاهی با هم در تضادند.
نظارت انسانی و پاسخگویی
هیچ سیستم هوش مصنوعی نباید بدون پاسخگویی انسانی عمل کند. نظارت انسانی برای شناسایی و اصلاح تعصباتی که ماشین ممکن است یاد بگیرد، حیاتی است.
انسان در حلقه
- بازبینان استخدام که کاندیداهای غربال شده توسط هوش مصنوعی را بررسی میکنند
 - قاضیانی که با احتیاط نمرات ریسک هوش مصنوعی را در نظر میگیرند
 - متخصصان پزشکی که تشخیصهای هوش مصنوعی را تأیید میکنند
 
اقدامات پاسخگویی
- ممیزیهای منظم تصمیمات هوش مصنوعی
 - ارزیابی تأثیر تعصب
 - هوش مصنوعی قابل توضیح
 - تخصیص مسئولیت واضح
 
سازمانها باید به یاد داشته باشند که مسئول تصمیماتی که الگوریتمهایشان میگیرند هستند، همانطور که اگر توسط کارکنان گرفته شود. شفافیت نیز ستون دیگری است: باز بودن درباره نحوه عملکرد سیستم هوش مصنوعی و محدودیتهای شناخته شده آن میتواند اعتماد ایجاد کرده و امکان بررسی مستقل را فراهم کند.
برخی حوزههای قضایی در حال حرکت به سمت الزام به شفافیت برای تصمیمات الگوریتمی با ریسک بالا هستند (که از سازمانهای دولتی میخواهند نحوه استفاده از الگوریتمها در تصمیماتی که بر شهروندان تأثیر میگذارد را افشا کنند). هدف این است که هوش مصنوعی تصمیمگیری انسانی را تقویت کند بدون جایگزینی قضاوت اخلاقی یا مسئولیت قانونی.
تیمهای متنوع و مقررات
توسعه فراگیر
گروهی فزاینده از کارشناسان بر ارزش تنوع در میان توسعهدهندگان و ذینفعان هوش مصنوعی تأکید دارند. محصولات هوش مصنوعی بازتابدهنده دیدگاهها و نقاط کور کسانی است که آنها را میسازند.
مقررات و دستورالعملهای اخلاقی
دولتها و نهادهای بینالمللی اکنون فعالانه وارد عمل شدهاند تا اطمینان حاصل کنند که تعصب هوش مصنوعی مورد توجه قرار میگیرد:
- توصیه یونسکو درباره اخلاق هوش مصنوعی (۲۰۲۱): اولین چارچوب جهانی که به اتفاق آرا تصویب شد و اصول شفافیت، عدالت و عدم تبعیض را تثبیت میکند
 - قانون هوش مصنوعی اتحادیه اروپا (۲۰۲۴): پیشگیری از تعصب را اولویت قرار داده و ارزیابیهای سختگیرانه برای عدالت در سیستمهای هوش مصنوعی پرخطر را الزامی میکند
 - اقدامات دولتهای محلی: بیش از دوازده شهر بزرگ (سانفرانسیسکو، بوستون، مینیاپولیس) استفاده پلیس از فناوری تشخیص چهره را به دلیل تعصب نژادی ممنوع کردهاند
 

مسیر پیش رو: ساخت هوش مصنوعی اخلاقی
هوش مصنوعی و تعصب الگوریتمی چالشی جهانی است که ما تازه شروع به مقابله مؤثر با آن کردهایم. نمونهها و تلاشهای فوق روشن میکند که تعصب هوش مصنوعی مسئلهای جزئی نیست – بلکه بر فرصتهای اقتصادی، عدالت، سلامت و همبستگی اجتماعی در سراسر جهان تأثیر میگذارد.
رسیدن به این هدف نیازمند هوشیاری مداوم است: آزمایش مداوم سیستمهای هوش مصنوعی برای تعصب، بهبود دادهها و الگوریتمها، مشارکت ذینفعان متنوع و بهروزرسانی مقررات با پیشرفت فناوری.
در اصل، مبارزه با تعصب الگوریتمی به معنای همسو کردن هوش مصنوعی با ارزشهای ما درباره برابری و عدالت است. همانطور که آدری آزولای، مدیرکل یونسکو، اشاره کرده است، حتی «تعصبات کوچک در محتوای [هوش مصنوعی] میتواند نابرابریها را در دنیای واقعی به طور قابل توجهی تشدید کند».
تعصبات کوچک در محتوای هوش مصنوعی میتواند نابرابریها را در دنیای واقعی به طور قابل توجهی تشدید کند.
— آدری آزولای، مدیرکل یونسکو
بنابراین، پیگیری هوش مصنوعی بدون تعصب برای اطمینان از اینکه فناوری تمام بخشهای جامعه را ارتقا میدهد نه اینکه تعصبات قدیمی را تقویت کند، حیاتی است.
با اولویت دادن به اصول اخلاقی در طراحی هوش مصنوعی – و پشتیبانی آنها با اقدامات و سیاستهای ملموس – میتوانیم قدرت نوآورانه هوش مصنوعی را به کار بگیریم و در عین حال کرامت انسانی را حفظ کنیم.