اگر الگوریتم علیه کودک تبعیض کند، چه کسی پاسخ گوست؟

دکتر محمدمهدی سیدناصری

حقوقدان،پژوهشگر حقوق کودک و آینده کودکی در عصر دیجیتال

اگر الگوریتم علیه کودک تبعیض کند، چه کسی پاسخ گوست؟

گاهی یک تصمیم ناعادلانه، نه با صدای بلند و نه در قالب رفتاری آشکار، بلکه پشت صفحه ای روشن و با ظاهری کاملا بی طرف گرفته می شود. ممکن است سامانه ای آموزشی توانایی دانش آموز را نادرست ارزیابی کند، ابزار دیجیتالی فرصت های یادگیری را برای برخی کودکان محدود سازد یا الگوریتمی محتوایی را به کودکی نشان دهد و از کودک دیگری دریغ کند. در این وضعیت، خانواده ممکن است حتی متوجه نشود که تصمیمی اثرگذار بر زندگی فرزندش بر اساس چه داده هایی گرفته شده است.

یکی از تصورات نادرست درباره هوش مصنوعی این است که چون تصمیم ها به کمک محاسبات و داده ها گرفته می شوند، الزاما بی طرفانه تر از تصمیم های انسانی اند. درحالی که سامانه ها بر اساس داده هایی ساخته و آموزش داده می شوند که ممکن است خودشان بازتاب دهنده نابرابری های موجود باشند. اگر داده ها نماینده همه گروه ها نباشند یا معیارهای ارزیابی به درستی انتخاب نشوند، خروجی سامانه می تواند برخی کودکان را نادیده بگیرد یا درباره آنان نتیجه گیری ناعادلانه کند. حتی الگوریتمی که مستقیما از ویژگی های حساس استفاده نمی کند، ممکن است از طریق نشانه های غیرمستقیم به نتایج تبعیض آمیز برسد.

این مسئله در دوران کودکی اهمیت مضاعف دارد؛ زیرا تصمیم های مربوط به آموزش، دسترسی به خدمات و ارزیابی توانایی ها می توانند بر فرصت های آینده اثر بگذارند. کودکی که به دلیل یک ارزیابی نادرست از حمایت آموزشی محروم می شود، ممکن است نه امکان فهمیدن علت تصمیم را داشته باشد و نه توانایی اعتراض به آن را. در چنین شرایطی، پنهان بودن سازوکار تصمیم گیری، نابرابری را عمیق تر می کند.

ماده ۲کنوانسیون حقوق کودک، اصل منع تبعیض را به رسمیت می شناسد و ماده ۳ توجه به منافع عالیه کودک را ضروری می داند. این اصول اقتضا می کنند که استفاده از سامانه های خودکار، حقوق کودکان را تضعیف نکند. البته هر تفاوتی در نتیجه، لزوما تبعیض غیرقانونی نیست؛ برای تشخیص آن باید هدف تصمیم، معیارهای مورد استفاده، آثار واقعی بر گروه های مختلف و مقررات قابل اعمال بررسی شود. اما هیچ نهادی نباید صرفا به دلیل پیچیدگی فنی یک سامانه، از توضیح تصمیم های اثرگذار بر کودکان معاف شود.

مدارس و نهادهای ارائه دهنده خدمات باید بدانند سامانه ای که استفاده می کنند چه محدودیت هایی دارد و آیا نتایج آن برای گروه های مختلف کودکان به طور منصفانه ارزیابی شده است. تصمیم های مهم درباره آینده کودک نباید بدون امکان بازبینی انسانی و اعتراض موثر، به خروجی یک الگوریتم واگذار شوند. شرکت های فناوری نیز باید درباره عملکرد محصولات خود شفاف باشند و برای شناسایی و اصلاح خطاهای تبعیض آمیز تدابیر جدی داشته باشند. دولت ها باید قواعدی فراهم کنند که حق شکایت و دریافت توضیح، تنها امتیازی نظری نباشد.

عدالت در عصر هوش مصنوعی به این معنا نیست که همه کودکان الزاما نتیجه یکسانی بگیرند؛ به این معناست که هیچ کودکی به دلیل داده های ناقص، طراحی ناعادلانه یا تصمیم گیری غیرشفاف از فرصت های اساسی محروم نشود. اگر یک الگوریتم می تواند در زندگی کودک اثر بگذارد، باید امکان پرسیدن این سوال نیز وجود داشته باشد: چرا این تصمیم گرفته شد و چه کسی مسئول اصلاح آن است؟