أطلقت شركة أبل مؤخرًا ثلاث خصائص جديدة مُصَممة للحفاظ على سلامة الأطفال، ستفحص إحدى هذه الخصائص -وتُسمى "أمان التَّواصل عبر الرسائل" Communication safety in Messages- رسائل "iMessages" للأشخاص الذين تقل أعمارهم عن 13 عامًا للتعرُّف على الصور الفاضحة جنسيًّا وطمسها، وتنبيه الوالدين إذا فتح طفلهما رسالة أو أرسل رسالة تحتوي على صورة من هذا القبيل، في البداية، قد تبدو هذه طريقةً جيدةً للتخفيف من خطر تعرُّض الصغار للاستغلال على يد المتربصين بهم من الراشدين، ولكنها قد تضر أكثر مما تنفع.

وعلى الرغم من أننا نأمل أن يرغب جميع الآباء في الحفاظ على سلامة أطفالهم وأمانهم، فإن هذا الأمر ليس هو واقع الحال بالنسبة للعديد من الأطفال، فشباب "مجتمع الميم" LGBTQ+ (مثليو ومثليات الجنس، ومزدوجو التوجه الجنسي، والمتحولون جنسيًّا، والمتحيرون وغيرهم)، على وجه التحديد، هم الفئة الأكثر تعرضًا لمواجهة العنف الأبوي والاعتداء، وهم عُرضة بمقدار الضِّعْف مقارنةً بغيرهم للمعاناة من التشرد، ويشكلون 30 بالمئة من نظام الرعاية البديلة، وإضافةً إلى ذلك، هم الذين تزداد احتمالات إرسالهم للصور الفاضحة مثل تلك التي تسعى شركة أبل لاكتشافها والإبلاغ عنها، ويرجع ذلك -في جانب منه- إلى الافتقار إلى التَّثقيف الجنسي، وإبلاغ الوالدين بطبيعة الرسائل النصية التي يرسلها أطفالهم يُمكِن أن يكشف عن تفضيلاتهم الجنسية، وهو الأمر الذي قد يؤدي إلى العنف، وقد يصل إلى التشرد.

وتتفاقم هذه الأضرار بسبب حقيقة أن التقنية التي تقوم عليها هذه الخاصية من غير المُرَجَّح أن تكون شديدة الدقة في اكتشاف الصور الفاضحة، وستستعين شركة أبل -وفق قولها- بتقنيات "تعلُّم الآلة على الأجهزة لتحليل مرفقات الصور وتحديد ما إذا كانت الصورة فاضحةً جنسيًّا أم لا"، وسيجري فحص جميع الصور المُرسَلة أو المستقبلة بواسطة أحد حسابات أبل المملوكة لمستخدم يقل عُمْره عن 13 عامًا، وستُرسَل إشعارات أبوية إذا كان هذا الحساب مرتبطًا بحساب أحد الأبوين.

ليس من الواضح بعدُ مدى الجودة الذي ستعمل به هذه الخوارزمية، ولا ما الذي ستكتشفه بالضبط؛ فبعض خوارزميات اكتشاف المحتوى الفاضح جنسيًّا يحدد المحتوى بناءً على النسبة المئوية للجلد الظاهر، فعلى سبيل المثال، قد تحذر الخوارزمية من صورة أم وابنتها على الشاطئ مرتديتين ملابس السباحة، وإذا أُرسلت بين شابين صورة لأحد المشاهير يرتدي ملابس لا تستر من جسده إلا القليل، فقد يُخطَر والداهما بذلك.

تشتهر الرؤية الحاسوبية بكونها مُعضِلَة صعبة، كما أن الخوارزميات الموجودة حاليًّا -مثل تلك المُستَخدَمة لاكتشاف الوجوه- تتضمن تحيُّزات معروفة، ومن بينها واقع أنها تُخفق كثيرًا في اكتشاف وجوه غير البيض، وتزيد احتمالات حدوث الأخطاء في نظام أبل بشدة لأن أغلب خوارزميات اكتشاف العُري المنشورة أكاديميًّا تُدَرَّب على صور البالغين، لم تكشف شركة أبل بشفافية عن الخوارزمية التي يستخدمونها، لذا فليست لدينا أي فكرة عن مدى نجاحها، لا سيَّما في اكتشاف الصور التي يلتقطها صغار السن لأنفسهم، والتي يُفترض أنها الأكثر إثارةً للقلق.

تُعَد هذه المسائل المتعلقة بدقة الخوارزميات مثارًا للقلق؛ لأنها تخاطر بعدم اتساق توقعات صغار السن، فعندما نكون متشددين بإفراط في التصريح بكون السلوك "سيئًا" أو "خطيرًا" -بما في ذلك حتى مشاركة صور ملابس السباحة بين المراهقين- فإننا نتسبب في تشويش قدرة الشباب على المعرفة عندما يحدث لهم شيء ما ضار حقًّا.

وفي الواقع، حتى مع وجود هذه الخاصية، فإننا نُعَلِّم صغار السن أنه ليس لهم الحق في التمتع بالخصوصية، إن انتزاع حق صغار السن في الخصوصية وحقهم في منح الموافقة يتناقض تمامًا مع ما تقترحه إرشادات اليونيسف المعتمدة على البينات لمنع الاستغلال الجنسي للأطفال والاعتداء الجنسي عليهم على الإنترنت وخارجه، وإضافةً إلى ذلك، فإن هذه الخاصية لا تخاطر فقط بالتسبب في الأضرار، ولكنها أيضًا تفتح الباب لتدخلات أوسع نطاقًا في محادثاتنا الخاصة، ومنها التدخلات من جانب الحكومة.

نحن بحاجة إلى أداء عمل أفضل عندما يتعلق الأمر بتصميم تقنية للحفاظ على سلامة صغار السن على الإنترنت، يبدأ هذا بإشراك الضحايا المُحتَمَلين أنفسهم في تصميم أنظمة الأمان، وكما تشير حركة متنامية حول عدالة التصميم، فإن إشراك الأشخاص الأكثر تأثرًا بالتقنية يُعَد وسيلةً فعَّالة لمنع الضرر وتصميم حلول أكثر فاعلية، وحتى الآن، لم يشارك الشباب في المحادثات التي تُجريها شركات التكنولوجيا أو الباحثون، ويجب إشراكهم في هذه المحادثات.

يجب أن نتذكر أيضًا أن التكنولوجيا لا تستطيع بمفردها حل المشكلات المجتمعية، ومن المهم تركيز الموارد والجهود على منع حدوث المواقف المؤذية في المقام الأول، ويتأتى ذلك -على سبيل المثال- عن طريق اتباع إرشادات اليونيسف وتوصياتها القائمة على الأبحاث لتوسيع نطاق برامج التثقيف الجنسي الشاملة والقائمة على التَّراضي، والتي يُمكِنها مساعدة الشباب في التعرُّف على حياتهم الجنسية وتنميتها بأمان.

هذا المقال هو مقال رأي وتحليل؛ والآراء التي يعبر عنها المؤلف أو المؤلفون لا تعبر بالضرورة عن آراء مجلة «ساينتفك أمريكان» «Scientific American».