דורון גוראל
דורון גוראל
מילים מילים מילים מילים

?מה מחשבים חושבים על שחורים

?מה מחשבים חושבים על שחורים

לפני חודשיים חברת Faceapp נאלצה לפרסם התנצלות פומבית על כך שיצרה אלגוריתם גזעני. מדובר בחברט סטארטאפ צעירה המציעה אפליקציה לעריכה פשוטה אך עוצמתית של תמונות סלפי. העריכה מתבצעת בעזרת רשתות נוירונים מלאכותיות המבצעות את עריכת התמונה באופן ריאליסטי ביותר. FaceApp effects שמאל למעלה – התמונה המקורית

הבעיה נוצרה בפילטר בשם “Hotness” אשר לפי שמו אמור לשפר את מידת החתיכות של המצולם. על אף שהפילטר אכן מצליח להעלים את רוב הקמטים וליצוק קצת רוח נעורים לתמונה של טראמפ, משתמשי אפליקציה כהי עור, החלו להתלונן שמדובר בפילטר גזעני. לטענתם עיקר הפעולה של הפילטר היא הבהרת צבע העור. האפקט בצירוף שם הפילטר מרמזים כי Hotness = עור בהיר. מפתחי האפליקציה מיהרו להתנצל ולשנות את שם הפילטר ל-“Spark”. גזענות? תשפטו בעצמכם. אובמה לפני ואחרי.

זו אינה הפעם הראשונה שאלגוריתמים מואשמים בגזענות, למעשה בארצות הברית זהו נושא שנמצא בכותרות לעיתים תכופות. אך אין זה אומר שמהנדסי התוכנה העומדים מאחורי האלגוריתמים הם גזענים. למעשה, כיום רווח השימוש באלגוריתמים מורכבים ביותר המבוססים של רשתות נוירונים מלאכותיות. העניין באלגוריתמים האלה הוא שהמהנדסים שאחראים על יישומם כלל לא מסוגלים להסביר כיצד האלגוריתם פועל. התיאוריה העומדת מאחורי השיטה אמנם ניתנת להבנה (אם כי גם היא מורכבת למדי), אולם האופן הספציפי בו האלגוריתם “מקבל החלטות” לאחר שניתן לו “ללמוד” על סט נתונים, כמעט ולא ניתן להנמקה. עיקר השליטה של המהנדסים הוא אפוא על סט הנתונים המשמש לשלב האימון של האלגוריתם. במקרה הזה, נראה כי סט הנתונים ששימש את מפתחי Faceapp הכיל בעיקר תמונות של אנשים בהירי עור, כך שהאלגוריתם “למד” שכדי לייפות את התמונה עליו להלבין את פני המשתמש. תרתי משמע.

מקרה אף מביך יותר של גזענות אלגוריתמית התפרסם בשנת 2015 כאשר גוגל שחררה עדכון תוכנה לאפליקציית התמונות שלה. העדכון איפשר קיבוץ אוטומטי של תמונות לאלבומים. גוגל אף הגדילו ונתנו לאלגוריתם חופש יצירתי במתן כותרת לאלבום. עם כל הרצון הטוב, זמן קצר לאחר עדכון התוכנה התלונן אחד המשתמשים על תיוג מעט… מעליב…

gorillllllaגוגל כמובן התנצלו ומיד ניגשו לתקן המצב, אחד המהנדסים שאחראי על הפיצ’ר אפילו התכתב בטוויטר ישירות עם המשתמש ועדכן אותו באופן שוטף לגבי התיקון. כנראה שהתגובה המהירה הצילה את ענקית הטכנולוגיה מסיקור תקשורתי נרחב. אולם בקרב הקהילה הטכנולוגית המקרה אכן עורר דיון סביב נושא חוסר ה-Diversity בעמק הסיליקון, כאשר המבקרים טוענים שאם עובדים שחורים היו מעורבים בשלבי פיתוח ובדיקת התוכנה, אירועים כאלה היו נמנעים מראש.

המקרים הללו (ועוד רבים אחרים) ממחישים את הקושי בתכנון אלגוריתמים בעידן בו הטכנולוגיה כה מתקדמת שלא ניתן לנבא במדויק את אופן פעלתם, אפילו גוגל על צי מהנדסיה נפלה. כיום, בשיטת Deep Learning (רשתות נוירונים מלאכותיות “עמוקות” – בעלות מספר רב של שכבות) תכנון אלגוריתמים דומה במידה מסויימת לחינוך ילדים. אי אפשר להאשים את ההורים בכל שטות שהילד פולט, אבל צריך לחשוף את הילד לעולם על כל גווניו, אחרת הוא עלול לגדול להיות גזען…

comments powered by Disqus