מה רואים?
על אלגוריתמים שמזהים עצמים ודמויות בציורים, ולא רק בדימויים ריאליסטיים כגון צילומים
אוניברסיטת רייכמן|חוקר בתחום ראייה ממוחשבת וגרפיקה ממוחשבת
החיים עצמם:
פרופ’ אריאל שמיר נשוי לחברת ילדותו מהתיכון, ולהם שלושה ילדים. הם גרים במבשרת ציון. עד לאחרונה שימש הדיקן של בית הספר למדעי המחשב באוניברסיטת רייכמן. הוא אוהב אמנות, טיולים ואת עבודתו (“העיסוק שלי הוא גם התחביב”). פרטים נוספים על מחקריו אפשר למצוא כאן: https://faculty.runi.ac.il/arik/site/research.asp
בינה מלאכותית היא ענף במדעי המחשב שחוקר את היכולת של מחשבים לפעול ב”תבונה”, בדומה לדרך הפעולה של מוח האדם. תחום מחקר זה כולל, בין היתר, גם ראייה ממוחשבת וגרפיקה ממוחשבת. ראייה ממוחשבת היא ענף שחוקר את האופן שבו מחשבים מנתחים תמונות או וידיאו כדי לחלץ מהם מידע חזותי ולפרשו. גרפיקה ממוחשבת היא ענף שחוקר את האופן שבו מחשבים יכולים ליצור או לערוך תמונות או גופים בתלת-ממד.
מה השאלה?
כיצד אפשר לגרום לבינה מלאכותית לזהות תוכן לא ריאליסטי או מופשט?
בשנים האחרונות חלה פריצת דרך בשני תחומים אלה – השימוש ברשתות נוירונים (תאי עצב) מלאכותיות – מודל מתמטי חישובי (אלגוריתמי) שפותח בהשראת רשתות הנוירונים שקיימות במוח החי, ובמיוחד במוח האדם. רשתות הנוירונים המלאכותיות מורכבות מיחידות מידע (קלט ופלט) רבות המקושרות זו לזו ומעבירות נתונים מספריים מאחת לאחרת, בהתבסס על למידה עמוקה (Deep Learning – אלגוריתמים שמאפשרים למערכות ממוחשבות ללמוד מתוך דוגמאות והתנסויות קודמות, וכך לבצע מגוון משימות חישוביות). הנתונים המספריים מייצגים את עוצמת הקשר בין היחידות, ובסופו של דבר, הקישוריות יוצרת התנהגות הנראית אינטליגנטית. אפשר להשתמש ברשתות אלו בכל יישומי המחשב כמעט. למשל, זיהוי עצמים בתמונות וסרטונים, פענוח הדמיות רפואיות, רובוטיקה ותחבורה אוטונומית.
של כל הדמויות ביצירות אמנות לדוגמא לשם השוואה של הסגנון או הצבעים.
פרופ’ אריאל שמיר מאוניברסיטת רייכמן (לשעבר המרכז הבינתחומי הרצליה), הוא חוקר בתחום ראייה ממוחשבת וגרפיקה ממוחשבת. לאחרונה החל להתעניין באלגוריתמים לפענוח תוכן לא ריאליסטי או אבסטרקטי – כגון ציורים ואיורים. לדבריו, “רוב האלגוריתמים כיום מתרכזים בתוכן ריאליסטי כגון צילומים. למשל לצורך סיווג (זיהוי עצמים כגון כבישים, עצים ובני אדם) או סגמנטציה (זיהוי המיקום והצורה של העצמים). באמצעות אלגוריתמים אלה מכונית אוטונומית למשל מצליחה לזהות את העצמים שבדרכה, ומנוע החיפוש של גוגל יודע למצוא תמונה המכילה אובייקט מסוים. אותי מעניין ללמד את הבינה המלאכותית לפענח תוכן לא ריאליסטי, בדומה לאופן שבני אדם מסוגלים לעשות זאת (הרי אם נראה עץ מצויר או אבסטרקטי לילד – הוא יידע שזה עץ, גם אם הוא לא נראה ריאליסטי). כך למשל נוכל ללמד מנועי חיפוש למצוא עצמים מסוימים גם בציורים ואיורים ולא רק בצילומים”.
באחד ממחקריהם האחרונים, שזכו במענק מחקר מהקרן הלאומית למדע, פיתחו פרופ’ שמיר וצוותו אלגוריתם שמבוסס על רשתות הנוירונים, אשר מסוגל לזהות עצמים ודמויות לא ריאליסטיים בווידיאו ובאנימציה. באמצעות למידה חישובית הם הטמיעו באלגוריתם מידע חזותי על דמויות מתוך סרטים מצוירים (כגון צורתן והשתנותן) ויצרו מרחב סמנטי שבו כל המופעים של כל דמות מיוצגים באופן דומה למרות השינויים שהן עוברות לאורך הסרטים המצוירים. לאחר מכן השתמשו באלגוריתם בסדרות מצוירות – והוא זיהה אוטומטית את כל הדמויות ומיקומן. “מדובר באתגר כיוון שלעתים הדמויות האלו מואנשות ולא נראות ריאליסטיות (לדוגמה הן יכולות להיות מכוניות וטרקטורים שמדברים) וחוקי הפיזיקה לא חלים עליהן – הן יכולות לשנות צורה וצבע כל הזמן. כעת יצרנו אלגוריתם שיכול לזהותן אוטומטית – יישום חיוני עבור חברות מדיה ואפליקציות לפענוח תוכן לא ריאליסטי”.
קטלוג של כל הדמויות
בסרטים באופן אוטומטי
(כאן הדמויות של סרט CARS של דיסני)
במחקר אחר פיתחו החוקרים אלגוריתמים שמבוססים גם הם על רשתות נוירונים ולימדו אותם לזהות עצמים בציורי אמנות במגוון סגנונות (גם מערביים כמו אקספרסיוניזם ואימפרסיוניזם וגם יפניים וסיניים), לפי מרקם, צבעים וצורות. הם השתמשו בטכניקה שבה צילומים עם חלוקה סמנטית לאזורים (למשל מיקום של בני אדם ובעלי חיים) הופכים דומים לציורים ואימנו באמצעותה את האלגוריתמים. כך הצליחו האלגוריתמים לפענח ציורים, לעשות להם חלוקה סמנטית ולזהות אלמנטים כגון בני אדם ובעלי חיים.
במחקר נוסף פיתחו החוקרים אלגוריתמים שמטרתם לזהות פנים ואיברי פנים בציורי דיוקנאות (פורטרטים). ברבים מציורים אלו הגיאומטריה אינה ריאליסטית (למשל הפנים מעוותות ואיבריהן לא מידתיים) ולכן מדובר באתגר. החוקרים השתמשו בצילומים אמיתיים של אנשים ולימדו את האלגוריתמים לזהות את איברי הפנים בהם לאחר שעברו שינוי סגנון כך שייראו כמו ציורי דיוקנאות. בדרך זו הצליחו האלגוריתמים לזהות חלקי פנים כגון עיניים, אף ופה ואת מיקומם למרות המראה הלא ריאליסטי שלהם בציורים. בנוסף לכך, בעזרת האלגוריתמים הללו אפשר היה ללמוד על הסגנון הגיאומטרי של ציירים מפורסמים כמו פיקסו או מודליאני וליצור – כביכול – ציורי דיוקנאות חדשים שלהם.
פרופ’ שמיר: “המחקרים הללו מלמדים את הבינה המלאכותית לפענח תוכן לא ריאליסטי ואבסטרקטי ולהבין לעומק את העולם הוויזואלי בדומה לאופן שבני אדם מבינים אותו, ויכולים לתרום ליישומים לחברות מדיה אמנותיות ועיצוביות”.