בדקנו שיפור על מודל אחד. עבד פצצה. שחררנו לכולם.
רק פרט קטן: על כל שאר המודלים זה לא עבד.
אז מה עושים עכשיו, חוץ מלתפוס את הראש? שחר פולק מארח את יובל סילמן לשיחה על איך באמת נראה יום של חוקר בינה מלאכותית. ספוילר: רובו לא מוקדש לאימון מודלים.
רוב העבודה קורית לפני האימון
לפני שמאמנים משהו, צריך להבין את הבעיה ולחפור בדאטה. אצל יובל הבעיה היא ללמד מכונה לבחור תמונות, כשגם הצלמים עצמם לא תמיד מסכימים איזו תמונה עדיפה.
כשאין תשובה נכונה אחת, ההגדרה של ״טוב״ היא חלק מהמחקר, לא משהו שמקבלים מראש.
המודל ידע את התשובה
לפעמים מגלים שהמודל דווקא ידע את התשובה. אבל במשך חודשים, מספר אחד לא נכון מנע מהתשובה הזאת להשפיע על ההחלטה.
זה סוג הבאג שלא זורק שגיאה. הכול רץ, המדדים נראים סבירים, והמודל פשוט לא עושה את מה שחשבתם שהוא עושה.
איפה חוקר נמדד
כשקלוד כבר יכול לכתוב את קוד האימון, השאלה מה נשאר לחוקר הופכת לרלוונטית. יובל עונה שהחוקר נמדד ברגע שבו הקוד רץ, האימון נגמר, והתוצאות עדיין לא טובות.
עכשיו צריך להבין למה, ואיזה שינוי באמת יתקן את זה. ויובל לא מאמין בתבוסתניות: כמעט תמיד יש עוד משהו שאפשר לבדוק.
הפרק המלא — בלי פילטרים.
צפו ביוטיוב