הפלתי את וולט ומיקספאנל באותו יום?!
אלון ורועי על הפדיחות הגדולות בפרודקשן — מחסימת טבלאות קריטיות ועד מחיקת דאטה-בייסים בשתיים לפנות בוקר. החוקים נכתבו בדם.
“כל שורת קוד היא פוטנציאל לבאג.” אלון ורועי מצטרפים לפרק שכולו מוקדש לשיט שנשבר בפרודקשן. מחסימת טבלאות קריטיות ועד למחיקת דאטה-בייסים בשתיים לפנות בוקר — שיחה על אחריות אישית, אגו בצוותי פיתוח ואיך נשארים רגועים כשהכל אדום.
מה תקחו מהפרק הזה?
הפדיחות הגדולות
הסיפורים שאף אחד לא מפרסם בלינקדאין — מה קרה, מה שברנו, ואיך הבנו מה עשינו רק שעות אחרי.
הפוליטיקה של התיקונים
מי מדווח על הבאג? מי לוקח אחריות? למה אגו הוא אחד הגורמים הכי מסוכנים ב-incident.
החוקים שנכתבו בדם
כל runbook, כל חוק ב-on-call, כל פרוצדורת rollback — נולדה מכשל אמיתי. אלון ורועי מפרקים כמה מהכללים שלמדו הכי ביוקר.
נקודות מפתח
- כל שורת קוד היא פוטנציאל לבאג — ההבדל בין צוותים הוא לא כמות התקלות אלא איך מגיבים אליהן.
- לפני שמתקנים — מאבחנים: תקלה אצלכם שמתרחשת במקביל לתקלה חיצונית יכולה להטעות לחלוטין. תמיד מגיעים לשורש הבעיה לפני שמשנים משהו.
- אגו הוא אחד הגורמים המסוכנים ביותר ב-incident: מי שמתעכב על מי-אשם במקום על מה-קרה מאריך את התקלה.
- כל runbook, חוק on-call ופרוצדורת rollback נולדו מכשל אמיתי — החוקים נכתבים בדם של תקלות עבר.
- להישאר רגועים כשהכל אדום זה כישור נרכש: דיווח מהיר, אחריות אישית ותקשורת ברורה מקצרים כל תקלה.
שאלות נפוצות
רגע, באמת הפילו את וולט ומיקספאנל?
לא — זה היה טיזר. בפועל היו כמה תקלות בצד של Imagen AI בדיוק באותו זמן שוולט ומיקספאנל קרסו, וצירוף המקרים המוזר גרם לרגע לחשוב שהכל קשור. לקח דקה להבין שזו בכלל לא אשמתם — והלקח האמיתי: תמיד מגיעים לשורש הבעיה לפני שמנסים לתקן או לשנות משהו.
איך מתנהלים נכון בזמן תקלה חמורה בפרודקשן?
קודם כל מדווחים מהר — גם כשזו טעות שלך. מתמקדים במה קרה ולא במי אשם, מתקשרים סטטוס בצורה ברורה, ופועלים לפי ה-runbook במקום לאלתר. אגו הוא הגורם שהכי מאריך תקלות: הפחד להודות בטעות עולה ללקוחות זמן יקר.
למה חשוב לדבר בפומבי על פדיחות בפרודקשן?
כי הסיפורים שאף אחד לא מפרסם בלינקדאין הם בדיוק אלה שמלמדים הכי הרבה. שיחה פתוחה על כשלים — מחסימת טבלאות קריטיות ועד מחיקת דאטה-בייסים — מנרמלת דיווח מהיר, בונה תרבות של פוסט-מורטם בלי האשמות, ומונעת מהטעות הבאה לקרות.
מאיפה מגיעים החוקים והנהלים של צוותי on-call?
כמעט כולם נכתבו בדם: כל runbook, כל מגבלת הרשאות וכל פרוצדורת rollback נולדו מתקלה אמיתית שמישהו שילם עליה ביוקר. לכן אסור להתייחס אליהם כבירוקרטיה — הם הזיכרון הארגוני של כל מה שכבר השתבש פעם.