סוג הערך: קבלת החלטות עסקיות
מנתוני שימוש לא אמינים להחלטות מוצר מדויקות
סטארטאפ שפיתח מערכת לניהול ידע עבור בתי חולים
// במבט מהיר
- תחום
- Product Analytics / Mixpanel
- משך האבחון
- כשעתיים
- משך היישום
- כ-15 שעות
- התוצאה
- 40% פער בנתונים שנסגר
- לפני שפנו אלינו
- דאטה לא אמין
- איתנו
- אמינות מלאה תוך מספר שעות עבודה שלנו
המצב
מה פעל בסביבה, ומה עורר את החשד
הסטארטאפ השתמש ב-Mixpanel כדי לנתח את התנהגות המשתמשים במערכת. עם הזמן התברר שקיים פער של כ-40% בין נתוני השימוש שהמערכת הציגה לבין ההתנהגות בפועל, מה שהקשה מאוד על קבלת החלטות מוצר. צוות המוצר לא הצליח להבין אם הפער נובע מהתנהגות המשתמשים או מבעיית מדידה, ולא הצליח לפתור את זה בעצמו.
מה מצאנו
איזו הגדרה, תהליך או ארכיטקטורה יצרו את הבעיה
הבעיה לא הייתה ב-Mixpanel עצמו, אלא בארכיטקטורת ההטמעה שנבחרה.
כל המדידה בוצעה דרך צד השרת בלבד, אחת משלוש דרכים אפשריות למדידת התנהגות משתמשים (שרת, קליינט או פרוקסי), מה שיצר סטייה גדולה עקב חסימות דפדפן.
כפילויות ובאגים בהטמעה הגדילו עוד יותר את הפער בין הדיווח למציאות.
משך האבחון והיישום
איתור מקור הבעיה לקח כשעתיים. ליווי ההטמעה מחדש והבקרה נמשך כ-15 שעות עבודה נוספות.
מה שינינו
הפעולות שבוצעו בפועל
תכנון מחדש של ארכיטקטורת ההטמעה.
עדכון הקונפיגורציה כך שכל אירוע (event) ייאסף בצורה מדויקת ועקבית.
ניטור עד שהנתונים תאמו את התנהגות המשתמשים בפועל.
הערך שנוצר
כלי האנליטיקה הפך ממערכת מדידה בעייתית למערכת תומכת החלטה אמינה.
הצוות חזר לבצע שינויים ולשחרר גרסאות בביטחון.
צוות המוצר קיבל בסיס נתונים אמין לקבלת החלטות.
תעדוף הפיתוח עבר מהערכות אינטואיטיביות לנתונים אמיתיים.
השורה התחתונה
החלטות מוצר טובות מתחילות בנתונים שאפשר לסמוך עליהם.
יש לכם חשד לבזבוז דומה בסביבה שלכם?
שיחת מיפוי קצרה תגיד לכם אם JutoBoost מתאים.