הקדמה:
במהלך העשור האחרון נכנס לחיינו מונח יחסית חדש – שבוודאי כבר שמעתם עליו לא מעט:
Big Data.
המונח הזה הפך מהר מאוד ל-Buzzword, ועד לפני כמה שנים כולם ציטטו אותו בלי רחמים – ברוב המקרים בלי להבין אותו, רק בשביל להישמע "בעניינים".
במהלך השנים, גם אני נתקלתי לא מעט באנשים כאלה – עד כדי כך שהמצאתי להם שם ייעודי:
"מבגדטים" (על לשון Big Data + מחרטטים).
(מוזמנים להשתמש במילה הזו – רק לא לשכוח לתת קרדיט לממציא, הא?) 😊
עבור מי שכבר עובד בתחום הדאטה – עוד איכשהו אפשר להתעלם מ"ביגדוט".
אבל עבור מי שעוד לא נכנס לתחום וזורק את המושג "Big Data" לאוויר – מדובר בטעות שעשויה להיות קריטית!
לרוב – מי שאומר Big Data לא מבין שהוא עדיין לא יודע לנתח Data "רגיל"…
זה גורם לו להיראות לא מקצועי ולא רציני – בפרט בראיונות עבודה.
מדוע?
בשביל זה צריך להבין את ההבדל בין Data "קלאסי" ל-Big Data…
מהו Data "קלאסי"?
נתחיל עם נקודת הייחוס:
דאטה "מסורתי" נשמר בצורה יחסית פשוטה – של טבלאות עם נתונים.
מבנה הנתונים הטבלאי הזה מאפשר בראש ובראשונה אמינות ועקביות של הנתונים (ניתן לאחזר בעתיד כל מידע ששמרנו – בלי חשש לאובדן נתונים).
בנוסף – מאפשר מבנה הנתונים המסורתי גם ניתוח של הנתונים באמצעות כלים טבלאיים סטנדרטיים – כמו אקסל, שפת SQL, כלים סטטיסטיים ועוד.
ומהו Big Data?
לעומת התפיסה הזו, Big Data מתאר מציאות, שבה ישנו נפח נתונים כל כך גדול (Volume), הזורם בקצב בלתי נתפס (Velocity) – ולכן אין אפשרות ממשית לאסוף ולנתח את הנתונים בשיטות ובכלים המסורתיים.
בנוסף לאמור, במקרים רבים, הנתונים עצמם מגוונים (Variety) ולא בהכרח נשמרים בצורה טבלאית (לדוג': קובץ וידאו, פורמט היררכי כמו XML וכיו"ב), ולעיתים ישנם גם מצבים שהנתונים לא תמיד אמינים (Veracity) או שמבנה הנתונים משתנה כל הזמן.
4 המורכבויות הללו מוכרות בעולם ה-Big Data גם כ-" The 4 V's " .
בעולם הנתונים חשוב להבחין בין שני חלקים: איסוף ושמירת הנתונים, והניתוח שלהם.
זה רלוונטי כמובן גם לעולם המסורתי, וגם ל-Big Data.
בהיבט איסוף ושמירת הנתונים – מדובר בהיבטים טכנולוגיים "כבדים" – של עמידה בדרישות לאסוף ולשמור כמעט כל נתון שמגיע.
וזה כמובן אתגר כשנפח הנתונים הוא עצום והם מגיעים בקצב משוגע.
בהיבט ניתוח הנתונים – נדרשים כלים חדשים (או שיטות חדשות) – שיודעים להתמודד עם כמות גדולה מאוד של נתונים.
ובחלק מהמקרים (כך האמינו כאשר התפיסה היתה בחיתוליה) – הכלים צריכים גם לנתח את הנתונים בצורה אוטומטית בשביל לשמור רק את התובנות או את הנתונים בעלי הערך, במקום את כל נפח הנתונים האדיר.
וזה פחות או יותר נגמר התיאור של Big Data.
אז למה "לבגדט" זה רע?
ובכן…
למרות כל הבאז סביב המושג Big Data, לפחות בעולם ה-Data Analysis – ישנו סוד כמוס:
הרוב המוחלט של החברות בשוק לא ממש צריכות Big Data!
מדוע?
כי אצל רוב החברות (בפרט כאלו שבהן ישנם אנליסטים) – 4 הקריטריונים שהוגדרו קודם לכן בכלל לא מתקיימים:
- נפח הנתונים שהן צוברות אינו מ-א-ו-ד גדול.
(תחשבו על נפח הפעילות של פייסבוק – למול לדוגמה בנק או סטארטאפ חדש). - קצב צבירת הנתונים הוא יחסית מתון.
(שוב – תחשבו כמה ציוצים/פוסטים יש בכל שניה בפייסבוק, מול כמה עסקאות ישנן בכל שניה באשראי – לא מעט אבל עדיין לא באותו סדר הגודל…). - הנתונים הם מובנים וטבלאיים.
- וברוב המקרים – הנתונים יחסית אמינים.
והכי חמור – הן כנראה לא קרובות אפילו למצות את ניתוח הדאטה ה"רגיל";
זה שיכול לשפר מידית את הביצועים העסקיים ו'להרים כסף מהרצפה'.
המקומות היחידים, שבהם כן ישנו שימוש אמיתי ושוטף ב-Big Data הוא בחברות הייטק בינוניות וגדולות – השומרות הרבה מאוד מידע של משתמשים מהאינטרנט, מרכיבים אלקטרוניים כמו חיישנים, ועוד.
אז סביר להניח, שבכל מקום שאליו תתראיינו – לא יהיה צורך ממשי בכל סט הכלים החדשים של ניתוח נתונים מסיבי.
וגם במידה ויהיה מדובר בנתונים קצת יותר מסיביים – הם עדיין יישמרו בצורה טבלאית – מה שיצריך יכולות ליבה, ולא Big Data.
השורה התחתונה היא, שבסבירות כמעט מוחלטת – תצטרכו לתת מענה לצרכים הרבה יותר "קלאסיים", ובכלים יותר בסיסיים כמו אקסל ו-SQL – הרבה לפני ש-Big Data יהיה רלוונטי.
לכן – אין שום סיבה אמיתית להזכיר או להתמקד במונח Big Data – הוא פשוט לא רלוונטי לתפקידים אליהם תתראיינו בתחילת הדרך.
להיפך – הפוקוס על Big Data ימנע מכם ללמוד ולנסות ליישם את היבטי הליבה הבסיסיים והקריטיים של מקצוע ה-Data Analyst, ולנתח נתונים בצורה פשוטה – שתביא לתוצאות מהירות (שיפור בביצועים העסקיים).
לסיכום:
חשוב להכיר קודם כל את הכלים והיכולות הקריטיים שבהם עליכם להתמקד בשלב הראשון, ודרכם תלמדו את המקצוע ותהפכו למומחים.
אפשר ורצוי להשאיר את ה-Big Data לשלב מאוחר יותר בקריירה – שעד אליו כבר סביר שכבר תכירו את הבסיס הקריטי של המקצוע.
אז תזכרו: "לא לבגדט", אלא פשוט לנתח דאטה "רגיל"…
בהצלחה!