בפוסט הקודם דיברנו על הצורך ב-SQL בזווית הנישה האנליטית, וסוגי הארגונים והמשימות שאנליסטים נדרשים לבצע.
הכוונה היא שבארגונים שונים קיימים צרכי מידע שונים לטובת קבלת החלטות;
מהם נגזרים סוגי המשימות שהאנליסטים נדרשים לבצע – וגם הכלים הנדרשים.
חלק מהארגונים עשו כבר תהליך בניה של תשתית דאטה המאפשרת שליפת דוחות מובנים, וזה מספק להם את התמיכה לביזנס בהיבטי דאטה.
כאן לא נדרש SQL, ובהתאם הצורך הוא בעיקר באנליסטים עסקיים – ביזנס אנליסט.
בחלק אחר של הארגונים או שעוד לא הוקמה תשתית יציבה כזו, או שישנם צרכים עסקיים עמוקים יותר.
צרכים אלה מחייבים גישה לדאטה הגולמי, עיבוד מסיבי שלו ואז המשך ניתוח לצורך תובנות והחלטות. ובהתאם גם הצורך ב-SQL ובדאטה אנליסטים.
בפוסט הזה ניגע בזווית נוספת של הסיבה מדוע נדרש שימוש ב-SQL, והיא הזווית של התהליך האנליטי השלם שהדאטה עובר בדרך להפיכתו להחלטה עסקית.
🏭 "מפעל התובנות" – מה דאטה עושה עד שהוא הופך לכסף
הפיכת הדאטה לתועלת עסקית הוא תהליך, המורכב ממספר שלבים.
השלבים האלה תלויים כמובן באופי משימת הדאטה ובמטרה שלה, אבל בגדול השלבים יחסית גנריים.
הנה השלבים העיקריים בתהליך האנליטי השלם:
📐 אפיון משימת המידע – דרישות ואופן הפתרון.
🛠 יצירת תשתית הדאטה הדרושה למשימה (או בכלל).
⚙ עיבוד הדאטה.
📊 ניתוח הדאטה, ויזואליזציה והפקת תובנות ומסקנות.
💰 קבלת החלטות.
🔌 מימוש ההחלטות ובקרות.
ישנם כמובן שלבים נוספים, אבל אלה העיקריים.
כעת נעבור שלב שלב ונעסוק בהיבט של הצורך בעיבוד דאטה מסיבי, ולפיכך ב-SQL (או כלי מקביל).
📐 שלב האפיון
בשלב זה עולה דרישת המידע, בהתאם לצורך העסקי.
מיד לאחר מכן, בהתאם לדרישה, נדרש למצוא שיטת פעולה שתעזור למלא אחר הדרישה.
הכוונה לפתרון כמה שיותר מדויק וכמה שיותר מהיר (לעיתים קרובות קיים מתח בין השניים).
חלק גדול מהאתגר כאן הוא להבין תחילה, האם הפתרון לדרישת המידע הוא מסוג שליפת מידע;
ועבור שליפת מידע – נדרש להבין האם היא מצריכה עיבוד דאטה מסיבי, או שלא.
במקרה השני – כנראה שלא יידרש SQL, אלא יספיק שימוש בכלי ה-BI הארגוני.
אבל אם מדובר במשימה מעט יותר מורכבת, הדורשת עיבוד דאטה מסיבי, או הפעלת לוגיקות או חישובים מורכבים – כלי ה-BI הארגוני כבר לא יספיק.
כאן יידרש SQL או כלי אחר לעיבוד מורכב של הדאטה הגולמי.
ואגב, עבור דרישות מידע שאינן שליפות מידע אלא מחקר כזה או אחר – ייתכן גם מיקוד בשיטה אחרת – דוגמת סימולציה, אופטימיזציה, ניתוח סטטיסטי או משהו אחר.
לכן, מאחר ועשויות להיות מספר דרכים להגיע לפתרון לדרישה העסקית וישנן הרבה שיטות – חשוב
להכיר SQL, ולו בשביל להבין מתי המשימה גדולה מדי על כלי ה-BI הארגוני.
🛠 שלב תשתית הדאטה
יצירת תשתית הדאטה בארגונים היא תהליך מאוד כבד, שיכול לארוך שנים במקרים מסוימים.
כמובן, שתשתית דאטה מסיבית היא הרבה מעבר לטבלה יחידה, ולכן נדרשת הקמה של בסיסי נתונים.
בהתאם לכך – כמובן שנדרש להכיר SQL.
זו לרוב המשימה הבלעדית של אנשי תשתית דאטה – דוגמת Data Engineers ומפתחי BI .
ויחד עם זאת, בלא מעט חברות גם דאטה אנליסטים נדרשים לאפיין תהליכי דאטה כאלה;
זה יכול להיות לצורך תמיכה באפיון ויצירת התשתית.
וגם עבור משימות אד-הוק או בחינת הערך העסקי הפוטנציאלי של דאטה חדש שעדיין לא קיים במערכות.
כך שגם כאן – מדובר בצורך משמעותי ב-SQL לצרכים אנליטיים.
חשוב לשים לב, שתשתית הדאטה מופיעה אמנם במסגרת התהליך האנליטי השלם, אבל לא תמיד נדרש ליצור אותה.
למען הדיוק – ברוב המשימות השוטפות תשתית הדאטה כבר קיימת, וניתן לעבור ישירות לשלב עיבוד הדאטה.
⚙ שלב עיבוד הדאטה
כאן אנחנו כבר נוגעים ממש בליבת הנושא, וכאן ממש היה ממוקד חלק א' של המאמר.
עיבוד הדאטה הוא בעצם השלב המקדים על מנת להפוך את נתוני המקור (בין אם מתוך מערכות ה-BI או הדאטה הגולמי מתוך בסיס הנתונים עצמו) – לדאטה מוכן עבור ניתוח אנליטי.
בשלב הזה באה לידי ביטוי המורכבות של תהליך עיבוד הדאטה.
אם מדובר בעיבוד פשוט, ברמה של אגרגציות (קיבוץ וסיכום), הצלבות מידע פשוטות, או חישובים יחסית מיידיים – כנראה שכלי BI יספיק.
אבל אם מדובר בעיבודים יותר מורכבים – תידרש גישה לנתונים הגולמיים באמצעות קוד.
הנה דוגמא מייצגת:
נניח שאנחנו אנליסטים בחברת סלולר;
נתבקשנו לבדוק האם סיכוי הנטישה של לקוח מושפע מאדם קרוב שנטש בחודש האחרון;
נניח ש'אדם קרוב' מוגדר ככזה שמולו היו בחודש האחרון מעל ל-10 שיחות יוצאות.
עוד נניח שהמידע הזמין לנו הוא:
💸 טבלת הלקוחות, הכוללת מספר לקוח, תאריך נטישה ועוד כמה פרטים אחרים;
📞 טבלת השיחות – הכוללת את המספר של לקוח א', המספר של לקוח ב' ומועד השיחה (נזניח כרגע זמן שיחה).
ברור לחלוטין שאתגר כזה הוא כבר 'ליגה אחרת' מבחינת רמת עיבוד הדאטה הנדרשת.
זה לא עוד דוח פשוט שאפשר להוציא בכמה קליקים ממערכות ה-BI.
יש כאן תהליך עיבוד מסיבי ומרובה שלבים, שרק בסופו אפשר להוציא תוצאה בעלת משמעות – שלא לומר תובנה מהסרטים…
ואת זה כלי ה-BI הסטנדרטיים לא יודעים לאפשר.
בשביל זה נדרש שימוש ב-SQL.
📊 שלב ניתוח הדאטה, ויזואליזציה ומסקנות
הניתוח יכול להיות יחסית פשוט – ברמה של טבלת ציר, או תרשים.
והוא יכול להיות גם יותר מורכב – כמו ניתוח סטטיסטי, או אפילו מודל ניבוי – ML, AI וכיו"ב.
לרוב, בשלב הזה נעשה שימוש בכלי ויזואליזציה (פרונט של חלק מכלי ה-BI), כולל אקסל;
לחילופין, נעשה שימוש בכלים אחרים לפיתוח מודלים, סטטיסטיקה וכיו"ב – דוגמת R, SAS, ואפילו Python או כלי ML – האחרונים הם כבר יותר נחלתם של Data Scientists.
בכל אופן – כאן שפת SQL כבר פחות בתמונה.
חשוב לציין, שבמצב השוק היום קיים דגש ענקי על הזווית של כלי ויזואליזציה, ושיטות להציג ממצא א' או ב'.
ועדיין, לא משנה עד כמה יפה יהיה הגרף, עדיין קריטי לאפיין כמו שצריך את המדדים, תהליכי העיבוד ומתודולוגיית הניתוח המדויקת שמזינה אליו את התוצרים.
💰 קבלת ההחלטות
קל וקצר: אין צורך ב-SQL…
🔌מימוש ההחלטות ובקרות
הטמעת תוצר המידע במערכות ותהליכי העבודה יכול לקרות בהרבה צורות.
או שיערב אנשי פיתוח (ברוב המקרים).
או שיכלול עדכון פרמטרים כאלה ואחרים במערכת ייעודית (לדוג': מערכת ניהול קמפיינים).
אך במקרים מסוימים, עולה דרישה מצד ההנהלה להמשיך ולרענן את הדוח או תוצרי המידע בצורה שוטפת;
ולאחר הרצתם לקלוט אותם מטבלה/קובץ אחת לתקופה לתוך מערכות תפעוליות כאלו ואחרות.
במקרים אלה, לרוב לא תהיה זמינות של אנשי פיתוח – כי זה תמיד משאב במחסור.
ומי שיוכל לתת את המענה הזמני לריענון התוצאים הוא הדאטה אנליסט.
במקרים רבים – בדיוק באותם הכלים בהם השתמש בשלבי עיבוד הדאטה – כולל SQL.
זה נכון גם לגבי הבקרות על שיפור הביצועים העסקיים הנגזר מתוצר המידע.
🏁 סיכום - התהליך האנליטי השלם
בחלק השני של המאמר על הצורך ב-SQL עבור אנליסטים, הצגנו את הזווית של התהליך האנליטי השלם.
בתהליך הזה, חלק מהמשימות מחייבות שימוש ב-SQL כמעט ברמת הגדרה, וחלק אחר פחות.
בסוגים שונים של ארגונים, סוג המשימות האנליטיות גוזר גם מיקוד כזה או אחר בשלבים שונים על פני התהליך האנליטי.
ובהתאם לזה את הצורך ב-SQL או הסתפקות בכלי BI ארגוניים.
זה כמובן גוזר גם את הדרישות מהעובדים – ביזנס אנליסט מול דאטה אנליסט.
אז מה דעתכם? נתקלתם בשלב נוסף בתהליך שמצריך SQL?
ניפגש בחלק הבא של המאמר עם זווית נוספת – מסלול הפיתוח והקידום של האנליסטים…
ואגב, מי מכם שמעוניינים לשמוע עוד על התהליך האנליטי השלם בוורקשופ מיוחד אצלכם בחברה – צרו קשר עכשיו!
קורסים, הכשרות וייעוץ שאולי יעניינו אותך
(מהחנות האנליטית של 'מועדון הנתונים'!)
מסטר קלאס 'הרגל בדלת' לדאטה אנליסט
קורס SQL מעשי לדאטה אנליסט
פגישת הכוונה לקריירה כדאטה אנליסט