הרצאה על Azure Big Data

תמלול ההרצאה: הרצאה על Azure Big Data

הטקסט המלא של הדקות הראשונות בהרצאה «הרצאה על Azure Big Data» בקורס הווידאו של PracticU – כתוביות בעברית עם זמן התחלה לכל פסקה. כך תוכלו לקרוא ולחפש את הנושאים לפני שמתחילים ללמוד.

1. 00:02

   ביג דאטה ואנליטיקה דאטה מגיעה בכל הצורות והפורמטים שאנחנו מתעסקים ומדברים על ביג דאטה. אנחנו מתייחסים לכמות מאוד גדולה של מידע שמגיע.

2. 00:13

   במקרה שלנו Tailwind Traders אוספים מידע מ-GPS Sensors שהם שולחים לוקיישן אינפורמיישן, קורדינטות של מיקום, דאטה שמגיעה ממערכות Weather Systems, מערכות חיזוי מזג אוויר והרבה מאוד סורסים נוספים, מה שבעצם מייצר המון המון המון המון דאטה.

3. 00:33

   כדי להתעסק עם הדאטה הזה, זה הופך להיות אתגר אמיתי. איך לנהל אותו, איך לחתוך אותו בצורה חכמה, להבין מה קיבלנו, ואפילו יותר חשוב, איך לבסס את ההחלטות שלנו על המידע שקיבלנו.

4. 00:45

   הכמות של הדאטה היא כל כך גדולה, עד שכלים רגילים לא יכולים בכלל לתת מענה לזה. לא לפרוססינג של זה, לא לאנליטיקה של זה, הם פשוט לא מתאימים יותר.

5. 00:56

   עם הזמן התפתחו, במיוחד בעולמות האופן סורס, טכנולוגיות שמנסות להתעסק עם הכמות הגדולה הזאת של מה שנקרא דאטה סטינג.

6. 01:06

   דאטה סטינג בעצם זה הרבה מידע שמורכב מסטינג שונים של מידע. כמו שראינו פה, יש לנו גם GPS, סטינג של מידע של מערכות מזג אוויר, והרבה מאוד אחרים שלא מפרטים לנו פה, אבל זה יכול להיות מצלמות, זה יכול להיות דאטה בייס חצי רלציוני שמנהל גם רשומות רגילות, זה יכול להיות זיהוי ליכויות רישוי, זה יכול להיות וידאו,

7. 01:29

   פשוט וידאו רגיל, יכול להגיע מהמון המון מקורות שונים. מייקרוסופט תומכת ביחסית כמות גדולה של טכנולוגיות ושירותים כדי לספק מענה לכל הביג דאטה.

8. 01:40

   ונושא של אנליטיקה, אנליטיקה זה בעצם היכולת לנתח ולהוציא תובנות, מה אנחנו מבינים מהמידע עצמו. בתוכם אנחנו נראה את אז'ור סיינפס אנליטיקס, אז'ור HD אינסייט, אז'ור דאטה בריקס ואז'ור דאטה לייק אנליטיקס.

9. 01:55

   בואו נתחיל לדבר על כל אחד מהם. שימו לב שיש ממש כמה שורות, בניגוד לעולמות הדאטאבייס, ששם אנחנו הרחבנו יותר, מייקרוסופט חשוב למאוד שנבין את ההבדלים, פה אנחנו נוגעים על קצה המזלג, אף על פי שהכל שראו פה זה עולם מלואו, אבל לטובת ה-AZ-900 ולטובת הבחינה ולטובת מה שנדרש מאיתנו כרגע, אנחנו נוגעים עם עוף הציפור כדי שרק להבין

10. 02:16

    מה מדובר. אז נתחיל עם אז'ור סיינפס אנליטיקס, אוקיי, בעבר זה היה נקרא אז'ור SQL Data Warehouse, למה שנקרא limitless, limitless זה חסר גבולות, כמה שתרצו, איזה גודל, איזה צורה, איזה צבע.

11. 02:29

    Limitless Analytic Service that brings together Enterprise Data Warehousing and Big Data Analytics. הוא משלב בעצם גם את הנושא של הניתוח של ה-Big Data וגם את ה-Data Warehousing, אוקיי, אחסון של ה-Enterprise Data Warehousing, שזה קצת דומה למה שמסד נתונים עושה.

12. 02:45

    פשוט פה הוא מאגד בתוכו הרבה יותר סוגים של מידע מאשר DataBase רלציוני, כמו שראינו מקודם באז'ור מנאג' אינסטנס או בקוסמוס די.בי או בכל אחד מהדברים האחרים שעברנו עליהם קודם.

13. 02:57

    אפשר לבצע קווירי, לתשאל את הדאטה בתנאים שלנו, להשתמש בסרוורלס, אנחנו נלמד בהמשך מה זה סרוורלס, אני לא נוגע בזה כרגע, או ריסורסים, משאבים רגילים בסקייל, הכל בסקייל, מה זה אומר?

14. 03:10

    הכל יכול לגדול, כי הדברים האלה הם, אנחנו יכולים להתחיל מ-E-Tera ויכולים להגיע ל-Peta ול-Exa ולנפחים שהם מטורפים במידע ולכן הכל, כל טכנולוגיה שאנחנו בוחרים ל-Big Data חייבת להיות מותאמת ל-Scale בגדול Limitless.

15. 03:27

    Limitless, כי אנחנו פשוט לא יודעים לאן נגיע, אוקיי? יש לארגונים נטייה לאסוף דאטה ולא למחוק אותו, כי מהדאטה הזה אפשר להבין המון המון המון תובנות.

16. 03:36

    יש דוגמה פורסמת של רשת מרכולים בארצות הברית, אני שם עליו שבחורף, אם היא שמה סרטי DVD ליד הקופה, אז אנשים קונים הרבה יותר פופקורן.

17. 03:46

    ואיך ראו את זה? לפי נתוני ביג דאטה, סטטיסטים שהם ראו שאם הם מוסיפים פופקורן ליד ה-DVD, המחירות של שניהם עולים דרמטיים.

18. 03:52

    ואם מורידים את הפופקורן, אז רק ה-DVD נמכר, או פחות. ואלה דברים שאפשר להבין. ביג דאטה מאפשר להבין הרבה מאוד תבניות, פאטרנים, מה אנשים נוהגים לעשות, למשל רשתות בארץ, לא נגיד שמות, לא לעשות פרסומת, אבל כל רשתות הפארם הגדולות, הסופרים הגדולות,

19. 04:07

    כולן עובדות עם ביג דאטה. האם יודעות בדיוק מה קנינו, מתי קנינו, באיזו תדירות אנחנו קונים את זה, האם יכולות להגיד מהקניות בשנייה אחת, אם נולד לנו ילד חדש, אם אנחנו רווקים, נשואים, באיזה אזור בארץ אנחנו גרים, אפילו בלי שנגיד להם.

20. 04:22

    הם רואים לפי הסוג קניות שלנו, מה המצב הכלכלי שלנו? טוב, לא טוב. האם אנחנו קונים דברים מסוימים וחוזרים אליהם?

21. 04:29

    האם יכולים להגיד לנו אפילו לחזות מראש מתי גמרו החיתולים לילד? ביג דאטה מאפשר להגיע לנושאים שהם פשוט מדאיגים ברמה שבה אפשר לנתח את ההתנהגות האנושית.

22. 04:40

    ולכן, אג'ור סיינפס נותן לנו את כל זה. הוא נותן לנו את היכולת לנתח את כל מה שדיברנו עליו. הוא בעצם כולל מה שנקרא Unified Experience - כל הכלים מובנים ביחד לעשות אינג'סט, לנתח את הדאטה, להכין את הדאטה, ל-manage, לנהל את הדאטה ו-serve, להגיש את הדאטה לכל עולמות ה-BI, Business Insights ו-Machine Learning Nets.

23. 05:00

    כי בדרך כלל הדאטה הזה הוא בעצם נמצא ב-Data Warehouse, במקרה שלנו Azure Synapse, ויש כלים חיצוניים שניגשים אליו, כמו יכולות של Machine Learning שאנחנו נלמד בהמשך, ויכולות של BI שגם בהן אנחנו נלמד נגע בהמשך, שהן בעצם צריכות לגשת לדאטה שהוא כבר מסודר

24. 05:13

    ומאורגן,