הגדרת Data Profiling Task בתוך SSIS

בלי כתוביותעם כתוביות

מילון מושגים:

SSIS - רכיב של SQL Server לבניית תהליכי ETL להעברה ולעיבוד של נתונים בין מקורות.

מחסן נתונים - מסד נתונים מרכזי שמרכז נתונים ממקורות שונים לצורך ניתוח ודיווח, ולא לתפעול שוטף.

עמודה - שדה בטבלת מסד נתונים שמחזיק ערך מסוג מסוים עבור כל שורה, למשל שם או תאריך.

שאילתה - בקשה למסד נתונים לשלוף, להוסיף, לעדכן או למחוק נתונים, לרוב בשפת SQL.

Join - פעולת SQL שמשלבת שורות משתי טבלאות או יותר על בסיס קשר ביניהן.

אימות - תהליך שמוודא שהמשתמש או המערכת הם מי שהם טוענים שהם, בדרך כלל באמצעות סיסמה, קוד או תעודה.

Northwind - מסד נתונים לדוגמה של מיקרוסופט, המדמה חברת מסחר ומשמש ללימוד ולהדגמת שאילתות SQL.

מפתח ראשי - עמודה או צירוף עמודות שמזהים באופן ייחודי כל שורה בטבלת מסד נתונים.

הגדרת Data Profiling Task בתוך SSIS

לפני שמעבירים נתונים ל-Data Warehouse כדאי להבין אותם: אילו עמודות מועמדות למפתח, כמה ערכי null יש ואיך הגדלים מתפלגים. רכיב ה-Data Profiling Task ב-SSIS מייצר פרופיל כזה בלי שצריך לכתוב שאילתות ו-join בין טבלאות המערכת.

השלבים העיקריים

1. הוספה והגדרת יעד: גוררים את הרכיב ל-Control Flow ופותחים אותו בדאבל קליק. ב-Destination בוחרים קובץ (בדרך כלל) או משתנה, נותנים נתיב, מגדירים יצירת קובץ חדש ובוחרים אם לדרוס. סיומת txt לא חובה, כי את התוצאה קוראים ב-viewer.

2. Quick Profile: יוצרים חיבור חדש לשרת עם Windows Authentication ובוחרים את בסיס הנתונים (בדוגמה Northwind) ואת הטבלה, כאן employees.

3. בחירת המדדים: ספירת null באחוזים, התפלגות הערכים והגדלים, מועמדי מפתח (Candidate Key Profile), תבניות עמודות ומידע סטטיסטי.

4. הרצה: קליק ימני על הרכיב ו-Execute Task, ואחר כך Open Profile Viewer כדי לראות את התוצאות תחת Northwind, Tables.

מה רואים בתוצאות

1. Candidate Key: שדות עם ייחודיות של 100% ובלי null, כמו Address, BirthDate, EmployeeID ו-Extension, יכולים לשמש כ-Primary Key.

2. התפלגות אורכים: מינימום ומקסימום לכל עמודה. ב-Address האורך נע בין 15 ל-30, ולכן הקטנת העמודה ל-30 לא תפגע באף שורה, והקטנה ל-20 תדרוש טיפול בשורות מסוימות. ב-City האורך בין 6 ל-8, ו-50% מהשורות באורך 6.

3. יחס null: ב-Address אין null בכלל, וב-Region 44% null. עמודה עם כ-90% null כנראה מיותרת או שהנתונים בה מזוהמים, ובאחוז ביניים צריך לשפוט לפי המשמעות העסקית.

4. סטטיסטיקה: מינימום, מקסימום, ממוצע וסטיית תקן רק לעמודות מספריות או תאריך, לא למחרוזות כמו varchar. ב-EmployeeID הערכים 1 עד 9, ממוצע 5 וסטיית תקן 2.58.

5. התפלגות ערכים: בטבלה של 9 שורות כל ערך ייחודי הוא 11.11%. ב-City, 44% מהשורות בלונדון, וב-Title ערך אחד תופס 66%.

אחרי ההרצאה אפשר להריץ ניתוח פרופיל על טבלה ולהחליט אילו עמודות להעביר, לנקות או לתקן.

השיעור הבא בקורס: יצוא ויבוא נתונים בין Excel לבין SSIS

פרקי ההרצאה: הגדרת Data Profiling Task בתוך SSIS

תמלול ההרצאה: הגדרת Data Profiling Task בתוך SSIS

הטקסט המלא של הדקות הראשונות בהרצאה «הגדרת Data Profiling Task בתוך SSIS» בקורס הווידאו של PracticU – כתוביות בעברית עם זמן התחלה לכל פסקה. כך תוכלו לקרוא ולחפש את הנושאים לפני שמתחילים ללמוד.

00:02
שלום לכם, בשיעורנו היום אנחנו נכיר קומפוננטה חדשה שנמצאת בתוך ה-SSIS Toolbox ומאפשרת לי לנתח את מבנה הטבלאות, מבנה הקשרים ביניהם, חלוקת הדאטה שנמצאת, הסלקטיביות של הנתונים עצמם, הקרדינליות של המידע עצמו, מאפשרת לי להגיע לתובנות
00:22
אודות שליפה של הנתונים מתוך הדאטאבס. הקומפוננטה הזאת נקראת Data Profiling Task וכשמה כן היא, היא נותנת לי פרופיל של כל הנתונים עצמם.
00:34
אני זורק אותה לתוך ה-Control File, דאבל קליק על מנת לקנפג אותה, וכשאנחנו נכנסים לתוך ההגדרות של הפרופיילר עצמו, אנחנו נדרשים לציין לאן אנחנו רוצים שהמידע יישפך.
00:46
בתוך ה-Destination אנחנו צריכים לציין האם אנחנו רוצים להוציא את זה לתוך קובץ, או שמא לתוך משתנה, בדרך כלל אנחנו נבחר קובץ, בתוך הקובץ כל מה שאנחנו צריכים לתת לו זה רק נתיב עצמו שאליו אנחנו רוצים להתחבר.
01:00
בתוך הנתיב עצמו אנחנו נתחבר לתוך קובץ חדש ובתוך קובץ חדש עלינו לבחור האם אנחנו רוצים קובץ לייצר קובץ חדש או להשתמש בקובץ קיים נבחר קריא את קובץ ורק ניתן לו נתיב שאליו אנחנו יכולים לכתוב אני נותן לו כאן את השם data profiling שמרתי את הקובץ בעצמו data profiling והרי הקובץ צריך כאן להתנתן לתת לו איזשהו סיומת של txt אבל זה לא מחויב מאחר ואנחנו את הקובץ עצמו לא לנתח אלא viewer
01:33
שנותן לנו כאן התוכנה עצמה. כתבתי את הדאטה פורפיילינג, האם אני רוצה לדרוס את הקובץ כן או לא. לאחר מכן אני נכנס כאן לתוך ה-Quick Profile.
01:43
בתוך ה-Quick Profile אני צריך להתחבר לתוך הבסיס נתונים שלהם אני רוצה לעבוד. פותח כאן קונקשן חדש, נבחר לעצמנו את שם הדאטה בס, שם השרת שעליו אני עובד, נדביק אותו, Authentication של Windows, ואני בוחר את בסיס הנתונים שלהם אני רוצה להתחבר, כרגע אנחנו נעבוד על no print, פוחץ על אוקיי.
02:04
בשלב הזה כבר נפתחות לי האפשרויות, אחרי שהתחברתי לתוך הבסיס נתונים, זה לדעת איזה טבלה אנחנו רוצים לנתח. נבחר לנו בתור דוגמה את טבלת employees, טבלת העובדים.
02:16
ניתוח של טבלת העובדים, הממדים, אותם פרמטרים, ה-measures שאותם הוא יכול לחשב לי, הוא יכול לחשב לי חישובים של כמויות ה-nals, כמה דאטה יש לי באחוזים בתוך הטבלה עצמה, מידע סטטיסטי, התפלגות distribution של הדאטה עצמו, distribution של הגדלים של המידע עצמו, אורך הנתונים עצמם, מועמדים להיות profile, candidate key
02:41
profile, משהו שיכול להיות כ-primary key, ו-column pattern של פורפייל, נסמן גם אותו. לוחץ כאן אוקיי, קיבלתי כאן את אוסף המדדים שהניתוח של הפורפיילר יכול להביא לי. לוחץ כאן אוקיי, איך אנחנו מריצים אותו?
02:54
וכמניע עליו Execute Task. Execute Task, התהליך מתחיל, מואץ והוא מצליח. בסיומו של התהליך אני אקבל פרופיליזציה, ניתוח מעמיק שיכול להיות שהייתי, היה עולה לי הרבה מאוד שאילתות והרבה מאוד יזע על מנת למצוא אותן.
03:11
איך אנחנו מוצאים את אותו ניתוח? אני נכנס שוב פעם לקומפוננטה של הדאטה פרופיילינג, וכפעם אני לוחץ על Open Profile Viewer, פותח את ה-viewer על מנת לראות את ניתוח הנתונים עצמם, והנה להפתעתנו, תראו מה אנחנו מקבלים, פלא גדול.
03:29
תחת Northwind, תחת tables, קיבלתי ניתוח שלם של טבלה שאותה בחרתי, טבלת employees. מה אני מקבל שם?
03:39
אני מקבל קודם כל ניתוח ברמה של Candidate Key, מי הם הסדות שיכולים לשמש לי כ-Primary Key?