סוגי טרנספורמציה של הנתונים ב-SSIS

בלי כתוביותעם כתוביות

מילון מושגים:

SSIS - רכיב של SQL Server לבניית תהליכי ETL להעברה ולעיבוד של נתונים בין מקורות.

ETL - תהליך של חילוץ נתונים ממקורות, עיבודם והטענתם ליעד כמו מחסן נתונים (Extract, Transform, Load).

סוג נתונים - הגדרה של סוג הערך שמשתנה או עמודה יכולים להחזיק, למשל מספר שלם, טקסט או תאריך.

Unicode - תקן קידוד תווים אוניברסלי שמכסה את כתבי השפות בעולם, ומאפשר לייצג כמעט כל תו.

ASCII - תקן לקידוד תווים שמייצג אותיות, ספרות וסימנים כמספרים, ומשמש בסיס לייצוג טקסט במחשב.

Integer - סוג נתונים למספר שלם, כלומר מספר ללא חלק עשרוני.

עמודה - שדה בטבלת מסד נתונים שמחזיק ערך מסוג מסוים עבור כל שורה, למשל שם או תאריך.

רכיב - יחידת בניין עצמאית וניתנת לשימוש חוזר בתוך מערכת או ממשק משתמש, שאחראית על חלק מוגדר מהתפקוד.

סוגי טרנספורמציה של הנתונים ב-SSIS

בתהליך ETL, השלב Transform משנה, מוסיף ומתקן נתונים בדרך מהמקור ליעד. ההרצאה מציגה את סוגי הטרנספורמציה ב-SSIS ומתי עדיף לעשות אותם בשאילתת SELECT.

סוגי טרנספורמציה

1. ETL: Extract, גזירת הנתונים, Transform, שינוי הנתונים והשלמת חסרים, ו-Load, טעינה ליעד.

2. העברה רגילה: לפעמים הנתונים עוברים מהמקור ליעד בלי מניפולציה מיוחדת.

3. Data Conversion: שינוי של סוג הנתונים (data type), למשל מ-Unicode ל-ASCII, ממחרוזת למספר (integer) או להפך.

4. שינוי תוכן: מניפולציה על הערכים עצמם, כמו חיסור, הכפלה, חיבור או שרשור עמודות, או חישוב תאריכים מתאריך אחר.

מתי להשתמש ב-SELECT

מניפולציה פשוטה עדיף לבצע בפקודת SELECT, כי היא מהירה יותר מרכיב SSIS, רצה בשרת ולא דורשת סביבת פיתוח ומפתח, ויש רק פקודת SQL אחת לתחזוקה.

שימו לב

כל שינוי כזה צריך תיעוד, כדי שבעתיד אפשר יהיה לדעת איך הנתונים השתנו מהמקור ליעד.

אחרי ההרצאה אפשר להחליט אם טרנספורמציה מסוימת שייכת לרכיב SSIS או לשאילתת SELECT.

השיעור הבא בקורס: טרנספורמציה של הנתונים - רכיב SSIS Drived Column

פרקי ההרצאה: סוגי טרנספורמציה של הנתונים ב-SSIS

תמלול ההרצאה: סוגי טרנספורמציה של הנתונים ב-SSIS

הטקסט המלא של הדקות הראשונות בהרצאה «סוגי טרנספורמציה של הנתונים ב-SSIS» בקורס הווידאו של PracticU – כתוביות בעברית עם זמן התחלה לכל פסקה. כך תוכלו לקרוא ולחפש את הנושאים לפני שמתחילים ללמוד.

00:02
כפי שראינו, בחלק מתהליך ה-ETL אנחנו נדרשים לבצע טרנספורמציה של הנתונים. ETL stands for Extract, גזירה של הנתונים, טרנספורמציה, מניפולציה של הדאטה, שינוי של הנתונים, תוספת, תיקונים, השלמה של נתונים שחסרים ו-Load, טעינה של הנתונים לתוך ה-Destination.
00:27
בחלקים של הטרנספורמציה, החלקים שישנם בתוך ה-SSIS ואלו הם הרכיבים שהוא נותן לנו. לעיתים אנחנו נדרשים לבצע common transformation, המרה טבעית, הזזה טבעית של הנתונים עצמם מתוך ה-source לדסטינשן, אין לנו צורך במניפולציות מיוחדות.
00:47
לעיתים אנחנו נדרשים לבצע data conversion, שינוי של ה-data type של הנתונים עצמם. הנתונים מגיעים בפורמט מסוים וצריך לשנות אותם. לעיתים זהו שינוי מתוך Unicodes לתוך נתונים אחרים שהם ASCII.
01:03
לעיתים מדובר על שינויים שאנחנו לוקחים מכרוזות, STR, ואנחנו משנים אותם לתוך מספרים על מנת לשנות אותם לתוך אינטג'ר. לעיתים מדובר על שינוי הפוך.
01:15
מתוך אינטג'ר אנחנו רוצים להכניס לעמודה שהיא מכרוזת, מכרוזת כסטרינג או כוורקר. שינויים אלה אנחנו עושים אותם על ידי Data Conversion.
01:25
זו היכולת שלנו לקחת את הנתונים עצמם ולשנות אותם מבחינת הדאטה, לא מבחינת הדאטה טייפס, סוג הנתונים, אלא מבחינת התוכן שלהם. כלומר, לעשות מניפולציה על הנתונים עצמם, אולי לחסר מספר מסוים, להכפיל במספר מסוים, לחבר עמודות, לשרשר אותם ביחד,
01:48
לקחת תאריך ולחשב ממנו תאריכים אחרים ומידע אחר שיעזור לנו לקראת התאנה של הנתונים. ברגע שיש לנו מניפולציה פשוטה של הנתונים, אנחנו כבר יכולים לעשות את זה בתוך פקודת סלקט.
02:01
פקודת סלקט זריזה יותר מאשר פעולה של ה-SSIS, מאחר והיא נמצאת בשרת עצמו והיא לא מצריכה אותנו לכתוב פקודת SSIS. ניתן לבצע שם שינויים מניפולטיביים קטנים מתוך ה-source לתוך ה-destination.
02:16
זה קל יותר לבצע לאחר מכן שינויים ותיקונים, כיוון שיש לנו רק פקודת SQL אחת, אין צורך במפתח, אין צורך בסביבת פיתוח. אבל מה שכן, ברגע שאנחנו עושים את השינויים הללו אנחנו צריכים דוקומנטשן, אנחנו צריכים לתעד אותם על מנת שנוכל בעתיד לדעת מה קרה, כיצד השתנו הנתונים מה source לדסטינשן, מה עשתה אותה פקודת סלקט ששינתה את הנתונים