ETL ומיגרציית נתונים

צינור נתונים הוא תהליך כימי המורכב מיחידות שונות: משהו נכנס בקצב מסוים, משהו יוצא בקצב מסוים, ויש צוואר בקבוק. גם הכשלים דומים — ההרצה שהסתיימה באמצע, המקור ששינה מבנה בלי להודיע לאיש, וההתאמה שאף אחד לא מבצע כי היא מעולם לא נבנתה.

זה כולל הן צינור נתונים מחזורי והן מיגרציה חד-פעמית של מערכת מ-A ל-B, כולל החלק המשעמם שקובע אם התהליך הצליח: הוכחה לכך ששני הצדדים תואמים.

מה מקבלים

• מדידת קצב העברת הנתונים (throughput) וצוואר הבקבוק לפני תכנון מחדש של הצינור
• משימות אידמפוטנטיות (idempotent) וניתנות להפעלה מחדש — הרצה שנכשלה עולה בהרצה חוזרת אחת, לא בסוף שבוע
• התאמה בין המקור ליעד, כבדיקה הרצה באופן עצמאי
• התראות על הכשל שבאמת משנה: נתונים שגויים שנוצרים בשקט, ולא רק קריסה של התהליך