# ETL ומיגרציית נתונים

> פייפליינים שמסיימים, מתאתחלים מחדש בצורה נקייה, ואומרים לך כשהם שיקרו.

מקור: https://amitkuzi.co.il/services/etl-data-migration/

צינור נתונים הוא תהליך כימי המורכב מיחידות שונות: משהו נכנס בקצב מסוים, משהו יוצא בקצב מסוים, ויש צוואר בקבוק. גם הכשלים דומים — ההרצה שהסתיימה באמצע, המקור ששינה מבנה בלי להודיע לאיש, וההתאמה שאף אחד לא מבצע כי היא מעולם לא נבנתה.

זה כולל הן צינור נתונים מחזורי והן מיגרציה חד-פעמית של מערכת מ-A ל-B, כולל החלק המשעמם שקובע אם התהליך הצליח: הוכחה לכך ששני הצדדים תואמים.

## מה מקבלים

- מדידת קצב העברת הנתונים (throughput) וצוואר הבקבוק לפני תכנון מחדש של הצינור
- משימות אידמפוטנטיות (idempotent) וניתנות להפעלה מחדש — הרצה שנכשלה עולה בהרצה חוזרת אחת, לא בסוף שבוע
- התאמה בין המקור ליעד, כבדיקה הרצה באופן עצמאי
- התראות על הכשל שבאמת משנה: נתונים שגויים שנוצרים בשקט, ולא רק קריסה של התהליך