ETL ומיגרציית נתונים
תהליכי נתונים שמסתיימים, עולים מחדש בלי בלגן, ומתריעים כשהתוצאה שלהם שגויה.
צינור נתונים הוא תהליך כימי, רק עם יחידות אחרות: משהו נכנס בקצב מסוים, משהו יוצא בקצב מסוים, ובאמצע יש צוואר בקבוק. גם הכשלים דומים: הרצה שנעצרה באמצע, מקור ששינה מבנה בלי להודיע לאף אחד, והשוואה בין המקור ליעד שאף אחד לא עושה, כי אף פעם לא בנו אותה.
השירות מכסה גם צינור נתונים שרץ באופן קבוע וגם מיגרציה חד־פעמית של מערכת מ־A ל־B, כולל החלק המשעמם שקובע אם זה הצליח: להוכיח ששני הצדדים זהים.
מה מקבלים
- מדידה של קצב העברת הנתונים ושל צוואר הבקבוק, לפני שמתכננים את הצינור מחדש
- משימות אידמפוטנטיות, שאפשר להריץ שוב בבטחה: הרצה שנכשלה עולה הרצה חוזרת אחת, לא סוף שבוע
- השוואה בין המקור ליעד, כבדיקה שרצה לבד
- התראה על הכשל שחשוב באמת: נתונים שגויים שאף אחד לא שם לב אליהם, ולא רק קריסה
יש תהליך שגוזל לכם זמן כל שבוע?
ספרו לי איזה. שיחת היכרות קצרה מספיקה כדי לבדוק אם שווה להעביר אותו לאוטומציה, ואם לא, אגיד לכם את זה.