حذف رکورد تکراری در اودو ۲۰: ادغام، بازیافت و یکدست کردن داده با اپ پاک‌سازی داده

پاک‌سازی داده در اودو؛ سه کار اصلی

حذف تکراری (Deduplication)

رکوردهای مشابه را با قاعده پیدا و در یک رکورد اصلی ادغام می‌کند.

بازیافت (Recycle)

رکوردهای کهنه را پیدا می‌کند تا بایگانی یا حذف شوند.

پاک‌سازی فیلد (Field Cleaning)

متن فیلدها را طبق قاعده یکدست می‌کند؛ مثلاً فاصله‌های اضافه یا قالب تلفن.

هر سه با قاعده کار می‌کنند و قاعده را برای هر مدل پایگاه داده (مخاطب، سرنخ، کالا، کار پروژه و…) جدا می‌سازید. قاعده‌ها به‌طور پیش‌فرض روزی یک بار با یک اقدام زمان‌بندی‌شده اجرا می‌شوند و هر قاعده را هر وقت خواستید دستی هم می‌توانید اجرا کنید.

ساختن قاعده‌ی حذف تکراری

قاعده می‌گوید دو رکورد کی تکراری حساب شوند. به پاک‌سازی داده ‣ پیکربندی ‣ حذف تکراری Data Cleaning ‣ Configuration ‣ Deduplication بروید و یک قاعده‌ی پیش‌فرض را باز کنید یا «جدید» را بزنید.

1. «مدل» (Model) را انتخاب کنید، مثلاً مخاطب. عنوان قاعده خودش نام مدل را می‌گیرد.
2. اگر لازم است، «دامنه» (Domain) بگذارید تا فقط بخشی از رکوردها بررسی شوند؛ مثلاً فقط شرکت‌ها. تعداد رکوردهای مشمول کنار پیوند «# رکورد» دیده می‌شود.
3. بسته به مدل، فیلد «حذف تکراری» (Duplicate Removal) پیدا می‌شود: رکوردهای ادغام‌شده بایگانی (Archive) شوند یا حذف (Delete).
4. «حالت ادغام» (Merge Mode) را انتخاب کنید. «دستی» (Manual) یعنی هر گروه تکراری را خودتان ادغام می‌کنید و فیلد «خبر دادن به کاربران» هم باز می‌شود. «خودکار» (Automatic) یعنی گروه‌هایی که شباهتشان از «آستانه‌ی شباهت» (Similarity Threshold) بالاتر است بدون خبر به کاربران ادغام می‌شوند.
5. کلید «فعال» (Active) را روشن کنید تا قاعده از همان ذخیره شروع به کار کند.
6. در بخش «قاعده‌های حذف تکراری» با «Add a line» دست‌کم یک سطر بسازید: «فیلد شناسه‌ی یکتا» (Unique ID Field)، یعنی فیلدی که با آن مقایسه می‌شود، و شرط «تطبیق اگر» (Match If): «تطبیق کامل» (Exact Match) یا «تطبیق بدون حساسیت به حروف بزرگ و کوچک و اعراب» (Case/Accent Insensitive Match).

بدون دست‌کم یک سطر در «قاعده‌های حذف تکراری»، قاعده هیچ تکراری‌ای پیدا نمی‌کند. در پایگاه داده‌ی چندشرکتی فیلد «بین شرکت‌ها» (Cross-Company) هم هست تا تکراری‌های شرکت‌های مختلف هم پیشنهاد شوند. با حالت توسعه‌دهنده، فیلد «آستانه‌ی پیشنهاد» (Suggestion Threshold) هم دیده می‌شود؛ تکراری‌هایی که شباهتشان از آن کمتر است پیشنهاد نمی‌شوند.

اجرای دستی قاعده

قاعده را از همان منو باز کنید و «حذف تکراری» (Deduplicate) را بالای فرم بزنید. دکمه‌ی هوشمند «تکراری‌ها» (Duplicates) تعداد موارد پیدا شده را نشان می‌دهد؛ رویش بزنید تا به فهرست ادغام بروید.

ادغام رکوردهای تکراری

به پاک‌سازی داده ‣ حذف تکراری Data Cleaning ‣ Deduplication بروید. نوار کناری «قاعده» (RULE) قاعده‌های فعال را با تعداد تکراری‌های هر کدام نشان می‌دهد. پیش‌فرض «همه» (All) انتخاب است و رکوردها بر اساس قاعده گروه شده‌اند، هر گروه با درصد «شباهت» (Similarity). ستون‌ها این‌ها هستند: تاریخ ساخت، نام، مقدار فیلدهایی که با آن‌ها تکراری پیدا شده، «استفاده‌شده در» (مدل‌های دیگری که به رکورد ارجاع می‌دهند)، شناسه و «رکورد اصلی» (Is Master).

1. در هر گروه، رکورد اصلی (Master) را انتخاب کنید؛ اطلاعات بقیه در آن ادغام می‌شود و هر گروه فقط یک رکورد اصلی دارد. اگر انتخاب نکنید، اودو یکی را به تصادف برمی‌دارد.
2. «ادغام» (Merge) را بالای گروه بزنید و با «Ok» تأیید کنید.

بعد از ادغام، پیامی درباره‌ی آن در گفت‌وگوی رکورد (چتر) رکورد اصلی ثبت می‌شود. برای بعضی رکوردها، مثل کارهای پروژه، پیوندی به رکورد قدیمی هم در همان پیام می‌ماند.

برای ادغام دستی چند مخاطب از خود اپ مخاطبان، بدون قاعده، ادغام مخاطبان تکراری را ببینید.

بازیافت رکوردهای کهنه

قاعده‌های بازیافت به‌طور پیش‌فرض وجود ندارند. به پاک‌سازی داده ‣ پیکربندی ‣ بازیافت رکوردها Data Cleaning ‣ Configuration ‣ Recycle Records بروید و «جدید» را بزنید:

1. «مدل» را انتخاب کنید و اگر لازم است «فیلتر» (Filter) بگذارید تا فقط بخشی از رکوردها مشمول شوند.
2. «فیلد زمان» (Time Field) را انتخاب کنید، مثلاً «آخرین به‌روزرسانی». بعد «فاصله» (Delta) را به عدد صحیح بنویسید و «واحد فاصله» (Delta Unit) را روز، هفته، ماه یا سال بگذارید.
3. «حالت بازیافت» (Recycle Mode) را دستی یا خودکار بگذارید. حالت دستی فیلد «خبر دادن به کاربران» را هم باز می‌کند.
4. «اقدام بازیافت» (Recycle Action) را بایگانی یا حذف بگذارید. اگر حذف را انتخاب کنید، مشخص کنید رکوردهای بایگانی‌شده هم مشمول شوند یا نه (Include Archived).

مستندات اودو این مثال را می‌آورد: سرنخ‌ها و فرصت‌های بایگانی‌شده‌ای که یک سال است به‌روز نشده‌اند و دلیل باختشان «خیلی گران» است، خودکار حذف شوند. برای اجرای فوری، قاعده را باز کنید و «اجرا» (Run Now) را بزنید؛ دکمه‌ی هوشمند «رکوردها» تعداد را نشان می‌دهد.

فهرست رکوردهای پیدا شده در پاک‌سازی داده ‣ بازیافت رکوردها Data Cleaning ‣ Recycle Records است. روی هر سطر «تأیید» (Validate) را بزنید تا طبق قاعده بایگانی یا حذف شود، یا «کنار گذاشتن» (Discard) را بزنید تا آن رکورد دیگر هیچ‌وقت با این قاعده پیدا نشود.

پاک‌سازی فیلد: فاصله، حروف، تلفن و HTML

به پاک‌سازی داده ‣ پیکربندی ‣ پاک‌سازی فیلد Data Cleaning ‣ Configuration ‣ Field Cleaning بروید. یک قاعده‌ی پیش‌فرض برای مخاطب آماده است؛ بازش کنید یا «جدید» را بزنید. مدل را انتخاب کنید و در بخش «قاعده‌ها» با «Add a line» فیلد و اقدام را مشخص کنید:

• حذف فاصله (Trim Spaces): «همه‌ی فاصله‌ها» (All Spaces) یا «فاصله‌های اضافه» (Superfluous Spaces)، یعنی فاصله‌ی اول و آخر و فاصله‌های پشت سر هم.
• حروف بزرگ و کوچک (Set Type Case): حرف اول بزرگ، همه بزرگ یا همه کوچک؛ برای نام‌های لاتین.
• قالب تلفن (Format Phone): شماره را به قالب بین‌المللی کشور برمی‌گرداند.
• حذف HTML (Scrap HTML): متن HTML را به متن ساده تبدیل می‌کند.

بعد «حالت پاک‌سازی» (Cleaning Mode) را دستی یا خودکار بگذارید. برای اجرای فوری «پاک‌سازی» (Clean) را روی فرم قاعده بزنید. پیشنهادها در پاک‌سازی داده ‣ پاک‌سازی فیلد Data Cleaning ‣ Field Cleaning با ستون‌های «فعلی» (Current) و «پیشنهادی» (Suggested) می‌آیند؛ هر سطر را تأیید یا کنار بگذارید.

مدیر اقدام ادغام

اقدام «ادغام» (Merge) در منوی اقدامات (Actions) فقط برای بعضی مدل‌ها روشن است. حالت توسعه‌دهنده را روشن کنید و به پاک‌سازی داده ‣ پیکربندی ‣ مدیر اقدام ادغام Data Cleaning ‣ Configuration ‣ Merge Action Manager بروید. برای هر مدل، ستون «قابل ادغام» (Can Be Merged) را روشن یا خاموش کنید. برای دیدن مدل‌هایی که از اول روشن‌اند، در نوار جست‌وجو با «قابل ادغام» فیلتر بزنید.

یک مثال ایرانی

یک شرکت پخش لوازم خانگی در تبریز ۱۲ هزار مخاطب را از نرم‌افزار قبلی و چند فایل اکسل فروشنده‌ها به اودو آورده است. نیمی از فایل‌ها با صفحه‌کلید عربی تایپ شده‌اند. اول در فایل‌ها «ي» و «ك» را با «ی» و «ک» عوض می‌کند و با همان شناسه دوباره ایمپورت می‌کند. بعد یک قاعده‌ی حذف تکراری روی مخاطب می‌سازد که ایمیل را با تطبیق کامل مقایسه می‌کند، در حالت دستی و با «بایگانی» برای رکوردهای ادغام‌شده.

مسئول داده هر صبح ده دقیقه داشبورد تکراری‌ها را مرور می‌کند، رکوردی را که در ستون «استفاده‌شده در» ارجاع بیشتری دارد اصلی می‌کند و ادغام می‌زند؛ دو شعبه‌ی یک فروشگاه را که ایمیل مشترک دارند کنار می‌گذارد. یک قاعده‌ی پاک‌سازی فیلد فاصله‌های اضافه‌ی نام را می‌گیرد و یک قاعده‌ی بازیافت، سرنخ‌هایی را که دو سال است به‌روز نشده‌اند بایگانی می‌کند. سه ماه بعد گزارش فروش هر مشتری یک سطر دارد، نه دو سطر.

پرسش‌های رایج درباره‌ی حذف رکورد تکراری در اودو