مرور و بررسی الگوریتمها و روشهای پاکسازی داده در پایگاهدادهها
سال انتشار: 1393
نوع سند: مقاله کنفرانسی
زبان: فارسی
مشاهده: 629
فایل این مقاله در 14 صفحه با فرمت PDF قابل دریافت می باشد
- صدور گواهی نمایه سازی
- من نویسنده این مقاله هستم
استخراج به نرم افزارهای پژوهشی:
شناسه ملی سند علمی:
NCECN01_188
تاریخ نمایه سازی: 7 بهمن 1393
چکیده مقاله:
هنگامی که داده ها از چندین منبع مختلف ناهمگن در یک منبع جمع می شوند، مشکلات مختلف کیفیت داده رخ می دهند. با توجه به اینکه داده های خام یکی از ارزشمندترین سرمایه های هر سازمان می باشد. بنابراین به منظور افزایش کیفیت و صحت و همچنین کارآمد بودن هرچه بیشتر داده های موجود، شناسایی رکوردهایی که دارای نمایش های مختلفی بوده اما در اصل به یک موجودیت واحد اشاره می کنند، یعنی شناسایی رکوردهای تکراری، امری اجتناب ناپذیر است. با توجه به حجم بالا و رو به رشد اطلاعات در پایگاه داده ها، بررسی و شناسایی رکوردهای تکراری توسط انسان و با روش های دستی غیر ممکن است. بنابراین نیاز به استفاده از یکسری تکنیک های هوشمند وجود دارد تا بتوان با استفاده از آنها بین رکوردهایی که دارای مقادیر فیلدهای شبیه به هم هستند، میزان شباهتی را تخمین زده و در صورت وجود شباهت بالا در بین مقادیرفیلدهای متناظر، با بررسی میزان شباهت دو رکورد، رکوردهای تکراری را شناسایی نمود. از این رو روش های مختلفی برای تطابق فیلدها و رکوردها برای شناسایی رکوردهای تکراری مطرح شده است. در ابتدا معیارهای کیفیت داده و مشکلات کیفیت داده بررسی شده و تعدادی از الگوریتم ها و روش های تطابق فیلد و رکورد که در پاکسازی داده ها مورد استفاده قرار می گیرند، بررسی شده اند.
کلیدواژه ها:
نویسندگان
مریم اسماعیل زاده قلعه جوقی
گروه کامپیوتر، واحد شبستر، دانشگاه آزاد اسلامی واحد شبستر، ایران
محمدرضا فیضی درخشی
گروه کامپیوتر، دانشگاه تبریز، تبریز، ایران
مراجع و منابع این مقاله:
لیست زیر مراجع و منابع استفاده شده در این مقاله را نمایش می دهد. این مراجع به صورت کاملا ماشینی و بر اساس هوش مصنوعی استخراج شده اند و لذا ممکن است دارای اشکالاتی باشند که به مرور زمان دقت استخراج این محتوا افزایش می یابد. مراجعی که مقالات مربوط به آنها در سیویلیکا نمایه شده و پیدا شده اند، به خود مقاله لینک شده اند :