مقایسه ای بر رویکردهایی از یادگیری ماشین برای تشخیص رکوردهای تکراری در پایگاه داد ههای بزرگ
سال انتشار: 1392
نوع سند: مقاله کنفرانسی
زبان: فارسی
مشاهده: 677
فایل این مقاله در 7 صفحه با فرمت PDF قابل دریافت می باشد
- صدور گواهی نمایه سازی
- من نویسنده این مقاله هستم
این مقاله در بخشهای موضوعی زیر دسته بندی شده است:
استخراج به نرم افزارهای پژوهشی:
شناسه ملی سند علمی:
CEIT01_062
تاریخ نمایه سازی: 9 تیر 1393
چکیده مقاله:
مسئله تشخیص داده های تکراری مشکلی است که در اغلب منابع داده وجود دارد. در انبار داده ها، که از پایگاه داده های مختلف و ناهمگن ایجاد می شود این مشکل حادتر می شود. با تشخیص رکورد تکراری ، کیفیت داده ها افزایش می یابد. بنابر این برای شناسایی تکرار، باید شباهت رکوردها محاسبه شود. روش های متفاوتی برای حذف داده های تکراری وجود دارد که در همه این روش ها، باید الگوریتمی وجود داشته باشد که تشخیص دهد دو یا چند رکورد، نمایش های تکراری از یک موجودیت می باشند. از این رو متدها و استراتژی های متفاوتی برای تخمین میزان شباهت بین فیلدها و رکوردها جهت فیلترینگ رکوردها مطرح شده است. در این مقاله برای مقایسه شباهت های متعدد، از رویکردهایی که بر روش های نظارت بر یادگیری ماشین برای تطبیق رکوردها تکیه دارند، استفاده می شود.با توجه به معیارهای ارزیابی تعریف شده، عملکرد تمامی الگوریتم های مذکور در یادگیری نظارتی و بدون نظارت بر روی مجموعه داده Cora مورد بررسی قرار گرفته است. با توجه به این که F-measure الگوریتم های یادگیری بدون نظارت دارای مقدار بالاتری هستند بنابر این الگوریتم های یادگیری بدون نظارت نسبت به الگوریتم های مذکور در یادگیری نظارتی دارای عملکرد بهتری می باشند. الگوریتم FDD با F-measure برابر 93/3 در بین تمامی الگوریتم های مذکور در هر دو یادگیری دارای بیشترین مقدار می باشد، بنابر این کارایی بهتری دارد.
کلیدواژه ها:
نویسندگان
رعنا موسی زاده
دانشجوی کارشناسی ارشد نرم افزار دانشگاه آزاد اسلامی واحد شبستر
علی فرزان
عضو هیئت علمی کامپیوتر دانشگاه آزاد اسلامی واحد شبستر
جعفر اسدی شالی
عضو هیئت علمی گروه ریاضی دانشگاه واحد تبریز
مراجع و منابع این مقاله:
لیست زیر مراجع و منابع استفاده شده در این مقاله را نمایش می دهد. این مراجع به صورت کاملا ماشینی و بر اساس هوش مصنوعی استخراج شده اند و لذا ممکن است دارای اشکالاتی باشند که به مرور زمان دقت استخراج این محتوا افزایش می یابد. مراجعی که مقالات مربوط به آنها در سیویلیکا نمایه شده و پیدا شده اند، به خود مقاله لینک شده اند :