ارائه روشی برای محاسبهی میزان مثبت کاذب و منفی کاذب در روشLSH به منظور یافتن اسناد مشابه

یکی از مسائل بنیادی در داده کاوی، بررسی داده ها برای یافتن عناصر مشابه میباشد. برای نمونه در این زمینه میتوان به بررسی مجموعه ای از اسناد مختلف برای پیدا کردن موارد نزدیک به هم و تکراری اشاره نمود. مسئله پیدا کردن اسناد مشابه را میتوان به یک مسئله بر پایه ی مجموعه تبدیل کرد که این کار در قالب روشShinglingانجام می-گیرد. همچنین در ادامه میتوان مجموعه های بزرگ حاصل را به صورتی فشرده نمود که باز هم بتوان تشابه مجموعه-های اصلی را از نسخه های فشرده شده ی آنها، تشخیص داد که این کار در روشMinhashingانجام میشود. درادامه اگر بخواهیم از مقایسه تمامی اسناد با یکدیگر پرهیز کنیم و فقط اسناد با احتمال بالاتر را با یکدیگر مقایسه کنیم باید از روشLSH برای رسیدن به این هدف استفاده نماییم. در این روش امکان ایجاد مثبت کاذب و منفی کاذب وجود دارد. ما در این مقاله رابطه هایی برای محاسبه ی مثبت کاذب و منفی کاذب در این روش ارائه کردیم. به کمک این رابطه ها میتوان پارامترهای روشLSHرا به گونه ای انتخاب نمود که میزان مثبت کاذب و منفی کاذب را کنترل کرد. در واقع هدف اصلی مقاله ایجاد راهکاری برای کاهش مقادیر مثبت کاذب یا منفی کاذب می باشد.

کلیدواژه ها:

دادهکاوی ، اسناد مشابه ، روشLSH/مثبت کاذب ، منفی کاذب