روشی جدید در یافتن اسناد یکسان در وب

فردین ابدالی محمدی; نصرالدین نیازی; عبدالحسین فتحی

روشی جدید در یافتن اسناد یکسان در وب

محل انتشار: همایش ملی مهندسی رایانه و مدیریت فناوری اطلاعات

سال انتشار: 1393

نوع سند: مقاله کنفرانسی

زبان: فارسی

مشاهده: 688

فایل این مقاله در 11 صفحه با فرمت PDF قابل دریافت می باشد

دریافت فایل کامل مقاله

صدور گواهی نمایه سازی
من نویسنده این مقاله هستم

استخراج به نرم افزارهای پژوهشی:

لینک ثابت به این مقاله:

https://civilica.com/doc/282980

شناسه ملی سند علمی:

CSITM01_439

تاریخ نمایه سازی: 10 شهریور 1393

چکیده مقاله:

با رشد و گسترش روزافزون شبکه اینترنت و تولید اسناد و فایل های تکراری یا مشابه، سیستم های ذخیره سازی داده ها با مشکلاتی روبرو شدهاند. در راستای حل این مشکلات، الگوریتمهای زیادی برای تشخیص سندهای تکراری به وجود آمده اند که با حذف سندهای اضافی، تنها یک نسخه ی منحصربه فرد را نگهداری میکنند. با این عمل، مقدار فضای مورد نیاز برای ذخیرهسازی کاهش می یابد. همچنین، نقل و انتقال سندهای غیرتکراری در بستر اینترنت به پهنای باند کمتری نیاز خواهد داشت. در این مقاله سوالات جدیدی در مورد روش محاسبه ی مفهومی به نام Containment Document پیش میآید که با پاسخ به آنها و شبیه سازی الگوریتمهای پیشنهادی، اثبات خواهیم کرد که میتوان در مدت زمانبسیار کمتری تکراری بودن فایل ها و سندهای موجود در شبکه جهانی وب را نشان داد. به کمک این روش سندهای مشابه در یک خوشه قرار داده میشوند و در مواردی از جمله فیلترکردن نتایج به دست آمده از موتورهای جستجو، به روزرسانی گسترده ی صفحات وب توزیع شده و ... از آن استفاده می شود.

کلیدواژه ها:

شباهت اسناد ، شینگل ، ابر شینگل ، اسناد زیر مجموعه

نویسندگان

فردین ابدالی محمدی

استادیار دانشگاه رازی کرمانشاه

نصرالدین نیازی

دانشجوی کارشناسی ارشد

عبدالحسین فتحی

استادیار دانشگاه رازی کرمانشاه

مراجع و منابع این مقاله:

لیست زیر مراجع و منابع استفاده شده در این مقاله را نمایش می دهد. این مراجع به صورت کاملا ماشینی و بر اساس هوش مصنوعی استخراج شده اند و لذا ممکن است دارای اشکالاتی باشند که به مرور زمان دقت استخراج این محتوا افزایش می یابد. مراجعی که مقالات مربوط به آنها در سیویلیکا نمایه شده و پیدا شده اند، به خود مقاله لینک شده اند :

A.Broder, N.Eiron, M.Fontoura, M.Herscovici, R.Lempel, J.Mcpherson, & E.Shekita. (2006). Indexing ...
Abdur chowdhury, Ophir frieder, David grossman, & mccabe, Mary catherine. ...
Andrei Z. Broder, Steven C. Glassman, Mark S. Manasse, & ...
B.Stein. (2005). Fuzzy- Fingerprints for Text-based Information Retrieval. Paper presented ...
Broder, Andrei Z. (1997). On the resemblance and containment of ...
Broder, Andrei Z. (2000). Identifying and Filtering Near-Duplicate Documents. Springer- ...
C.Lyon, _ _ _ _ _ _ «f similar tes ...
C.Xiao, W.Wang, X.Lin, & J.Yu. (2008). Efficent Similarity Joins for ...
D.Fetterly, M.Manasse, & M.Najork. (2003). On the Evolution of Clusters ...
D.Manning, Christopher, Raghavan, Prabhakar, & Schitze, Hinrich. (2009). An Introduction ...
Gharghe, Zahra Eskandari, & Bidgoli, Behrouz Minaei. (2009). Weighted shingling: ...
Hajishirzi, Hannaneh, Yih, Wen-tau, & Kolcz, Aleksander. (2010). Adaptive Near-Duplicate ...
Henzinger, Monika. (2006). Finding Nea r-Duplicate Web Pages: A Large-Scale ...
Huang, Lian'en, Wang, Lei, & Li, Xiaoming. (2008). Achieving both ...
Hui Yang, & Callan, Jamie. Near-Duplicate Detection for eRulemaking. Information ...
J.Comrad, X.Guo, & C.Schriber. (2003). Online duplicate document dete ction:Signatu ...
J.G.Conrad & , C.P.Schriber. (2004). Constructing a text corpus for ...
John Gibson, BenWellner, & Lubar, Susan. Identification of Duplicate News ...
M.Charikar. (2002). Similarity estimation techniques from rounding algorithms. Paper presented ...
Mahab aleshwar, Ravindra. (2011). Effective Data Deduplication Imp lementation. Tata ...
Manku, Gurmeet Singh, Jain, Arvind, & Sarma, Anish Das. (2007). ...
Phillips, Jeff M. (2013). Jaccard Similarity and Shingling. Data Mining ...
Potthast, Martin, & Stein, Beno. (2008). New Issues in Near-duplicate ...
R.J.Bayardo, Y.Ma, & R.Srikant. (2007). Scaling up all pairs similarity ...
Rajaraman, Anand, & Ullman, Jeffrey D. (2011). Mining of Massive ...
S.Brin, J.Davis, & H.Garc ia-Molina. (1995). Copy detection mechanisms for ...
S.Sarawagi, & A.Kirpal. (2004). Efficient set joins on similarity predicates. ...
S.YE, J.WEN, & W.MA. (2006). A Systematic Study of Parameter ...
T.C.Hoad, & J.Zobel. (2003). Methods for Identifying Versioned and Plagiarised ...
U.Manber. (1994). Finding similar files in a large file system. ...
Uyar, Erkan. (2009). NEAR-DUP LICATE NEWS DETECTION USING NAMED ENTITIES. ...
Y.Bernstein, & J.Zobel. (2005). Redundant documents and search effectiveness. Paper ...
Y.Bernstein, M.Shokouhi, & J.Zobel. (2006). Compact features for detection of ...

نمایش کامل مراجع