Using Support Vector Machines Classifier fo Improve the Performance of Reinforcement Learning based Web Crawlers
محل انتشار: نهمین کنفرانس سالانه انجمن کامپیوتر ایران
سال انتشار: 1382
نوع سند: مقاله کنفرانسی
زبان: انگلیسی
مشاهده: 1,843
فایل این مقاله در 8 صفحه با فرمت PDF قابل دریافت می باشد
- صدور گواهی نمایه سازی
- من نویسنده این مقاله هستم
استخراج به نرم افزارهای پژوهشی:
شناسه ملی سند علمی:
ACCSI09_098
تاریخ نمایه سازی: 4 بهمن 1386
چکیده مقاله:
The main contribution of this paper is introducing an approach for expanding the crawling methods of Cora spider, as a RL-based spider. We have introduced novel methods for calculating the Q-Value in reinforcement learning module of the spider. The proposed crawlers can find the target pages faster and earn more rewards over the crawl than Cora’s crawlers. We have used support Vector Machines (SVMs) classifier for the first time as a text learner in Web crawlers and compared the results with crawlers which use Naïve Bayes (NB) classifier for this purpose. The results show that crawlers using SVMs outperform crawlers which use NB in the first half of crawling a web site and find the target pages more quickly. The test bed for the evaluation of our approaches was Web sites of four computer science departments of four universities, which have been made available offline.
کلیدواژه ها:
نویسندگان
Ahmad Abdollahzadeh Barfourosh
Computer Eng. & IT Faculty , Amirkabir University of Technology Tehran, Iran
Hamid Reza Motahari Nezhad
Computer Eng. & IT Faculty , Amirkabir University of Technology Tehran, Iran
مراجع و منابع این مقاله:
لیست زیر مراجع و منابع استفاده شده در این مقاله را نمایش می دهد. این مراجع به صورت کاملا ماشینی و بر اساس هوش مصنوعی استخراج شده اند و لذا ممکن است دارای اشکالاتی باشند که به مرور زمان دقت استخراج این محتوا افزایش می یابد. مراجعی که مقالات مربوط به آنها در سیویلیکا نمایه شده و پیدا شده اند، به خود مقاله لینک شده اند :