خزش وب با استفاده از روشهای یادگیری تقویتی

خزشگر یکی از اصلی ترین بخش های یک موتور جستجو می باشد که وظیفه ی آن کشف و دانلود صفحات وب است. هیچ موتور جستجویینمی تواند کل وب را پوشش دهد و تنها به درصدی از صفحات با ارزش بالاتر اکتفا می کند؛ بنابراین چالش اصلی در موتورهای جستجو خزشصفحات مؤثر وب در سریعترین زمان ممکن است. در این مقاله جهت پوشش مناسب صفحات وب (پیدا کردن سریع صفحات مهم)، الگوریتمخزشی مبتنی بر یادگیری تقویتی ارائه میگردد. سیگنال تقویتی براساس تابعی از درجه خروجی هر صفحه تعریف می شود و ارزش هرصفحه برابر مجموع تخفیف یافته ی جوایز دریافتی در گذر از صفحات وب تا رسیدن به صفحه ی جاری است. جهت ارزیابی الگوریتم پیشنهادیاز گراف وب ایران استفاده شده است. نتایج آزمایش ها نشان می دهد که روش پیشنهادی روی گراف مذکور نسبت به سایر روشهای بررسیشده کاراتر است.

کلیدواژه ها:

موتور جستجو ، خزشگر ، رتبه بندی ، گراف وب ، یادگیری تقویتی