طراحی و پیاده سازی یک خزنده وب توزیع شده

امروزه موتورهای جستجوی مختلفی برای دستیابی به اطلاعات مورد نیاز از میان انبوه مطالب موجود در وب استفاده می شوند، که برای جمع آوری داده ها به خزنده های وب وابسته هستند. خزنده وب یکی از مهم ترین مولفه های موتور جستجو می باشد که وظیفه آن دریافت صفحات وب جهت شاخص گذاری توسط موتور جستجو است. علاوه بر موتور های جستجو از خزنده های وب برای اهدافی مانند داده کاوی استفاده می شود. در این مقاله سعی شده است تا ساختار و نیازمندی های مختلف یک خزنده وب را از دیدگاه طراحی مورد بررسی قرار داده و به شرح پیاده سازی بخش های مختلف آن در چارچوب برنامه نویسی تحت شبکه بپردازیم

کلیدواژه ها:

موتورجستجو ، خزنده وب ، خزش