بررسی ساختار خزنده های وب از دیدگاه طراحی و پیاده سازی

امروزه موتورهای جستجو با قدرت بسیار بالایی در حال رشد هستند و به یکی از ارکان جدایی ناپذیر وب تبدیل شده اند . هر چندموتورهای جستجو تنها قابلیت گزار در پنج درصد از دنیای عمیق وب را دارند اما همین درصد ناچیز شامل میلیون ها صفحه و اطلاعات گوناگون میباشد . ساختار پنهان موتورهای جستجو برای جمع آوری و نگهداری حجم عظیم اطلاعات و همچنین بازگشت نتایج مناسب به کاربران متقاضی از مسایل بسیار مهم و حایز اهمیت میباشد که در این مقاله به جزییات و ویژگی های این امر با رویکرد طراحی و پیاده سازی اشاره خواهیم داشت

کلیدواژه ها:

موتورهای جستجو ، خزنده ها ، خزنده های توزیع شده ، الگوریتم های خزنده ها ، pagerank