دانلود رایگان آموزش طراحی خزشگر وب (Web Crawler) با پایتون

بالا رفتن قدرت محاسباتی سیستم ها، افزایش حافظه ها و همچنین دسترسی آسان به داده های موجود در وب، باعث شده است تا پژوهشگران حوزه علوم داده به استفاده از داده های حجیم تحت وب، علاقه مند شوند. با توجه به این که سایت ها، شرکت ها و بنگاه های تجاری اینترنتی، داده های خود را به سادگی در اختیار دیگران نمی گذارند، پژوهشگران و برنامه نویسان، روش ها و ابزارهای قدرتمندی را برای جمع آوری و ذخیره سازی داده های وب توسعه داده اند که به آن خزش یا کرال در وب (Web Crawling) می گویند. آن ها با استفاده از این ابزار ها، داده ها و اطلاعات داخل وب سایت ها را کرال کرده و در قالب های معمول و قابل استفاده برای تحلیل های خود ذخیره می کنند و پس از آن می توانند به شکل یک فایل از آن استفاده کرده و یا برای پژوهش های حوزه داده کاوی از طریق وب، در اختیار عموم قرار دهند. موتورهای جستجو نیز برای ایندکس کردن (Indexing) صفحات وب از کرال و خزش