https://linkedbus.com/sitetag/scrapy/ Recent content in Scrapy on 链氪巴士 Hugo -- gohugo.io zh-CN Mon, 09 Dec 2024 14:48:26 +0800 https://linkedbus.com/sites/22366.html Fri, 06 Dec 2024 00:00:00 +0800 https://linkedbus.com/sites/22366.html <img src="https://linkedbus.com/uploads/linkedbus.com/favicon/1733218100-images.png" alt="Featured image of post copyBook-用爬虫爬取小说构建自己的小说网站" /><p class="site-visit"><a href="https://github.com/hahaha108/copyBook" target="_blank" rel="noopener nofollow">访问官网 →</a></p> <h2 id="项目标题copybook-用爬虫爬取小说构建自己的小说网站"><a href="#%e9%a1%b9%e7%9b%ae%e6%a0%87%e9%a2%98copybook-%e7%94%a8%e7%88%ac%e8%99%ab%e7%88%ac%e5%8f%96%e5%b0%8f%e8%af%b4%e6%9e%84%e5%bb%ba%e8%87%aa%e5%b7%b1%e7%9a%84%e5%b0%8f%e8%af%b4%e7%bd%91%e7%ab%99" class="header-anchor"></a>项目标题：copyBook-用爬虫爬取小说构建自己的小说网站 </h2><h3 id="项目简介"><a href="#%e9%a1%b9%e7%9b%ae%e7%ae%80%e4%bb%8b" class="header-anchor"></a>项目简介 </h3><p>copyBook项目主要是利用爬虫框架scrapy在python3.6的运行环境下，爬取小说网站（如全书网）上的小说。它将爬取到的小说信息，包括书名、作者、简介、封面、章节内容等存储到sqlite数据库中。然后通过Django web框架和bootstrap构建自己的小说网站，网站包含主页、图书详情页和章节详情页等页面。</p> https://linkedbus.com/sites/21428.html Fri, 06 Dec 2024 00:00:00 +0800 https://linkedbus.com/sites/21428.html <img src="https://linkedbus.com/uploads/linkedbus.com/favicon/1733218100-images.png" alt="Featured image of post crawlab：分布式爬虫管理平台，支持多语言和框架" /><p class="site-visit"><a href="https://github.com/crawlab-team/crawlab" target="_blank" rel="noopener nofollow">访问官网 →</a></p> <h2 id="github项目名crawlab--分布式爬虫管理平台支持多语言和框架"><a href="#github%e9%a1%b9%e7%9b%ae%e5%90%8dcrawlab--%e5%88%86%e5%b8%83%e5%bc%8f%e7%88%ac%e8%99%ab%e7%ae%a1%e7%90%86%e5%b9%b3%e5%8f%b0%e6%94%af%e6%8c%81%e5%a4%9a%e8%af%ad%e8%a8%80%e5%92%8c%e6%a1%86%e6%9e%b6" class="header-anchor"></a>【Github】项目名：crawlab – 分布式爬虫管理平台，支持多语言和框架 </h2><h3 id="项目简介"><a href="#%e9%a1%b9%e7%9b%ae%e7%ae%80%e4%bb%8b" class="header-anchor"></a>项目简介 </h3><p>Crawlab是一个基于Golang的分布式爬虫管理平台。它支持多种编程语言，包括Python、NodeJS、Go、Java、PHP等，也支持各种爬虫框架，如Scrapy、Puppeteer、Selenium等。其架构由主节点、工作节点、SeaweedFS（分布式文件系统）和MongoDB数据库组成，前端应用与主节点交互，主节点与其他组件通信，任务由主节点中的任务调度模块安排，工作节点中的任务处理模块接收并执行任务。</p> https://linkedbus.com/sites/21561.html Fri, 06 Dec 2024 00:00:00 +0800 https://linkedbus.com/sites/21561.html <img src="https://linkedbus.com/uploads/linkedbus.com/favicon/1733218100-images.png" alt="Featured image of post IPProxyTool：python爬虫抓取免费代理IP并提取有效IP" /><p class="site-visit"><a href="https://github.com/awolfly9/IPProxyTool" target="_blank" rel="noopener nofollow">访问官网 →</a></p> <h2 id="github项目名ipproxytoolpython爬虫抓取免费代理ip并提取有效ip"><a href="#github%e9%a1%b9%e7%9b%ae%e5%90%8dipproxytoolpython%e7%88%ac%e8%99%ab%e6%8a%93%e5%8f%96%e5%85%8d%e8%b4%b9%e4%bb%a3%e7%90%86ip%e5%b9%b6%e6%8f%90%e5%8f%96%e6%9c%89%e6%95%88ip" class="header-anchor"></a>【Github】项目名：IPProxyTool：python爬虫抓取免费代理IP并提取有效IP </h2><h3 id="一项目简介"><a href="#%e4%b8%80%e9%a1%b9%e7%9b%ae%e7%ae%80%e4%bb%8b" class="header-anchor"></a>一、项目简介 </h3><p>IPProxyTool是一个用Python编写的工具，它使用Scrapy爬虫来抓取代理网站，从而获取大量的免费代理IP。之后会对这些IP进行过滤，将所有可用的IP提取出来并存入数据库，以备后续使用。</p>