https://linkedbus.com/sitetag/%E7%88%AC%E8%99%AB%E6%A1%86%E6%9E%B6/ Recent content in 爬虫框架 on 链氪巴士 Hugo -- gohugo.io zh-CN Mon, 09 Dec 2024 14:18:37 +0800 https://linkedbus.com/sites/21931.html Fri, 06 Dec 2024 00:00:00 +0800 https://linkedbus.com/sites/21931.html <img src="https://linkedbus.com/uploads/linkedbus.com/favicon/1733218100-images.png" alt="Featured image of post bustag：给老司机用的番号推荐系统" /><p class="site-visit"><a href="https://github.com/gxtrobot/bustag" target="_blank" rel="noopener nofollow">访问官网 →</a></p> <h2 id="github项目名bustag给老司机用的番号推荐系统"><a href="#github%e9%a1%b9%e7%9b%ae%e5%90%8dbustag%e7%bb%99%e8%80%81%e5%8f%b8%e6%9c%ba%e7%94%a8%e7%9a%84%e7%95%aa%e5%8f%b7%e6%8e%a8%e8%8d%90%e7%b3%bb%e7%bb%9f" class="header-anchor"></a>【Github】项目名：bustag：给老司机用的番号推荐系统 </h2><h3 id="项目简介"><a href="#%e9%a1%b9%e7%9b%ae%e7%ae%80%e4%bb%8b" class="header-anchor"></a>项目简介 </h3><p>Bustag是一个基于python异步爬虫框架aspider开发的自动车牌（番号）推荐系统。系统定时爬取最新车牌信息，用户可对车牌打标，打标数量达到一定程度可训练生成模型，之后就能基于模型自动预测下载的车牌是否符合喜好，可过滤掉大量不喜欢的车牌，从而节约时间。</p> https://linkedbus.com/sites/21496.html Fri, 06 Dec 2024 00:00:00 +0800 https://linkedbus.com/sites/21496.html <img src="https://linkedbus.com/uploads/linkedbus.com/favicon/1733218100-images.png" alt="Featured image of post lining0806/PythonSpiderNotes：Python入门网络爬虫知识汇总" /><p class="site-visit"><a href="https://github.com/lining0806/PythonSpiderNotes" target="_blank" rel="noopener nofollow">访问官网 →</a></p> <h2 id="github项目名lining0806pythonspidernotespython入门网络爬虫知识汇总"><a href="#github%e9%a1%b9%e7%9b%ae%e5%90%8dlining0806pythonspidernotespython%e5%85%a5%e9%97%a8%e7%bd%91%e7%bb%9c%e7%88%ac%e8%99%ab%e7%9f%a5%e8%af%86%e6%b1%87%e6%80%bb" class="header-anchor"></a>【Github】项目名：lining0806/PythonSpiderNotes：Python入门网络爬虫知识汇总 </h2><h3 id="项目简介"><a href="#%e9%a1%b9%e7%9b%ae%e7%ae%80%e4%bb%8b" class="header-anchor"></a>项目简介 </h3><p>这是一个关于Python入门网络爬虫知识的项目。涵盖网络爬虫的抓取、分析、存储三大板块内容，对常用的爬虫框架Scrapy也有详细介绍，还包含如处理登陆情况、反爬虫机制、Ajax请求、验证码识别等多方面知识以及相关参考项目。</p> https://linkedbus.com/sites/21573.html Fri, 06 Dec 2024 00:00:00 +0800 https://linkedbus.com/sites/21573.html <img src="https://linkedbus.com/uploads/linkedbus.com/favicon/1733218100-images.png" alt="Featured image of post PSpider：简单易用的Python爬虫框架" /><p class="site-visit"><a href="https://github.com/xianhu/PSpider" target="_blank" rel="noopener nofollow">访问官网 →</a></p> <h2 id="github项目名pspider--简单易用的python爬虫框架"><a href="#github%e9%a1%b9%e7%9b%ae%e5%90%8dpspider--%e7%ae%80%e5%8d%95%e6%98%93%e7%94%a8%e7%9a%84python%e7%88%ac%e8%99%ab%e6%a1%86%e6%9e%b6" class="header-anchor"></a>【Github】项目名：PSpider – 简单易用的Python爬虫框架 </h2><h3 id="项目简介"><a href="#%e9%a1%b9%e7%9b%ae%e7%ae%80%e4%bb%8b" class="header-anchor"></a>项目简介 </h3><p>PSpider是一个用Python编写的简单易用的网络爬虫框架，需要Python3.8及以上版本。它具有一些特性，例如支持多线程爬取模式（使用threading），支持使用代理进行爬取（结合threading和queue），并且定义了一些实用的函数和类，像UrlFilter、get_string_num等。其代码行数较少，更易于阅读、理解和扩展。该框架分为几个模块，utilities模块定义了多线程蜘蛛的实用函数和类，instances模块定义了多线程蜘蛛的Fetcher、Parser、Saver类，concurrent模块定义了多线程蜘蛛的WebSpiderFrame。</p>