https://linkedbus.com/sitetag/%E6%A8%A1%E6%8B%9F%E7%99%BB%E5%BD%95/ Recent content in 模拟登录 on 链氪巴士 Hugo -- gohugo.io zh-CN Mon, 09 Dec 2024 14:50:15 +0800 https://linkedbus.com/sites/21774.html Fri, 06 Dec 2024 00:00:00 +0800 https://linkedbus.com/sites/21774.html <img src="https://linkedbus.com/uploads/linkedbus.com/favicon/1733218100-images.png" alt="Featured image of post QueryList：渐进式PHP采集框架" /><p class="site-visit"><a href="https://github.com/jae-jae/QueryList" target="_blank" rel="noopener nofollow">访问官网 →</a></p> <h2 id="github项目名querylist渐进式php采集框架"><a href="#github%e9%a1%b9%e7%9b%ae%e5%90%8dquerylist%e6%b8%90%e8%bf%9b%e5%bc%8fphp%e9%87%87%e9%9b%86%e6%a1%86%e6%9e%b6" class="header-anchor"></a>【Github】项目名：QueryList：渐进式PHP采集框架 </h2><h3 id="项目简介"><a href="#%e9%a1%b9%e7%9b%ae%e7%ae%80%e4%bb%8b" class="header-anchor"></a>项目简介 </h3><p>QueryList是一个简单、优雅、可扩展的PHP Web Scraper（采集器/爬虫），基于phpQuery。它有着和jQuery一样的CSS3 DOM选择器，相同的DOM操作API，具备通用列表爬取程序、强大的HTTP请求套件，能实现模拟登录、伪造浏览器、HTTP代理等复杂网络请求，还拥有乱码解决方案、强大的内容过滤功能、高度模块化设计、丰富的插件等特点。</p> https://linkedbus.com/sites/21890.html Fri, 06 Dec 2024 00:00:00 +0800 https://linkedbus.com/sites/21890.html <img src="https://linkedbus.com/uploads/linkedbus.com/favicon/1733218100-images.png" alt="Featured image of post weibot：微博爬虫实现模拟登录与数据抓取" /><p class="site-visit"><a href="https://github.com/Hanson/weibot" target="_blank" rel="noopener nofollow">访问官网 →</a></p> <h2 id="github项目名weibot--微博爬虫实现模拟登录与数据抓取"><a href="#github%e9%a1%b9%e7%9b%ae%e5%90%8dweibot--%e5%be%ae%e5%8d%9a%e7%88%ac%e8%99%ab%e5%ae%9e%e7%8e%b0%e6%a8%a1%e6%8b%9f%e7%99%bb%e5%bd%95%e4%b8%8e%e6%95%b0%e6%8d%ae%e6%8a%93%e5%8f%96" class="header-anchor"></a>【Github】项目名：weibot – 微博爬虫实现模拟登录与数据抓取 </h2><h3 id="一项目简介"><a href="#%e4%b8%80%e9%a1%b9%e7%9b%ae%e7%ae%80%e4%bb%8b" class="header-anchor"></a>一、项目简介 </h3><p>weibot是一个在Github上开源的项目，主要用于微博爬虫相关操作。它能够实现模拟登录微博，进而进行数据抓取。项目使用PHP语言编写，整个项目中包含了如登录、搜索、关注操作、微博的发送、评论、转发、删除等功能相关的代码示例。例如登录功能，通过设置用户名、密码、cookie存储路径等参数来实现登录并存储cookie；搜索功能可根据关键词、时间筛选等获取相关微博数据等。</p> https://linkedbus.com/sites/21321.html Thu, 05 Dec 2024 00:00:00 +0800 https://linkedbus.com/sites/21321.html <img src="https://linkedbus.com/uploads/linkedbus.com/favicon/1733218100-images.png" alt="Featured image of post Kr1s77/awesome-python-login-model：python模拟登录大型网站与简单爬虫" /><p class="site-visit"><a href="https://github.com/Kr1s77/awesome-python-login-model" target="_blank" rel="noopener nofollow">访问官网 →</a></p> <h2 id="github项目名kr1s77awesome--python--login--modelpython模拟登录大型网站与简单爬虫"><a href="#github%e9%a1%b9%e7%9b%ae%e5%90%8dkr1s77awesome--python--login--modelpython%e6%a8%a1%e6%8b%9f%e7%99%bb%e5%bd%95%e5%a4%a7%e5%9e%8b%e7%bd%91%e7%ab%99%e4%b8%8e%e7%ae%80%e5%8d%95%e7%88%ac%e8%99%ab" class="header-anchor"></a>【Github】项目名：Kr1s77/awesome – python – login – model：python模拟登录大型网站与简单爬虫 </h2><h3 id="项目简介"><a href="#%e9%a1%b9%e7%9b%ae%e7%ae%80%e4%bb%8b" class="header-anchor"></a>项目简介 </h3><p>这一项目包含python模拟登录一些大型网站的程序以及一些简单的爬虫示例。模拟登陆基本采用直接登录或者使用selenium+webdriver的方式，对于登录难度大的网站（如qq空间、bilibili等）采用selenium相对轻松。登录后可维护cookie，调用requests或scrapy进行数据采集。项目中的程序都是使用python3编写。</p>