news 2026/7/7 1:53:41

爬取某网站的小说名(pyquery)

作者头像

张小明

前端开发工程师

1.2k 24
文章封面图
爬取某网站的小说名(pyquery)

这个代码短且简单,主要就是展示一下pyquery的用法

代码就这么长,连三十行都不到,虽然简单,但我还是巨详细的说说

一、发送请求

第一步依然是发送请求,但在发送请求之前,我们爬取的这个小说网站有好多页小说,所以限制一下,就爬取前5页的,于是就需要for循环,就是下面这句

for i inrange(1, 6): url = f"https://b.faloo.com/y_0_0_0_0_6_1_{i}.html"

接着那句时伪装头,这句伪装头也可以放在for循环外边,主要是把python解释器伪装成浏览器,然后发送请求,不然服务器那边识别到你是python解释器发送的请求,就不给你响应,下面这句就是发送请求

response= requests.get(url,headers=headers)

,然后获得响应(response),话是这样说的,但你发送请求后,人家服务器那边到底有没有给你响应,你是不是需要验证一下,就是下面这句

if response.status_code==200:

二、解析网页

如果服务器那边给你回应了,那状态码就是200,接着就可以拿这pyquer对响应的HTML进行解析

html =pq(response.text)

三、定位

解析后就可以,对小说名称的位置进行定位,就是下面这句

items= html("div > div > div> h1").items()

依旧用的是CSS选择器,后面的items()方法时让items,变成一个可迭代对象,方便后面获取文档

四、获取内容并输出

foritem in items: # 小说名print(item.text())

既然上面已经说到items已经变成可迭代对象,那就进行遍历,遍历后的内容还不是需要的文档,还是HTML,需要用到text()方法,获取文档,然后输出,就行了

五、结果展示

当然五页的内容不止这些,这只是截了一部分

版权声明: 本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若内容造成侵权/违法违规/事实不符,请联系邮箱:809451989@qq.com进行投诉反馈,一经查实,立即删除!
网站建设 2026/7/7 11:02:39

invoke 方式访问dubbo接口

# 1. 连接 Dubbo 服务提供者(IP:端口,默认 Dubbo 端口 20880) telnet 127.0.0.1 20880 # 2. 执行 invoke 调用(核心命令) invoke 接口全类名.方法名(参数)# 1. 连接服务 telnet 127.0.0.1 20880# 2. 调用无参方法 invo…

作者头像 李华
网站建设 2026/7/7 4:28:39

YashanDB数据库的多维扩展能力与性能提升路径

YashanDB 是一个多维数据库,旨在支持高效地处理和分析多维数据。其多维扩展能力和性能提升路径可以从以下几个方面进行探讨:多维扩展能力1. 分布式架构:- YashanDB 采用分布式存储和计算架构,可以按需增加节点,实现横向…

作者头像 李华
网站建设 2026/7/7 14:27:45

从零开始学算法——链表篇3:合并两个有序链表 + 两数相加

在链表类算法题中,我们经常听到“虚拟头节点”或“哑节点”(Dummy Node)这个概念。很多初学者往往是照猫画虎,看别人用了也就跟着用。其实可以 简单总结为“只有需要对头节点的前一个节点进行操作的时候,才需要用 dumm…

作者头像 李华
网站建设 2026/7/7 9:50:32

基于WEB的多媒体素材管理库的开发与应用任务书

高等学历继续教育毕业论文(设计)任务书姓名学号院系继续教育学院专业、班级毕业论文(设计)题目指导老师姓名毕业论文(设计)的基本要求研究背景与意义:阐述多媒体素材管理库在现代教育、企业培训…

作者头像 李华
网站建设 2026/7/7 19:41:23

GBase 8a Load使用hadoop+Kerberos环境操作全流程介绍

1.环境准备主机信息IP:192.168.195.110 主机名:mjmhadoop新建hadoop用户[rootmjmhadoop ~]$ useradd mjmos [rootmjmhadoop ~]$ passwd mjmos目录准备[rootmjmhadoop ~]$ chown -R mjmos:mjmos /opt/ [rootmjmhadoop ~]$ su - mjmos [mjmosmjmhadoop ~]$…

作者头像 李华