Skip to content

第一个python爬虫:爬取顶点小说网站

Notifications You must be signed in to change notification settings

lihongyiyi/dingdian

Folders and files

NameName
Last commit message
Last commit date

Latest commit

 

History

9 Commits
 
 
 
 
 
 
 
 
 
 
 
 

Repository files navigation

dingdian

基于Scrapy框架的第一个python爬虫:爬取顶点小说网站 (在此感谢顶点小说网站, 不过学习的时候,也知道爬取会对网站服务器造成压力, 因此运行时,是限制只爬取少量数据的)

本着对python爬虫的好奇与兴趣,加上接下来工作中可能会有一些爬虫的需求,所以花了一天过了一下python基础,花一天学了一下爬虫基本教程,然后在网上发现了@崔庆才大神老师的这个篇https://cuiqingcai.com/3472.html 小白爬虫教程,比较简单易懂,在此非常感谢🙏。

然后,花了一天自己编码实践全部功能,并且正常运行(可能时间的问题, 网站的url会与老师的有一些不一样),我的第一个爬虫终于诞生啦

总结

1、yield的精髓还没掌握, 使用时,参数传错, 或最后没有return item, 导致进行不到pipelines
2、正则还没有掌握,自己总写不出来;BeautifulSoup使用还不熟
3、Mysql的占位符%()s 写成 %{}s

接下来,继续加油

About

第一个python爬虫:爬取顶点小说网站

Resources

Stars

Watchers

Forks

Releases

No releases published

Packages

No packages published

Languages