Skip to content

python爬虫学习,爬了乐高官网的说明书,给自己写点用得上的东西

Notifications You must be signed in to change notification settings

mountain369/GetLegoManual

 
 

Folders and files

NameName
Last commit message
Last commit date

Latest commit

 

History

8 Commits
 
 
 
 
 
 

Repository files navigation

GetLegoManual

python爬虫学习,第一次写,能用而已,随心情也许会优化,一般来说都抓完了估计懒得动

爬取了 https://www.lego.com/zh-cn/service/buildinginstructions 所有说明书的白底官图和V29的PDF,没有V29的就把其他格式的都抓了,最近更新后基本没有缺图或者pdf的情况。目前只做了单线程,其实可以多个一起,主要是方便debug。目前lego官网抓包还是很友好的。如果开多线程不清楚

拿去直接用的亲,抓出来总共需要83G硬盘,整整8~10个钟头,玩的愉快

python我是小白,目前廖雪峰的教程断断续续刚看完常用内置函数,欢迎大牛留下review comment。

About

python爬虫学习,爬了乐高官网的说明书,给自己写点用得上的东西

Resources

Stars

Watchers

Forks

Releases

No releases published

Packages

No packages published

Languages

  • Python 100.0%