QoungYoung / 58TC Public

Notifications You must be signed in to change notification settings
Fork 0
Star 3

爬虫获取58同城全部岗位并进行数据清洗与报表生成

3 stars 0 forks Branches Tags Activity

Notifications

Name		Name	Last commit message	Last commit date
Latest commit History 7 Commits
.gitattributes		.gitattributes
.gitignore		.gitignore
58tongcheng.py		58tongcheng.py
README.md		README.md
init.py		init.py

Repository files navigation

爬虫获取58同城全部岗位招聘信息并进行数据清洗制作报表

如何使用？

首先打开init.py获取代理池

然后打开58tongcheng.py，默认获取5550条数据（理论足够，可自行修改），之后设置一下获取代理池的位置，点击运行即可生成报表

应用到的技术

xpath
简单的爬虫请求和伪装User-Agent
代理池
简单的等待反爬机制

About

爬虫获取58同城全部岗位并进行数据清洗与报表生成

Report repository

Releases

No releases published

Packages

No packages published

Languages

Python 100.0%