过年回来要做的第一件事

过年回来的第一件事就是要重构自己的招聘信息爬虫。虽然我之前的爬虫写的也还好，但是只是简单爬取了基本的招聘信息，没有实现更多的需求。对新的爬虫有以下几点需求：

1. 将我写的爬虫+Scrapy结合起来，必须把详细招聘信息爬取出来；

2. 要加反爬虫机制，IP代理，请求头，学会selenium+phJS；

3. 要将信息按不用分类形式用图表展示出来；

4. 用API将原始数据推送到线上MySQL数据库；

5. 要利用好Redis和MongodB;

6. 要使用好进程和协程；

7. 做好统计，分析工作，而不只是简单的爬虫,试着用下Dpark；

8. 要做成软件包发布。

再说一些具体的需求（想起来就及时写上）：

1、在网站上要用jquerytable显示出来，要有不同的筛选条件。数据要用ajax提取出来。

2、招聘信息提取要按不同的地理位置分类。

--------EOF---------
微信分享/微信扫码阅读