美文网首页Python爬虫作业
2017/4/22 一周复盘

2017/4/22 一周复盘

作者: Carpe | 来源:发表于2017-04-22 13:20 被阅读46次

在这一周里的学习了哪些东西?

在这一周里围绕一个小的练手项目写了四篇

作业内容
抓取简书七日热门数据,如果有时间加以分析http://www.jianshu.com/trending/weekly
爬取数据字段:
1.用户
2.标题
3.阅读量
4.评论量
5.获赞量
6.打赏数
7.文章发表时间
(文章类别,来自哪个专题。选做)
数据保存为CSV或Excel

第一篇文章

2017/4/18爬虫作业
在第一篇文章中主要是运用了单线程来编写脚本,主要涉及的内容有异步加载,数据的获取,数据的写入

第二篇文章

2017/4/19爬虫作业
在第二篇文章中,学习了一点scrapy,xpath, 把之前的单线程爬虫改成了用scrapy框架实现的多线程爬虫,以及对BeautifulSoup和Xpath进行了对比。

第三篇文章

2017/4/20 scrapy response
在第三篇文章中所记录的,学习任务是获取每篇文章的被收录的专题,和一些更具体的内容,在这一过程中,对scrapy进一步的了解,针对于如何获取链接和跳转到该链接爬取的,深度为2的网页的爬取,对于scrapy的原理,response的传递,start_request的构建有了一点了解,以及对于特殊的数据获取---json的解析。

第四篇文章

2017/4/21 七日热门数据分析
在这一天中的学习内容是对于七日热门进行了简略地分析,所涉及的知识点是Jieba分词的简单运用,以及对一些数据进行更加合理的处理对比。

大致总结

一周里自己所学习的深度还是不够,只是停留在如何用,至于其原理并没有去理解,用得都是稀里糊涂。对比了一下,看似一开始去探究原理很费时间,也不能很好地理解,还不如直接用,省时间,但是越到后面,不理解原理越做就越空,反而花了很多时间还是无法去解决所面临的问题。

相关文章

  • 2017/4/22 一周复盘

    在这一周里的学习了哪些东西? 在这一周里围绕一个小的练手项目写了四篇 作业内容抓取简书七日热门数据,如果有时间加以...

  • 领导力导师班第一周复盘

    时间: 2021/4/23 22:00-22:40参与人: 小哈教练,春姬教练,娇元教练主题: 复盘第一周(4/1...

  • 兔兔*早睡早起打卡

    【早睡*复盘】20211004-1010 一周复盘,小米手环记录,精准的监督员 ✔️早睡22:00之前,四天22:...

  • 我从哪里来?

    2017年12月22日我看到宛不大的2017年年终复盘《成长|2017年个人年末复盘,这不是结束,是新的开始》,才...

  • 2017.4.29 XDFTMC官员会议记录 (官员版)

    议题:NMO、官员继任与助理、会员数量、今日会议复盘时间:2017年4月29日(星期六) 21:20-22:30地...

  • 怡然-秋林组-第三周第三次作业-20170607

    事后复盘,持续精进的重要法门 22-4 古典 1. 什么是复盘? “复盘”本来是围棋术语。对弈之后,棋手们通常会把...

  • 【5】自我复盘

    复盘事件:发平台 复盘时间:2018年11月22日 回顾目标:发平台吸引粉丝并实现盈利 叙述过程:2017年10月...

  • Week22 简单忙碌的一周

    Week22 简单忙碌的一周 1 收到萌薇姐新书,Like推荐 2 爱好营复盘很精彩 3 阅读1本 4 轻社群更新...

  • 2019/4/8-2019/4/14 周复盘之《 玩转周复盘的一

    2019/4/8-2019/4/14 周复盘之《 玩转周复盘的一周》 人生没有白走的路,每一步都算数。 一、【我的...

  • 我的复盘

    2017.11.26 复盘day4 莉子 今天在早晨思考自己的这一周,做个小复盘。这一周整体来说比较满意。 1.课...

网友评论

    本文标题:2017/4/22 一周复盘

    本文链接:https://www.haomeiwen.com/subject/pelszttx.html