美文网首页
爬虫07day

爬虫07day

作者: 迷路了吗_67f1 | 来源:发表于2019-02-24 20:00 被阅读0次
什么是pyquery?

是jquery的python的python实现,同样可以从html文档中提取数据 ,易用性和解读行都很好。

find(selector) : 使用css选择器查找
filter(selector) : 根据id或者class过滤节点
直接对pyquery对象使用css选择器查找节点
.eq(index) : 根据索引获取指定的节点(从0开始)
.text(): 获取节点的文本
.attr('属性名') :获取节点的属性

队列的使用:

在线程中多用队列作为数据交换的方式,因为队列是线程安全的,python原声的lits,dict是非线程安全的,需要跟线程锁配合使用,所以正式因为队列是线程安全的,所以在线程中多用队列作为数据交换的方式

print(que.full()) #判断队列是否满了
print(que.empty()) #判断队列是否为空
print(que.qsize()) #获取大小
put()方法往队列中存值
maxsize设置队列存放数据的最大值
lock = threading.Lock() 创建锁
lock.acquire() 加锁
lock.release() 解锁

创建线程

target:线程要执行的目标函数
name:给线程起一个名称
args:传参数(元组)
kwargs:传参数(字典)

创建线程锁:

保护资源,添加了线程锁之后,同一时刻只能有一个线程在修改资源

相关文章

  • 爬虫07day

    什么是pyquery? 是jquery的python的python实现,同样可以从html文档中提取数据 ,易用性...

  • 07day

    CSS3动画 CSS3 @keyframes 规则如需在 CSS3 中创建动画,您需要学习 @keyframes ...

  • 网页07day

    表格:使用table标签创建一个表格。tr表示表格中的一行。tr中可以编写一个或多个th或td。th表示表头。td...

  • 前端07day

    高度塌陷: 块元素默认父亲宽,高度由内容撑开父元素高度由子元素撑开浮动后塌陷 解决高度塌陷: BFC 1.父元素的...

  • 2019-03-09

    #9234 小花猫 07day 作业#小红书训练营# 1.选择一篇爆款笔记进行拆解选题、标题、内容的结构,并把拆解...

  • 11.20-11.26

    本周目标 爬虫 爬虫 爬虫 爬虫

  • 爬虫入门基础

    Day01 一、爬虫介绍 什么是爬虫 Python爬虫的优势 Python爬虫需要掌握什么 爬虫与反爬虫与反反爬虫...

  • 01-认识爬虫

    一、爬虫介绍 什么是爬虫 Python爬虫的优势 Python爬虫需要掌握什么 爬虫与反爬虫与反反爬虫三角之争 网...

  • 爬虫原理与数据抓取之一: 通用爬虫和聚焦爬虫

    通用爬虫和聚焦爬虫 根据使用场景,网络爬虫可分为 通用爬虫 和 聚焦爬虫 两种. 通用爬虫 通用网络爬虫 是 捜索...

  • (了解)通用爬虫和聚焦爬虫--爬虫基础教程(python)(二)

    通用爬虫和聚焦爬虫 根据使用场景,网络爬虫可分为 通用爬虫 和 聚焦爬虫 两种.我们主要写通用爬虫。 通用爬虫 通...

网友评论

      本文标题:爬虫07day

      本文链接:https://www.haomeiwen.com/subject/klibyqtx.html