我们通过Requsts.get方法得到Requests对象之后，对其中的HTML代码进行分析，已得到我们想得到的数据
一、使用Lxml库进行分析
pycharm 导入lxml库
首先得到selector对象
selector = etree.HTML(r)
之后通过Xpath进行解析
pageInfo = selector.xpath('//header[@class="listing-header"]/h1[1]/text()')
二、Xpath语法
1. 节点选取
| 表达式 |
描述 |
| nodename |
选取此节点的所有子节点 |
| / |
从根节点选取 |
| // |
相对节点选取 |
| . |
选取当前节点 |
| .. |
选取当前节点的父节点 |
| @ |
选取属性 |
| 路径表达式 |
结果 |
| bookstore |
选取bookstore元素的所有子节点。 |
| /bookstore |
选取根元素bookstore |
| bookstore/book |
选取属于bookstore的子元素的所有book元素 |
| //book |
选取所有book子元素，而不管他们在文档中的位置 |
| bookstore//book |
选择属于bookstore元素的后代的所有book元素，而不管他们位于bookstore之下的什么位置 |
| //@lang |
选取名为lang的所有属性 |
2. 谓语
| 路径表达式 |
结果 |
| /bookstore/book[1] |
选取属于bookstore子元素的第一个book元素 |
| /bookstore/book[last()] |
选取属于bookstore子元素的最后一个book元素 |
| /bookstore/book[last()-1] |
选取属于bookstore子元素的倒数第二个book元素 |
| /bookstore/book[position()<3] |
选取最前面的两个属于 bookstore 元素的子元素的 book 元素。 |
| //title[@lang] |
选取所有拥有名为 lang 的属性的 title 元素。 |
| //title[@lang='eng'] |
选取所有 title 元素，且这些元素拥有值为 eng 的 lang 属性。 |
| /bookstore/book[price>35.00] |
选取 bookstore 元素的所有 book 元素，且其中的 price 元素的值须大于 35.00。 |
| /bookstore/book[price>35.00]/title |
选取 bookstore 元素中的 book 元素的所有 title 元素，且其中的 price 元素的值须大于 35.00。 |
3. 选取未知节点
| 通配符 |
描述 |
| * |
匹配任何元素节点。 |
| @* |
匹配任何属性节点。 |
| node() |
匹配任何类型的节点。 |
| 路径表达式 |
结果 |
| /bookstore/* |
选取 bookstore 元素的所有子元素。 |
| //* |
选取文档中的所有元素。 |
| //title[@*] |
选取所有带有属性的 title 元素。 |
4. 选取若干路径
通过在路径表达式中使用“|”运算符，您可以选取若干个路径。
| 路径表达式 |
结果 |
| //book/title | //book/price |
选取 book 元素的所有 title 和 price 元素。 |
| //title | //price |
选取文档中的所有 title 和 price 元素。 |
| /bookstore/book/title | //price |
选取属于 bookstore 元素的 book 元素的所有 title 元素，以及文档中所有的 price 元素。 |
网友评论