beautiful soup 的使用方法以及标签选择筛选

下方示例为beautifulsoup的使用方式,find是找到第一个,find_all 是找到所以

#实例

import requests

from bs4 import BeautifulSoup

headers = {'User-Agent': "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.1 (KHTML, like Gecko) Chrome/22.0.1207.1 Safari/537.1"}

html = requests.get(url, headers=headers)
wb_data.encoding='utf-8' # 当所获取的文字为乱码时 转换为html编码

soup = BeautifulSoup(html.text, 'lxml')  #以上是网络获取html

soup=BeautifulSoup(open('index.html')) # 读取本地的html,加个open函数即可

print(soup.prettify())  # 用标准html 显示方法打印html



#soup.find_all()方法介绍 ,soup.find()与之基本类似,只是返回的是第一个值

find_all( name , attrs , recursive , text , **kwargs )

soup.find_all('b')  #查找所有的b标签,返回列表

soup.find_all(re.compile("^b")) # 正则表达式

soup.find_all(["a", "b"])  #传入列表参数,找到所有的a标签和b标签

soup.find_all(id='link2')  #传入id是link2的参数,Beautiful Soup会搜索每个tag的”id”属性

soup.find_all(href=re.compile("elsie")) #传入正则表达式,查找所有的href标签内容中含有 elsie 的内容

soup.find_all(href=re.compile("elsie"), id='link1') # 多层过滤,除了href进行限定之外,对id标签的内容也做了限定

soup.find_all("div", class_="sister") #最常用的查找技巧,这里之所以加‘_=’是因为‘class’不仅是html中的tag,也是python语法的关键词,其他的不用加下划线

data_soup.find_all(attrs={"data-foo": "value"}) # 针对html5里面的data- 进行的专项查找

soup.find_all(text="Elsie") # 对text内容进行查找

soup.find_all(text=["Tillie", "Elsie", "Lacie"]) # 列表形式进行查找,与上面name类似

soup.find_all(text=re.compile("Dormouse")) # 正则表达式形式,与上面类似

# get_text()方法可以用来获取内容
print (soup.select('title')[0].get_text())  # 获取第一个title标签的对应内容

下方是为获取指定位置时所用的select()方法

(1).通过标签名查找,比如 title a b table 等标签
print(soup.select(‘title’)) # <title>这是一个标题</title>
print(soup.select(‘a’))
print(soup.select(‘b’))

(2).通过类名查找
print soup.select(‘.sister’)

(3).通过id名查找
print soup.select(‘#link1’)

(4).组合查找,子标签查找
print soup.select(‘p #link1’)
print soup.select(“head > title”)

(5).属性查找
print soup.select(“head > title”)
print soup.select(“a[class=’class’]”)
print soup.select(‘a[href=”http://example.com/elsie”]’)
print soup.select(‘p a[href=”http://example.com/elsie”]’)

find()方法使用的说明
(1).组合查找
print soup.find(“span”,class_=”time”) 获取class =time的 span标签 注意class 的下划线
print soup.find(href=re.compile(“sitegroup”),target=”_blank”) 获取href 链接中有 sitegroup 且 target = “_blank” 的链接标签 此处需要 import re 模块,也就是正则模块,通常需要此处配合使用,用法比较复杂,参考下一篇文章。

get_text 获取文本内容并去除文本前后空格
soup.get_text(“|”, strip=True)

未经允许不得转载:书生吴小帅 » beautiful soup 的使用方法以及标签选择筛选

赞 (0)

评论 0

评论前必须登录!

登陆 注册