BeautifulSoup模块的简单使用

69 阅读 0 评论 46 点赞

我是靠谱客的博主酷酷大山，最近开发中收集的这篇文章主要介绍BeautifulSoup模块的简单使用，觉得挺不错的，现在分享给大家，希望可以做个参考。

概述

可以通过dir(BeautifulSoup.BeautifulSoup)查看其有什么函数，如果想知道某个函数的含义可以使用help(BeautifulSoup.BeautifulSoup.find)来查看其官方文档。

可以使用pprint来整输出，使用dir和help之前一定要import BeautifulSoup。

# -*- coding:utf8 -*-
import urllib
import urllib2
import BeautifulSoup
import re
htmlSource = urllib.urlopen("http://www.taobao.com/").read(200000)
soup = BeautifulSoup.BeautifulSoup(htmlSource)
#输出<head>...</head>
print soup.head
#输出<title>...</title>
print soup.head.title
#会返回一个列表，每个列表元素都是<a>...</a>
tags = soup.findAll('a')
print tags
print '京东放养的爬虫'
#取<a></a>中间包含的元素，如果有href则输出
for item in soup.fetch('a',href=True):
print item['href']
#找到所有的<a></a>,如果其中href元素中含有taobao则输出
for a in soup.findAll('a',href=True):
if re.findall('taobao', a['href']):
print "Found the URL:", a['href']
#输出<div></div>中间class属性等于J_Tanx mod，只输出第一个
print str(soup.find("div",{"class":"J_Tanx mod"}))