python--使用beautifulsoup爬取香园论坛

66 阅读 0 评论 44 点赞

我是靠谱客的博主清新帽子，最近开发中收集的这篇文章主要介绍python--使用beautifulsoup爬取香园论坛，觉得挺不错的，现在分享给大家，希望可以做个参考。

概述

一、beautifulsoup介绍

beautifulsoup是用Python写的一个HTML/XML的解析器，它可以很好的处理不规范标记并生成剖析树(parse tree)。它提供简单又常用的导航（navigating），搜索以及修改剖析树的操作。它可以大大节省你的编程时间。

python3导入BeautifulSoup：from bs4 import BeautifulSoup

举例：

from bs4 import BeautifulSoup

html = "<html><p>Para 1<p>Para 2<blockquote>Quote 1<blockquote>Quote 2"
soup = BeautifulSoup(html,'html.parser')
print(soup) #输出响应的html对象
print(soup.prettify()) #使用prettify()格式化输出
print(soup.blockquote) #输出blockquote标签的内容

结果：

<html><p>Para 1<p>Para 2<blockquote>Quote 1<blockquote>Quote 2</blockquote></blockquote></p></p></html>
<html>
 <p>
  Para 1
  <p>
   Para 2
   <blockquote>
    Quote 1
    <blockquote>
     Quote 2
    </blockquote>
   </blockquote>
  </p>
 </p>
</html>
<blockquote>Quote 1<blockquote>Quote 2</blockquote></blockquote>

二、使用beautifulsoup提取下面丁香园论坛的特定帖子的所有回复内容，以及回复人的信息。
代码示例：

from bs4 import BeautifulSoup
import requests

# html = "<html><p>Para 1<p>Para 2<blockquote>Quote 1<blockquote>Quote 2"
# soup = BeautifulSoup(html,'html.parser')
# print(soup) #输出响应的html对象
# print(soup.prettify()) #使用prettify()格式化输出
# print(soup.blockquote) #输出blockquote标签的内容

def dx_reply():
    url = 'http://www.dxy.cn/bbs/thread/626626'
    headers = {"User-Agent": "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_14_3) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/72.0.3626.119 Safari/537.36"}
    res = requests.get(url,headers=headers)
    soup = BeautifulSoup(res.text,'html.parser')
    getItem(soup)

def getItem(soup):
    datas = []
    # content = soup.find('td',class='postbody').text
    for data in soup.find_all('tbody'):
        try:
            username = data.find('div',class_='auth').get_text(strip=True)
            print(username)
            content = data.find('td',class_='postbody').get_text(strip=True)
            print(content)
            datas.append(username,content)
        except:
            pass
    print(datas)


if __name__ == '__main__':
    dx_reply()

结果：

楼医生
我遇到一个“怪”病人，向大家请教。她，42岁。反复惊吓后晕厥30余年。每次受响声惊吓后发生跌倒，短暂意识丧失。无逆行性遗忘，无抽搐，无口吐白沫，无大小便失禁。多次跌倒致外伤。婴儿时有惊厥史。入院查体无殊。ECG、24小时动态心电图无殊；头颅MRI示小软化灶；脑电图无殊。入院后有数次类似发作。请问该患者该做何诊断，还需做什么检查，治疗方案怎样？
lion000
从发作的症状上比较符合血管迷走神经性晕厥，直立倾斜试验能协助诊断。在行直立倾斜实验前应该做常规的体格检查、ECG、UCG、holter和X-ray胸片除外器质性心脏病。贴一篇“口服氨酰心安和依那普利治疗血管迷走性晕厥的疗效观察”作者：林文华 任自文 丁燕生http://www.ccheart.com.cn/ccheart_site/Templates/jieru/200011/1-1.htm
xghrh
同意lion000版主的观点：如果此患者随着年龄的增长，其发作频率逐渐减少且更加支持，不知此患者有无这一特点。入院后的HOLTER及血压监测对此患者只能是一种安慰性的检查，因在这些检查过程中患者发病的机会不是太大，当然不排除正好发作的情况。对此患者应常规作直立倾斜试验，如果没有诱发出，再考虑有无可能是其他原因所致的意识障碍，如室性心动过速等，但这需要电生理尤其是心腔内电生理的检查，毕竟是有一种创伤性方法。因在外地，下面一篇文章可能对您有助，请您自己查找一下。心理应激事件诱发血管迷走性晕厥1例 ，杨峻青、吴沃栋、张瑞云，中国神经精神疾病杂志， 2002 Vol.28 No.2
keys
该例不排除精神因素导致的，因为每次均在受惊吓后出现。当然，在作出此诊断前，应完善相关检查，如头颅MIR(MRA),直立倾斜试验等。