爬取搜狗首页的页面数据

75 阅读 0 评论 50 点赞

我是靠谱客的博主善良犀牛，最近开发中收集的这篇文章主要介绍爬取搜狗首页的页面数据，觉得挺不错的，现在分享给大家，希望可以做个参考。

概述

如何使用：(request模块的编码流程)
    -指定url
    -发起请求
    -获取响应数据
    -持久化存储

# 需求：爬取搜狗首页的页面数据
import requests
if __name__=='__main__':
    # 指定url
    url='https://www.sogou.com/'
    # 发起请求
    # get方法会返回一个响应对象
    response=requests.get(url=url)
    # 获取响应数据,text返回的是字符串形式的响应数据
    page_text=response.text
    print(page_text)
    # 持久化存储
    with open('./sogou.html','w',encoding='utf-8') as fp:
        fp.write(page_text)
    print('爬取数据成功!!!')