1. 首页
  2. 文章中心
  3. 《Python 安全编程技术实践》

Python 多线程爬取西刺代理

116 阅读 0 评论
我是靠谱客的博主 寒冷绿草，这篇文章主要介绍Python 多线程爬取西刺代理，现在分享给大家，希望可以做个参考。

使用BeautifulSoup和requests库，我们可以构建强大的网络爬虫，从网页中获取数据并进行进一步的处理和分析。requests库提供了简洁的API，可以发送HTTP请求并获取网页的内容。而BeautifulSoup库则提供了灵活的解析工具，可以从网页的HTML或XML结构中提取数据。

通过使用requests库，我们可以发送GET请求到指定的URL，获取网页的内容。然后，将获取到的内容传递给BeautifulSoup库，使用其提供的解析器进行解析。我们可以根据网页的结构和元素选择器，使用BeautifulSoup提供的方法和函数来提取所需的数据，如标题、链接、段落等。

BeautifulSoup还支持强大的元素过滤和查找功能，例如通过标签名称、CSS选择器、正则表达式等来定位特定的元素。这样，我们可以根据需要精确地提取所需的信息，并进行进一步的处理和分析，如数据清洗、文本处理、数据挖掘等。

首先找到所有的tr标签，与class="odd"的标签，然后提取出来。

然后再依次找到tr标签里面的所有td标签，然后只提取出里面的[1,2,5,9]这四个标签的位置，其他的不提取。

最后可以写出提取单一页面的代码，提取后将其保存到文件中。

复制代码
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
import sys,re,threading
import requests,lxml
from queue import Queue
import argparse
from bs4 import BeautifulSoup

head = {"User-Agent": "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/80.0.3987.100 Safari/537.36"}

if __name__ == "__main__":
    ip_list=[]
    fp = open("SpiderAddr.json","a+",encoding="utf-8")
    url = "https://www.lyshark.cn/url/xcdl.html"
    request = requests.get(url=url,headers=head)
    soup = BeautifulSoup(request.content,"lxml")
    data = soup.find_all(name="tr",attrs={"class": re.compile("|[^odd]")})
    for item in data:
        soup_proxy = BeautifulSoup(str(item),"lxml")
        proxy_list = soup_proxy.find_all(name="td")
        for i in [1,2,5,9]:
            ip_list.append(proxy_list[i].string)
        print("[+] 爬行列表: {} 已转存".format(ip_list))
        fp.write(str(ip_list) + 'n')
        ip_list.clear()

爬取后会将文件保存为 SpiderAddr.json 格式。

最后再使用另一段代码，将其转换为一个SSR代理工具直接能识别的格式，{‘http’: ‘http://119.101.112.31:9999’}

复制代码
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
import sys,re,threading
import requests,lxml
from queue import Queue
import argparse
from bs4 import BeautifulSoup

if __name__ == "__main__":
    result = []
    fp = open("SpiderAddr.json","r")
    data = fp.readlines()

    for item in data:
        dic = {}
        read_line = eval(item.replace("n",""))
        Protocol = read_line[2].lower()
        if Protocol == "http":
            dic[Protocol] = "http://" + read_line[0] + ":" + read_line[1]
        else:
            dic[Protocol] = "https://" + read_line[0] + ":" + read_line[1]
        result.append(dic)
        print(result)

完整多线程版代码如下所示。

复制代码
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
import sys,re,threading
import requests,lxml
from queue import Queue
import argparse
from bs4 import BeautifulSoup

head = {"User-Agent": "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/80.0.3987.100 Safari/537.36"}

class AgentSpider(threading.Thread):
    def __init__(self,queue):
        threading.Thread.__init__(self)
        self._queue = queue

    def run(self):
        ip_list=[]
        fp = open("SpiderAddr.json","a+",encoding="utf-8")
        while not self._queue.empty():
            url = self._queue.get()
            try:
                request = requests.get(url=url,headers=head)
                soup = BeautifulSoup(request.content,"lxml")
                data = soup.find_all(name="tr",attrs={"class": re.compile("|[^odd]")})
                for item in data:
                    soup_proxy = BeautifulSoup(str(item),"lxml")
                    proxy_list = soup_proxy.find_all(name="td")
                    for i in [1,2,5,9]:
                        ip_list.append(proxy_list[i].string)
                    print("[+] 爬行列表: {} 已转存".format(ip_list))
                    fp.write(str(ip_list) + 'n')
                    ip_list.clear()
            except Exception:
                pass

def StartThread(count):
    queue = Queue()
    threads = []
    for item in range(1,int(count)+1):
        url = "https://www.xicidaili.com/nn/{}".format(item)
        queue.put(url)
        print("[+] 生成爬行链接 {}".format(url))

    for item in range(count):
        threads.append(AgentSpider(queue))
    for t in threads:
        t.start()
    for t in threads:
        t.join()

# 转换函数
def ConversionAgentIP(FileName):
    result = []
    fp = open(FileName,"r")
    data = fp.readlines()

    for item in data:
        dic = {}
        read_line = eval(item.replace("n",""))
        Protocol = read_line[2].lower()
        if Protocol == "http":
            dic[Protocol] = "http://" + read_line[0] + ":" + read_line[1]
        else:
            dic[Protocol] = "https://" + read_line[0] + ":" + read_line[1]
        result.append(dic)
    return result

if __name__ == "__main__":
    parser = argparse.ArgumentParser()
    parser.add_argument("-p","--page",dest="page",help="指定爬行多少页")
    parser.add_argument("-f","--file",dest="file",help="将爬取到的结果转化为代理格式 SpiderAddr.json")
    args = parser.parse_args()
    if args.page:
        StartThread(int(args.page))
    elif args.file:
        dic = ConversionAgentIP(args.file)
        for item in dic:
            print(item)
    else:
        parser.print_help()

最后

以上就是寒冷绿草最近收集整理的关于Python 多线程爬取西刺代理的全部内容，更多相关Python内容请搜索靠谱客的其他文章。

本图文内容来源于网友提供，作为学习参考使用，或来自网络收集整理，版权属于原作者所有。
点赞(77)

相关文章

【C++练习题】学生成绩排序
【C++练习题】学生成绩排序
成绩排序 C++多排序
成绩排序 C++多排序
测试用例的设计方法——因果图
测试用例的设计方法——因果图
软件测试（三）——因果图法、判定表法、场景法等
软件测试（三）——因果图法、判定表法、场景法等
Python 多线程爬取西刺代理
Python 多线程爬取西刺代理
☆ C/C++中使用结构体数组->排序(姓名+学号+分数)
☆ C/C++中使用结构体数组->排序(姓名+学号+分数)
爬虫小白第一篇 西刺代理
爬虫小白第一篇 西刺代理
计算机国际顶级会议
计算机国际顶级会议

评论列表共有 0 条评论

立即
投稿
返回
顶部