爬虫常见问题。

75 阅读 0 评论 50 点赞

我是靠谱客的博主机智鼠标，这篇文章主要介绍爬虫常见问题。，现在分享给大家，希望可以做个参考。

1.如果遇到带有中文的url怎么办

如果URL中存在中文，而你却不对它做任何处理，他不会达到你所想的那样，因此我们需要将中文部分进行处理，要用到urllib.parse模块中的quote将中文转化成URL所需的编码，url中的中文要单独处理，不能中英文全部合在一起处理（因为一部分的特殊字符也会被处理掉）。

复制代码

1
2
3
4
5
6
7
import urllib.parse
 
word='龙'
word=urllib.parse.quote(word)
url='https://baike.baidu.com/search/word?word=%s'%word
print(url)

2.新建文件夹

复制代码

1
2
3
4
5
6
7
8
9
10
11
12
	def mkdir(path):  ##这个函数创建文件夹
		path = path.strip()
		isExists = os.path.exists(os.path.join("D:\爬虫练习\aa", path))
		if not isExists:
			print(u'建了一个名字叫做', path, u'的文件夹！')
			os.makedirs(os.path.join("D:\爬虫练习\aa", path))
			os.chdir(os.path.join("D:\爬虫练习\aa", path))  ##切换到目录
			return True
		else:
			print(u'名字叫做', path, u'的文件夹已经存在了！')
			os.chdir(os.path.join("D:\爬虫练习\aa", path))  ##切换到目录
			return False