爬虫常见问题。

1.如果遇到带有中文的url怎么办

如果URL中存在中文，而你却不对它做任何处理，他不会达到你所想的那样，因此我们需要将中文部分进行处理，要用到urllib.parse模块中的quote将中文转化成URL所需的编码，url中的中文要单独处理，不能中英文全部合在一起处理（因为一部分的特殊字符也会被处理掉）。

import urllib.parse
 
word='龙'
word=urllib.parse.quote(word)
url='https://baike.baidu.com/search/word?word=%s'%word
print(url)

2.新建文件夹

	def mkdir(path):  ##这个函数创建文件夹
		path = path.strip()
		isExists = os.path.exists(os.path.join("D:\爬虫练习\aa", path))
		if not isExists:
			print(u'建了一个名字叫做', path, u'的文件夹！')
			os.makedirs(os.path.join("D:\爬虫练习\aa", path))
			os.chdir(os.path.join("D:\爬虫练习\aa", path))  ##切换到目录
			return True
		else:
			print(u'名字叫做', path, u'的文件夹已经存在了！')
			os.chdir(os.path.join("D:\爬虫练习\aa", path))  ##切换到目录
			return False

最后

以上就是机智鼠标为你收集整理的爬虫常见问题。的全部内容，希望文章能够帮你解决爬虫常见问题。所遇到的程序开发问题。

如果觉得靠谱客网站的内容还不错，欢迎将靠谱客网站推荐给程序员好友。