利用scrapy框架爬取互动百科的词条--存成json
最近课程作业需要爬取互动百科的词条,花了一周时间先学习了一点scrapy,利用该框架写了一个简单的爬虫 scrapy框架学习:Scrapy入门教程 首先看一下题目的要求: 1.首先实现了一个自动爬取互动百科词条页面的爬虫程序获取百科页面数据。根据互动百科的分类页面来获取对应分类下的所有词条页面。 2.为了构建知识,可以利用百科词条页面结构抽取出了互动百科的中的结构化知识。