概述
进入学生管理系统的登录页面后,笔者用的是谷歌浏览器,按F12启动开发者模式,勾选Preserve log,原因是Mysise有重定向机制,过程中的POST请求会被重定向,不勾选会看不到POST请求
Network标签是显示捕获到的信息项
登录后捕获到一个POST请求,该请求用于提交用户名和密码(用于登录的真实请求地址)
接下来用Python模拟登录需要准备三样信息,第一样是请求地址,在General中可以看到Request URL: http://class.sise.com.cn:7001/sise/login_check_login.jsp
第二样是请求头,Request Headers(包含各种属性),第三样是POST请求提交的表单(携带 用户名和密码等信息)
其中表单中有5个参数,第一个b74ecf92e26768c545bd2fac91220e5a:77d26418c74a62efa70938589ecb0ab9 是浏览器生成的,不同电脑登录会产生不同参数,是一个32长度的随机码,该随机码用于验证是否允许登录,random和token可以不需要也能模拟登录成功,接下来的两个就是用户名和密码了
所以我们第一件事要做的是获取随机码,构建完整的登录表单,在获取随机码前先讲一下cookie
什么是cookie:
当用户通过浏览器首次访问一个域名时,访问的Web服务器会给客户端发送数据,以保持Web服务器与客户端之间的状态,这些数据就是Cookie。
它是站点创建的,为了辨别用户身份而储存在用户本地终端上的数据,其中的信息一般都是经过加密的,存在缓存或硬盘中,在硬盘中是一些小文本文件。
当访问该网站时,就会读取对应网站的Cookie信息。
作用:记录不同用户的访问状态。
构建支持cookie的opener对象import urllib,urllib2
import cookielib
#设置cookie
c = cookielib.LWPCookieJar()
#设置cookie处理器
cookie = urllib2.HTTPCookieProcessor(c)
#设置登录时用到的opener,它的open方法相当于urllib2.urlopen(不过是带cookie的
urllib2.urlopen
)
opener = urllib2.build_opener(cookie,urllib2.HTTPHandler)
#安装不同的opener对象作为urlopen()使用的全局opener。
urllib2.install_opener(opener)
准备三样信息#请求地址
path="http://class.sise.com.cn:7001/sise/login_check_login.jsp"
#表单
[ username ]
[ password ]填写具体的信息 或者可以写成函数,通过传参进行构建 需要用字典的格式来构建表单
data={
'username':'[
username
]',
'password':'[
password
]',
}
#浏览器请求头 作用:伪装浏览器访问 也需要用字典的格式构建
headers={
'Host': 'class.sise.com.cn:7001',
'Content-Type': 'application/x-www-form-urlencoded',
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/61.0.3163.100 Safari/537.36',
'Referer': 'http://class.sise.com.cn:7001/sise/',
'Accept-Encoding': 'gzip, deflate',
'Accept-Language': 'zh-CN,zh;q=0.8'
}
下面开始获取随机码,需要利用opener对象中的open函数打开登录页面 http://class.sise.com.cn:7001/sise/hidden_html = opener.open('http://class.sise.com.cn:7001/sise/').read()
#利用字符串查找和字符串索引提取关键字
hidden_html = hidden_html[hidden_html.find('
name = hidden_html[hidden_html.find('name="')+len('name="'):hidden_html.find('name="')+len('name="')+32]
value = hidden_html[hidden_html.find('value="')+len('value="'):hidden_html.find('value="')+len('value="')+32]
#提取后加入data表单
data[name]=value
最后开始登录#建立了一个Request对象来明确指明想要获取的url
req = urllib2.Request(path)
#加入浏览器请求头信息
req.headers = headers
#
对表单字典进行数据编码
data = urllib.urlencode(data)
html = urllib2.urlopen(req, data=data)
查看html的内容可以看出是否登录成功print html.read()
成功登录输出信息:
按下F12,正常访问课表页面,浏览器捕获到访问课表的真实地址
html_class = opener.open('http://class.sise.com.cn:7001/sise/module/student_schedular/student_schedular.jsp').read() #获取课表页面
print html_class
具体课程信息提取看各位自由发挥
最后
以上就是飞快秋天为你收集整理的python输出学生信息_记录Python模拟登录爬取Mysise学生管理系统的信息的全部内容,希望文章能够帮你解决python输出学生信息_记录Python模拟登录爬取Mysise学生管理系统的信息所遇到的程序开发问题。
如果觉得靠谱客网站的内容还不错,欢迎将靠谱客网站推荐给程序员好友。
发表评论 取消回复