我是靠谱客的博主 飞快秋天,最近开发中收集的这篇文章主要介绍python输出学生信息_记录Python模拟登录爬取Mysise学生管理系统的信息,觉得挺不错的,现在分享给大家,希望可以做个参考。

概述

进入学生管理系统的登录页面后,笔者用的是谷歌浏览器,按F12启动开发者模式,勾选Preserve log,原因是Mysise有重定向机制,过程中的POST请求会被重定向,不勾选会看不到POST请求

Network标签是显示捕获到的信息项

3576b0d4c457

登录后捕获到一个POST请求,该请求用于提交用户名和密码(用于登录的真实请求地址)

3576b0d4c457

接下来用Python模拟登录需要准备三样信息,第一样是请求地址,在General中可以看到Request URL:  http://class.sise.com.cn:7001/sise/login_check_login.jsp

第二样是请求头,Request Headers(包含各种属性),第三样是POST请求提交的表单(携带 用户名和密码等信息)

3576b0d4c457

其中表单中有5个参数,第一个b74ecf92e26768c545bd2fac91220e5a:77d26418c74a62efa70938589ecb0ab9  是浏览器生成的,不同电脑登录会产生不同参数,是一个32长度的随机码,该随机码用于验证是否允许登录,random和token可以不需要也能模拟登录成功,接下来的两个就是用户名和密码了

所以我们第一件事要做的是获取随机码,构建完整的登录表单,在获取随机码前先讲一下cookie

什么是cookie:

当用户通过浏览器首次访问一个域名时,访问的Web服务器会给客户端发送数据,以保持Web服务器与客户端之间的状态,这些数据就是Cookie。

它是站点创建的,为了辨别用户身份而储存在用户本地终端上的数据,其中的信息一般都是经过加密的,存在缓存或硬盘中,在硬盘中是一些小文本文件。

当访问该网站时,就会读取对应网站的Cookie信息。

作用:记录不同用户的访问状态。

构建支持cookie的opener对象import urllib,urllib2

import cookielib

#设置cookie

c = cookielib.LWPCookieJar()

#设置cookie处理器

cookie = urllib2.HTTPCookieProcessor(c)

#设置登录时用到的opener,它的open方法相当于urllib2.urlopen(不过是带cookie的

urllib2.urlopen

opener = urllib2.build_opener(cookie,urllib2.HTTPHandler)

#安装不同的opener对象作为urlopen()使用的全局opener。

urllib2.install_opener(opener)

准备三样信息#请求地址

path="http://class.sise.com.cn:7001/sise/login_check_login.jsp"

#表单

[ username ]

[ password ]填写具体的信息    或者可以写成函数,通过传参进行构建   需要用字典的格式来构建表单

data={

'username':'[

username

]',

'password':'[

password

]',

}

#浏览器请求头  作用:伪装浏览器访问  也需要用字典的格式构建

headers={

'Host': 'class.sise.com.cn:7001',

'Content-Type': 'application/x-www-form-urlencoded',

'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/61.0.3163.100 Safari/537.36',

'Referer': 'http://class.sise.com.cn:7001/sise/',

'Accept-Encoding': 'gzip, deflate',

'Accept-Language': 'zh-CN,zh;q=0.8'

}

下面开始获取随机码,需要利用opener对象中的open函数打开登录页面  http://class.sise.com.cn:7001/sise/hidden_html = opener.open('http://class.sise.com.cn:7001/sise/').read()

#利用字符串查找和字符串索引提取关键字

hidden_html = hidden_html[hidden_html.find('

name = hidden_html[hidden_html.find('name="')+len('name="'):hidden_html.find('name="')+len('name="')+32]

value = hidden_html[hidden_html.find('value="')+len('value="'):hidden_html.find('value="')+len('value="')+32]

#提取后加入data表单

data[name]=value

最后开始登录#建立了一个Request对象来明确指明想要获取的url

req = urllib2.Request(path)

#加入浏览器请求头信息

req.headers = headers

#

对表单字典进行数据编码

data = urllib.urlencode(data)

html = urllib2.urlopen(req, data=data)

查看html的内容可以看出是否登录成功print html.read()

成功登录输出信息:

按下F12,正常访问课表页面,浏览器捕获到访问课表的真实地址

3576b0d4c457html_class = opener.open('http://class.sise.com.cn:7001/sise/module/student_schedular/student_schedular.jsp').read() #获取课表页面

print html_class

3576b0d4c457

具体课程信息提取看各位自由发挥

最后

以上就是飞快秋天为你收集整理的python输出学生信息_记录Python模拟登录爬取Mysise学生管理系统的信息的全部内容,希望文章能够帮你解决python输出学生信息_记录Python模拟登录爬取Mysise学生管理系统的信息所遇到的程序开发问题。

如果觉得靠谱客网站的内容还不错,欢迎将靠谱客网站推荐给程序员好友。

本图文内容来源于网友提供,作为学习参考使用,或来自网络收集整理,版权属于原作者所有。
点赞(38)

评论列表共有 0 条评论

立即
投稿
返回
顶部