概述
js2py简介
js2py安装库现在写爬虫很多的网站都开始用js 加密技术了,所以这个库必须要学的。
Python中执⾏JS代码,通常两个库:js2py,pyexecjs
js2py是纯python实现的库,⽤于在python中运⾏js代码,本质上是将js代码翻 译成python代码 js2py安装
pip install js2py
import js2py
js2py.eval_js('console.log("hello python, I am js2py")')
func_js = '''
function subtraction(a,b)
{
return a-b
}
'''
add = js2py.eval_js(func_js)
print(add(200, 2))
#'hello python, I am js2py'
#198
js代码翻译
翻译js函数
print(js2py.translate_js('console.log("hello python, I am js2py")'))
# from js2py.pyjs import *
# # setting scope
# var = Scope( JS_BUILTINS )
# set_global_object(var)
#
# # Code follows:
# var.registers([])
# var.get('console').callprop('log', Js('hello python, I am js2py'))
翻译js文件
js文件
function(){
console.debug("welcome to Python world");
}
js2py.translate_file('test.js', 'test.py')
Selenium
Selenium 是一个用于Web应用程序测试的工具。Selenium测试直接运行在浏览器中,就像真正的用户在操作一样。
driver是一个驱动浏览器的驱动程序,针对不同的浏览器有不同的driver。以下列出了不同浏览器及其对应的driver:
Chrome: https://sites.google.com/a/chromium.org/chromedriver/download s
Firefox:https://github.com/mozilla/geckodriver/releases
下载chromedriver
百度搜索:淘宝镜像(https://npm.taobao.org/
安装总结:https://www.jianshu.com/p/a383e8970135
安装Selenium:
pip install selenium
PhantomJS快速使用
PhantomJS是一个可编程的无头浏览器.
无头浏览器:一个完整的浏览器内核,包括js解析引擎,渲染引擎,请求处理等,但是不包括显示和用户交互页面的浏览器。
from selenium import webdriver
import time
# 建议最好把驱动放在当前的文件夹中
driver = webdriver.PhantomJS('../phantomjs.exe')
# 打开百度(无界面浏览器)
driver.get('https://www.baidu.com/')
#截屏
#driver.save_screenshot('baidu.png')
#定位到搜索框
#driver.find_element_by_name('wd').send_keys('phantomjs')
driver.find_element_by_id('kw').send_keys('phantomjs实例')
#driver.save_screenshot('baidu.png')
#定位到百度的搜索按钮,然后点击
#driver.find_element_by_class_name('bg s_btn').click()
#driver.find_element_by_class_name('s_btn').click()
driver.find_element_by_id('su').click()
time.sleep(2)
#截屏
#driver.save_screenshot('../baidu.png')
#查看网页源代码
#print(driver.page_source)
#请求的url
print(driver.current_url)
#https://www.baidu.com/s?ie=utf-8&f=8&rsv_bp=1&rsv_idx=1&tn=baidu&wd=phantomjs%E5%AE%9E%E4%BE%8B&fenlei=256&rsv_pq=ac3bee8a00000254&rsv_t=81361WAJo1Xb5DvmNTmx56dvO9Rxs76DDd0Z6kd47w8Roqx1c1J9APbn6Qs&rqlang=cn&rsv_enter=0&rsv_dl=ib&rsv_sug3=11&rsv_btype=i&inputT=130&rsv_sug4=130
selenium使用
selenium定位
表达式 | 解释 |
---|---|
find_element_by_id | 根据id来查找某个元素 |
find_element_by_class_name | 根据类名查找元素 |
find_element_by_name | 根据name属性的值来查找元素 |
find_element_by_tag_name | 根据标签名来查找元素 |
find_element_by_xpath | 根据xpath语法来获取元素 |
find_element_by_css_selector | 根据css选择器选择元素 |
要注意,find_element是获取第一个满?条件的元素。find_elements 是获取所有满足条件的元素
rom selenium import webdriver
import time
#方法二
from selenium.webdriver.common.by import By
driver = webdriver.Chrome()
# 打开百度
driver.get('https://www.baidu.com/')
# #窗口最大化
# driver.maximize_window()
#
# time.sleep(2)
#
# #窗口最小化
# driver.minimize_window()
# time.sleep(2)
# #关闭窗口
# driver.close()
driver.maximize_window()
#driver.find_element_by_name('wd').send_keys('Chrome使用')
#driver.find_element_by_id('kw').send_keys('Chrome教程')
#方法二
#driver.find_element(By.ID,'kw').send_keys('Chrome使用')
#driver.find_element_by_class_name('s_ipt').send_keys('Chrome例子')
#driver.find_element(By.CLASS_NAME,'s_ipt').send_keys('Chrome知识')
#driver.find_element_by_xpath('//input[@id="kw"]').send_keys('xpath')
#可以通过右键网页“检查”功能中的Elements定位到目标位置,然后右键copy相关内容
#driver.find_element_by_xpath('//*[@id="kw"]').send_keys('xpath copy')
# .表示class , #表示id
#driver.find_element_by_css_selector('#kw').send_keys('css_selector')
#driver.find_element(By.CSS_SELECTOR,'#kw').send_keys('By css_selector')
input_elements = driver.find_elements_by_tag_name('input')
print(input_elements,len(input_elements))
#关闭浏览器
#driver.close()
操作checkbox
from selenium import webdriver
import time
driver = webdriver.Chrome()
from selenium.webdriver.support.ui import Select
driver.get('https://www.17sucai.com/pins/demo-show?id=5926')
#check_box_e = driver.find_element_by_name('country-wrap')
#selenium.common.exceptions.NoSuchElementException: Message: no such element:
#原因是iframe
#https://www.17sucai.com/preview/157524/2014-07-08/jQuery自定义下拉菜单插件dropkick/index.html
#解决方法就必须切换到ifram里面
#time.sleep(3)
driver.switch_to_frame(driver.find_element_by_id('iframe'))
#driver.switch_to.frame(driver.find_element_by_id('iframe'))
# 找到下拉框
check_box_e = Select(driver.find_element_by_name('country-wrap'))
#选择方式
#1.根据值来选择
check_box_e.select_by_value('AU')
time.sleep(1)
#2.根据索引来选择
check_box_e.select_by_index(3)
from selenium import webdriver
import time
driver = webdriver.Chrome()
driver.get('https://www.douban.com/')
#ifrname_sel = driver.find_element_by_css_selector('#anony-reg-new > div > div.login > iframe')
#ifrname_sel = driver.find_element_by_xpath('//*[@id="anony-reg-new"]/div/div[1]/iframe')
ifrname_sel = driver.find_element_by_xpath('//div[@class="login"]/iframe')
#切换到密码登录
driver.switch_to.frame(ifrname_sel)
#print(driver.page_source)
time.sleep(2)
#print(driver.current_url)
pass_login = driver.find_element_by_xpath('//li[@class="account-tab-account"]')
pass_login.click()
username = driver.find_element_by_id('username')
username.send_keys('1234567890')
password = driver.find_element_by_id('password')
password.send_keys('abc12345678')
auto_login = driver.find_element_by_name('remember')
auto_login.click()
练习登录豆瓣
from selenium import webdriver
import time
driver = webdriver.Chrome()
driver.get('https://www.douban.com/')
#ifrname_sel = driver.find_element_by_css_selector('#anony-reg-new > div > div.login > iframe')
#ifrname_sel = driver.find_element_by_xpath('//*[@id="anony-reg-new"]/div/div[1]/iframe')
ifrname_sel = driver.find_element_by_xpath('//div[@class="login"]/iframe')
#切换到密码登录
driver.switch_to.frame(ifrname_sel)
#print(driver.page_source)
time.sleep(2)
#print(driver.current_url)
pass_login = driver.find_element_by_xpath('//li[@class="account-tab-account"]')
pass_login.click()
username = driver.find_element_by_id('username')
username.send_keys('1234567890')
password = driver.find_element_by_id('password')
password.send_keys('abc12345678')
auto_login = driver.find_element_by_name('remember')
auto_login.click()
auto_button = driver.find_element_by_class_name('btn-account')
auto_button.click()
行为链
有时候在页面中的操作可能要有很多步,那么这时候可以使鼠标行为链类
ActionChains来完成。示例如下:
from selenium import webdriver
from selenium.webdriver.common.action_chains import ActionChains
driver = webdriver.Chrome()
driver.get('https://www.baidu.com')
#定位到输入框
input_e = driver.find_element_by_name('wd')
# input_e.send_keys('行为链')
#定位到百度按钮
btn_e = driver.find_element_by_id('su')
#btn_e.click()
#实例化行为链
actions = ActionChains(driver)
#模仿人的行为,如:
#第一步: 把鼠标移动到输入框
actions.move_to_element(input_e)
#第二步: 输入检索信息
actions.send_keys_to_element(input_e,'行为链录入')
#第三步: 点击搜索(焦点的移动)
actions.move_to_element(btn_e).click()
#第四步: 点击右键
actions.move_to_element(btn_e).context_click()
# 提交行为
actions.perform()
click_and_hold(element):点击但不松开鼠标。
context_click(element):右键点击。
double_click(element):双击。
更多方法请参考:http://selenium-python.readthedocs.io/api.html
Selenium页面等待
Cookie操作
from selenium import webdriver
driver = webdriver.Chrome()
#获取所有cookies,返回一个列表
driver.get('https://www.baidu.com/')
#print(driver.get_cookies())
# for cookie in driver.get_cookies():
# print(cookie)
#根据cookie的name获取cookie
print(driver.get_cookie('H_PS_PSSID'))
#删除某个cookie
driver.delete_cookie('H_PS_PSSID')
print(driver.get_cookie('H_PS_PSSID'))
#None
页面等待
现在的网页越来越多采用了 Ajax 技术,这样程序便不能确定何时某个元素完全加载出来了。
如果实际页面等待时间过长导致某个dom元素还没出来,而且代码直接使用了这个WebElement,那么就会抛出NullPointer的异常。为了解决这个问题。所以 Selenium 提供了两种等待方式:一种是隐式等待、一种是显式等待。
隐式等待:调用driver.implicitly_wait。
那么在获取不可用的元素之前,会先等待10秒中的时间
driver.implicitly_wait(10)
最后
以上就是俊秀睫毛为你收集整理的python之jspy和selenium浅谈js2py简介js代码翻译Seleniumselenium使用的全部内容,希望文章能够帮你解决python之jspy和selenium浅谈js2py简介js代码翻译Seleniumselenium使用所遇到的程序开发问题。
如果觉得靠谱客网站的内容还不错,欢迎将靠谱客网站推荐给程序员好友。
发表评论 取消回复