官方文档
https://miyakogi.github.io/pyppeteer/reference.html#mouse-class
启动pyppteer
import asyncio from pyppeteer import launch async def main(): # headless参数设为false,则变成有头模式 browser = await launch( {'headless': false} ) # 打开一个页面 page = await browser.newpage() # 超时间见 10000 毫秒 res = await page.goto('https://www.cnblogs.com/guyouyin123/p/12690418.html', options={'timeout': 10000}) # 等待 await asyncio.sleep(2) print(await page.content()) # 返回html代码 resp_headers = res.headers # 响应头 resp_status = res.status # 响应状态 # 程序启动入口 asyncio.get_event_loop().run_until_complete(main())
切图
# 设置页面视图大小 await page.setviewport(viewport={'width': 1280, 'height': 800}) # 是否启用js,enabled设为false,则无渲染效果 await page.setjavascriptenabled(enabled=true) # 超时间见 10000 毫秒 res = await page.goto('https://www.cnblogs.com/guyouyin123/p/12690418.html', options={'timeout': 10000}) # 等待 await asyncio.sleep(2) # 截图 保存图片 await page.screenshot({'path': 'cnblog.png'})
获取响应头,响应头状态,cookies
async def main(): # headless参数设为false,则变成有头模式 browser = await launch( {'headless': false} ) # 打开一个页面 page = await browser.newpage() # 超时间见 10000 毫秒 res = await page.goto('https://www.cnblogs.com/guyouyin123/p/12690418.html', options={'timeout': 10000}) # 等待 await asyncio.sleep(2) resp_headers = res.headers # 响应头 resp_status = res.status # 响应状态 cookies = page.cookies() print(resp_headers) print(resp_status) print(page.cookies()) # 程序启动入口 asyncio.get_event_loop().run_until_complete(main())
获取当前页面标题
print(await page.title())
获取页面html
import asyncio from pyppeteer import launch async def main(): # headless参数设为false,则变成有头模式 browser = await launch( {'headless': false} ) # 打开一个页面 page = await browser.newpage() # 是否启用js,enabled设为false,则无渲染效果 await page.setjavascriptenabled(enabled=true) # 超时间见 10000 毫秒 res = await page.goto('https://www.cnblogs.com/guyouyin123/p/12690418.html', options={'timeout': 10000}) # 等待 await asyncio.sleep(2) print(await page.content()) # 返回html代码
第一种:获取整个页面html
res = await page.goto('https://www.cnblogs.com/guyouyin123/p/12690418.html', options={'timeout': 10000}) # 等待 await asyncio.sleep(2) print(await page.content()) # 返回html代码
第二种:只获取文本
res = await page.goto('https://www.cnblogs.com/guyouyin123/p/12690418.html', options={'timeout': 10000}) # 等待 await asyncio.sleep(2) content = await page.evaluate(pagefunction='document.body.textcontent', force_expr=true) print(content)
注入js,控制上下滚动
res = await page.goto('https://www.cnblogs.com/guyouyin123/p/12690418.html', options={'timeout': 10000}) # 等待 await asyncio.sleep(2) # 滑到底部 await page.evaluate('window.scrollby(0, document.body.scrollheight)') # js window.scrollto(0,100) # 向下滑动100 window.scrollto(0,500) # 向下滑动500 window.scrollto(0,document.body.scrollheight) # 滑到底部 window.scrollto(0,document.body.scrollheight-500) # 滑到-500
选择器
page.queryselector() # css选择器 page.queryselectorall() # css选择器选所有 page.xpath() # xpath选择器 # 简写方式为: page.j(), page.jj(), and page.jx()
获取元素内部的文本、属性
res = await page.goto('https://www.cnblogs.com/guyouyin123/p/12690418.html', options={'timeout': 10000}) # 等待 await asyncio.sleep(2) await page.evaluate('window.scrollby(0, document.body.scrollheight)') # 方式一:获取h2标签内容--执行js方式 element = await page.queryselector('h2') title = await page.evaluate('(element) => element.textcontent', element) # 方式二:获取文本 element = await page.queryselector('h2') title = await (await item.getproperty('textcontent')).jsonvalue() # 方式三:获取属性src,href element = await page.queryselector('h2') title_link = await (await item.getproperty('href')).jsonvalue()
get_html
async def get_html(url): browser = await pyppeteer.launch(headless=true, args=['--no-sandbox']) page = await browser.newpage() res = await page.goto(url, options={'timeout': 3000}) data = await page.content() title = await page.title() resp_cookies = await page.cookies() # cookie resp_headers = res.headers # 响应头 resp_status = res.status # 响应状态 print(data) print(title) print(resp_headers) print(resp_status) return xxx
模拟输入,鼠标点击
# 模拟输入 账号密码 {'delay': rand_int()} 为输入时间 await page.type('#fm-login-id', "用户名") await page.type('#fm-login-password', "密码", ) await page.waitfor(1000) # 等待时间 await page.click("#j_submitstatic") # 点击
taobao登录
import asyncio from pyppeteer import launch async def main(): # headless参数设为false,则变成有头模式 browser = await launch( {'headless': false} ) # 打开一个页面 page = await browser.newpage() await page.setviewport(viewport={'width': 1280, 'height': 800}) res = await page.goto('https://login.taobao.com/', options={'timeout': 10000}) await page.type('#fm-login-id', "123456") await page.type('#fm-login-password', "aaa", ) await page.waitfor(1000) # 等待时间 slider = await page.queryselector('#nc_1_n1z') # 是否有滑块 if slider: try: print('有滑块') await page.hover('#nc_1_n1z') # 不同场景的验证码模块能名字不同。 await page.mouse.down() # x,y坐标,steps 是指分成几步来完成,steps越大,滑动速度越慢。(在源码中,steps是指移动到指定x,y 分段滑动的次数,但是每次启动滑动都会花费一定时间,可以认为steps是滑动的速度) # 如果是每次移动的距离,可以用for循环尝试正负移动 await page.mouse.move(2000, 0, {'delay': random.randint(1000, 2000)}) await page.mouse.up() except exception as e: print(e) input('验证失败,人工登录:') else: print('没有滑块') input() await page.click("#login-form > div.fm-btn > button") # 点击登录 # 程序启动入口 asyncio.get_event_loop().run_until_complete(main())
taobao修改检测浏览器
await page.evaluate( '''() =>{ object.defineproperties(navigator,{ webdriver:{ get: () => false } }) }''') # 以下为插入中间js,将淘宝会为了检测浏览器而调用的js修改其结果。 await page.evaluate('''() =>{ window.navigator.chrome = { runtime: {}, }; }''') await page.evaluate('''() =>{ object.defineproperty(navigator, 'languages', { get: () => ['en-us', 'en'] }); }''') await page.evaluate('''() =>{ object.defineproperty(navigator, 'plugins', { get: () => [1, 2, 3, 4, 5,6], }); }''') # 使用type选定页面元素,并修改其数值,用于输入账号密码,修改的速度仿人类操作,因为有个输入速度的检测机制 # 因为 pyppeteer 框架需要转换为js操作,而js和python的类型定义不同,所以写法与参数要用字典,类型导入 await page.type('.j_username', username, {'delay': input_time_random() - 50}) await page.type('#j_standardpwd input', pwd, {'delay': input_time_random()}) # await page.screenshot({'path': './headless-test-result.png'}) # 截图测试 def input_time_random(): return random.randint(100, 151)
鼠标事件
.click() # 点击按钮 .down() # 按下按钮 .up() # 释放按钮 .move() # 移动光标
键盘事件
您可以使用down(),up()和 sendcharacter()手动触发事件,就好像事件是由真实键盘生成的一样。 await page.keyboard.press('arrowleft') await page.keyboard.down('shift') for i in ' world': await page.keyboard.press('arrowleft') await page.keyboard.up('shift') await page.keyboard.press('backspace') # result text will end up saying 'hello!'.
按下键盘a:
await page.keyboard.down('shift') await page.keyboard.press('keya') await page.keyboard.press('enter') await page.keyboard.up('shift')
注意
修饰键确实会影响down()。按住shift 将以大写形式键入文本。
参数:
key(str)–要按键的名称,例如arrowleft。
options(dict)–选项可以具有text字段,如果指定了此选项,则使用此文本生成输入事件。
使用ip代理ua
import asyncio from pyppeteer import launch async def register(): browser = await launch({ 'headless': false, # 代理ip 'args': ['--proxy-server=47.105.111.124:15525', ] }) page = await browser.newpage() await page.setuseragent( 'mozilla/5.0 (windows nt 6.1; wow64) applewebkit/537.36 (khtml, like gecko) chrome/68.0.3440.106 safari/537.36') asyncio.get_event_loop().run_until_complete(register()) # 更多参数 args: [ '--disable-setuid-sandbox', '--no-sandbox', '--proxy-server=10.24.51.125:8411', '--ignore-certificate-errors', '--window-size=375,812', '--remote-debugging-port=9222' ],
以上就是pyppeteer执行js并绕过webdriver监测的常见方法下篇的详细内容,更多关于pyppeteer执行js绕过webdriver监测的资料请关注其它相关文章!