Python实例记录----Pyppeteer操作

BoBuo

[Python] 纯文本查看 复制代码

import asyncio
from pyppeteer import launch
from pyquery import PyQuery as pq


async def main():
    brower = await launch()  # 调用launch方法新建一个brower对象并赋值，相当于启动浏览器
    page = await brower.newPage()  # 调用browser的newPage方法，新建一个Page，
    # 并赋值给page变量。相当于在浏览器中新建了一个选项卡，这时候虽然启动了一个新的选项卡，但是还未访问任何页面，浏览器依然是空白的
    await page.goto('https://spa2.scrape.center/')  # 调用page的goto方法，访问url，浏览器加载页面
    await page.waitForSelector('.item .name')  # 传入选择器，页面就会等待选择器对应的节点信息加载出来，加载出来后，就立即返回，否则持续等待直到超时。
    doc = pq(await page.content())  # content方法，可以获取当前浏览器页面的源代码。
    names = [item.text() for item in doc('.item .name').items()]
    print('Names: ', names)
    await brower.close()


asyncio.get_event_loop().run_until_complete(main())

调试模式

[Python] 纯文本查看 复制代码

import asyncio
from pyppeteer import launch

width,height = 1200,768  # 设置浏览器大小，在声明browser时，放入args参数中

async def main():
    browser = await launch(devtools=True,userDataDir='./userdata',args=['--disable-infobars',f'--window-size={width},{height}'])  # devtools=True在页面中开启开发者工具;
    # userDataDir='./userdata'设置用户目录保存例如登陆后，cookies等信息，避免重复登陆
    context = await browser.createIncognitoBrowserContext()  # 无痕模式，调用browser的createIncognitoBrowserContext方法，返回给context，用context新建选项卡
    page = await context.newPage()
    await page.evaluateOnNewDocument('Object.defineProperty(navigator,"webdriver",{get:()=>undefined})')  # 防止检测
    await page.goto('https://www.baidu.com')
    await asyncio.sleep(100)
    await browser.close()  # 关闭

asyncio.get_event_loop().run_until_complete(main())

无头模式

[Python] 纯文本查看 复制代码

import asyncio
from pyppeteer import launch

async def main():
    await launch(headless=False)
    await asyncio.sleep(100)

asyncio.get_event_loop().run_until_complete(main())

Page对象

[Python] 纯文本查看 复制代码

'''
Page对象内置了很多用于选取节点的选择器方法，例如J方法，给他传入一个选择器，就能返回
匹配到的第一个节点，等价于querySelector方法；又如JJ方法，给他传入一个选择器，就能返回
匹配到的所有节点组成的集合，等价于querySelectorALL方法。
'''

import asyncio
from pyppeteer import launch
from pyquery import pyquery as pq

async def main():
    browser = await launch()
    page = await browser.newPage()
    await page.goto('https://spa2.scrape.center/')
    await page.waitForSelector('.item .name')
    j_result1 = await page.J('.item .name')
    j_result2 = await page.querySelector('.item .name')
    jj_result1 = await page.JJ('.item .name')
    jj_result2 = await page.querySelectorAll('.item .name')
    print('j1：',j_result1)
    print('j2：', j_result2)
    print('jj1：', jj_result1)
    print('jj2：', jj_result2)
    await browser.close()

asyncio.get_event_loop().run_until_complete(main())

选项卡操作

[Python] 纯文本查看 复制代码

import asyncio
from pyppeteer import launch

# 新建选项卡获取和切换
async def main():
    browser = await launch(headless=False)
    page = await browser.newPage()
    await page.goto('https://www.baidu.com')
    page = await browser.newPage()
    await page.goto('https://www.bing.com')
    pages = await browser.pages()
    print('Pages: ', pages)
    page1 = pages[1]
    await page1.bringToFront()
    await asyncio.sleep(100)


asyncio.get_event_loop().run_until_complete(main())

wzryhhdd

支持原创!!!

wolf206521

支持原创

dork

感谢分享

chinguy

感谢科普，偶然发现asyncio这个函数也很有用，值得学习。