Golang爬取异步加载渲染的Html内容

Golang爬取异步加载渲染的Html内容

远航
2022-04-27 / 0 评论 / 587 阅读 / 正在检测是否收录...
不废话直接上代码
package main

import (
    "fmt"
    "github.com/go-rod/rod"
)

func main() {
    // 要爬取内容的地址
    url := "https://www.xxx.com/"
    // 创建一个浏览器窗口链接
    browser := rod.New().MustConnect()
    // 养成好习惯,用完要收尾
    defer browser.Close()
    // 打开一个网页
    page := browser.MustPage(url)
    // 等等网页加载完,js,图片,ajax等全部加载完
    wait := page.MustWaitRequestIdle()
    wait()
    // 根据html的class名获取html
    //ulHtml, _ := page.MustElement(".class_name").HTML()
    // 获取全部html
    ulHtml, _ := page.HTML()
    // 输出
    fmt.Println(ulHtml)
    // 剩下的自己字符串截取了
}
第一次运行会自动下载chromium-browser
1

评论 (0)

取消