Golang爬取异步加载渲染的Html内容

不废话直接上代码

package main

import (
    "fmt"
    "github.com/go-rod/rod"
)

func main() {
    // 要爬取内容的地址
    url := "https://www.xxx.com/"
    // 创建一个浏览器窗口链接
    browser := rod.New().MustConnect()
    // 养成好习惯，用完要收尾
    defer browser.Close()
    // 打开一个网页
    page := browser.MustPage(url)
    // 等等网页加载完，js，图片，ajax等全部加载完
    wait := page.MustWaitRequestIdle()
    wait()
    // 根据html的class名获取html
    //ulHtml, _ := page.MustElement(".class_name").HTML()
    // 获取全部html
    ulHtml, _ := page.HTML()
    // 输出
    fmt.Println(ulHtml)
    // 剩下的自己字符串截取了
}

第一次运行会自动下载chromium-browser