ag官方网站

GO 语言版 JQUERY — GOQUERY

做过 Web 开发的,应该都用过或听过 jQuery,它提供了方便的操作 DOM 的 API。使用 Go 语言做服务器端开发,有时候需要解析 HTML 文件,比如抓取网站内容、写一个爬虫等。这时候如果有一个类似 jQuery 的库可以使用,操作 DOM 会很方便,而且,上手也会很快。github.com/PuerkitoBio/goquery 这个库就实现了类似 jQuery 的功能,让你能方便的使用 Go 语言操作 HTML 文档。

1 概述

Go 实现了类似 jQuery 的功能,包括链式操作语法、操作和查询 HTML 文档。它基于 Go net/html 包和 CSS 选择器库 cascadia。由于 net/html 解析器返回的是 DOM 节点,而不是完整的 DOM 树,因此,jQuery 的状态操作函数没有实现(像 height(),css(),detach())。

由于 net/html 解析器要求文档必须是 utf-8 编码,因此 goquery 库也有此要求。如果文档不是 utf-8 编码,使用者需要自己转换。进行编码转换,可以使用如下库:

iconv 的 Go 封装,如:github.com/djimenez/iconv-go

官方提供的 text 子仓库,text/encoding,用于其他编码和 utf-8 之间进行转换

除了实现和 jQuery 类似的功能外,在函数名方面,也尽量和 jQuery 保持一致,也支持链式语法。

2 goquery 提供的主要类型和方法

2.1 Document

Document 代表一个将要被操作的 HTML 文档,不过,和 jQuery 不同,它装载的是 DOM 文档的一部分。

1type Document struct {

2    *Selection

3    Url *url.URL

4    rootNode *html.Node // 文档的根节点

5}

因为 Document 中内嵌了一个 Selection 类型,因此,Document 可以直接使用 Selection 类型的方法。

有五种方法获取一个 Document 实例,分别是从一个 URL 创建、从一个 *html.Node 创建、从一个 io.Reader 创建、从一个 *http.Response 创建和从一个已有的 Document Clone 一个。

2.2 Selection

Selection 代表符合特定条件的节点集合。

1type Selection struct {

2    Nodes []*html.Node

3    document *Document

4    prevSel *Selection

5}

一般地,得到了 Document 实例后,通过 Dcoument.Find 方法获取一个 Selection 实例,然后像 jQuery 一样使用链式语法和方法操作它。

Selection 类型提供的方法可以分为如下几大类(注意,3个点(…)表示有重载的方法):

1)类似函数的位置操作

– Eq()

– First()

– Get()

– Index…()

– Last()

– Slice()

2)扩大 Selection 集合(增加选择的节点)

– Add…()

– AndSelf()

– Union(), which is an alias for AddSelection()

3)过滤方法,减少节点集合

– End()

– Filter…()

– Has…()

– Intersection(), which is an alias of FilterSelection()

– Not…()

4)循环遍历选择的节点

– Each()

– EachWithBreak()

– Map()

5)修改文档

– After…()

– Append…()

– Before…()

– Clone()

– Empty()

– Prepend…()

– Remove…()

– ReplaceWith…()

– Unwrap()

– Wrap…()

– WrapAll…()

– WrapInner…()

6)检测或获取节点属性值

– Attr(), RemoveAttr(), SetAttr()

– AddClass(), HasClass(), RemoveClass(), ToggleClass()

– Html()

– Length()

– Size(), which is an alias for Length()

– Text()

7)查询或显示一个节点的身份

– Contains()

– Is…()

8)在文档树之间来回跳转(常用的查找节点方法)

– Children…()

– Contents()

– Find…()

– Next…()

– Parent[s]…()

– Prev…()

– Siblings…()

2.3 Matcher 接口

该接口定义了一些方法,用于匹配 HTML 节点和编译过的选择器字符串。Cascadia’s Selector 实现了该接口。

1type Matcher interface {

2    Match(*html.Node) bool

3    MatchAll(*html.Node) []*html.Node

4    Filter([]*html.Node) []*html.Node

5}

3 实战演练

该库提供的类型很少,但方法却很多,我们不可能一个个方法讲解。这里通过模拟几个使用场景来讲解该库的使用。

3.1 抓取 Go语言中文网 社区主题 — http://studygolang.com/topics

查看页面 HTML 结构后,就跟使用 jQuery 操作页面一样。这个例子,我们获取社区主题的标题列表。

主要代码如下(为了节省篇幅,包导入等语句省略,完整代码,参见文章最后说明):

1func main() {

2    doc, err := goquery.NewDocument("http://studygolang.com/topics")

3    if err != nil {

4        log.Fatal(err)

5    }

6

7    doc.Find(".topics .topic").Each(func(i int, contentSelection *goquery.Selection) {

8        title := contentSelection.Find(".title a").Text()

9        log.Println("第", i+1, "个帖子的标题:", title)

10    })

11}

编译、运行输出如下(你看到的内容和当时社区的主题列表一致):

2015/04/06 22:15:24 第 1 个帖子的标题: 问个加载包的问题

2015/04/06 22:15:24 第 2 个帖子的标题: Tango v0.4版本发布,带来统一高性能的新路由

2015/04/06 22:15:24 第 3 个帖子的标题: 创业团队缺后端开发

2015/04/06 22:15:24 第 4 个帖子的标题: 自由是创造力和灵感的催化剂,需要golang后端开发ag官网

2015/04/06 22:15:24 第 5 个帖子的标题: cgo编译出来的文件怎么用?

2015/04/06 22:15:24 第 6 个帖子的标题: cgo编译问题,Undefined symbols

2015/04/06 22:15:24 第 7 个帖子的标题: 北京 GO 研发程序员,全职,20K+

2015/04/06 22:15:24 第 8 个帖子的标题: Go 1.5 计划启动,使用 Go 来编译 Go

2015/04/06 22:15:24 第 9 个帖子的标题: beego.Error 原理

2015/04/06 22:15:24 第 10 个帖子的标题: 插入数据库操作测试 1分钟一百万条数据 这数据怎么样?

2015/04/06 22:15:24 第 11 个帖子的标题: Go最新资料汇总(十一)

2015/04/06 22:15:24 第 12 个帖子的标题: Azul3D_Go开发的3D游戏引擎简介

2015/04/06 22:15:24 第 13 个帖子的标题: Golang中goroutine线程何时终止问题

2015/04/06 22:15:24 第 14 个帖子的标题: 标准库中文版的testing是不是打不开了?

2015/04/06 22:15:24 第 15 个帖子的标题: 如何使用cgo编译出来的文件

是不是很简单?

这里我们使用了 Each 这个方法。在 jQuery 中,each 迭代时,如果返回 false,可以终止迭代。比如,我们希望遇到标题中包含 cgo 的主题时,停止迭代,可以使用 EachWithBreak(之所以没有使用 Each,是因为迭代终止的功能是后来加入的,为了不改变 Each 的行为,保持兼容性,引入了该方法):

1doc.Find(".topics .topic").EachWithBreak(func(i int, contentSelection *goquery.Selection) bool {

2    title := contentSelection.Find(".title a").Text()

3    log.Println("第", i+1, "个帖子的标题:", title)

4    if strings.Contains(title, "cgo") {

5        return false

6    }

7    return true

8})

从上面的输出可以看到,Each 遍历是按照页面节点的顺序的。如果我们希望反着处理,也就是先处理页面最底下的节点。查看文档,发现没有直接提供这样的方法。那么该怎么实现呢?

1topicsSelection := doc.Find(".topics .topic")

2

3for i := topicsSelection.Length() - 1; i >= 0; i-- {

4    // 返回的是 *html.Node

5    topicNode := topicsSelection.Get(i)

6    title := goquery.NewDocumentFromNode(topicNode).Find(".title a").Text()

7    log.Println("第", i+1, "个帖子的标题:", title)

8}

这里用到了 NewDocumentFromNode,把其中某一块 HTML 当做文档,对其进行操作。

输出如下:

2015/04/06 22:50:28 第 15 个帖子的标题: 如何使用cgo编译出来的文件

2015/04/06 22:50:28 第 14 个帖子的标题: 标准库中文版的testing是不是打不开了?

2015/04/06 22:50:28 第 13 个帖子的标题: Golang中goroutine线程何时终止问题

2015/04/06 22:50:28 第 12 个帖子的标题: Azul3D_Go开发的3D游戏引擎简介

2015/04/06 22:50:28 第 11 个帖子的标题: Go最新资料汇总(十一)

2015/04/06 22:50:28 第 10 个帖子的标题: 插入数据库操作测试 1分钟一百万条数据 这数据怎么样?

2015/04/06 22:50:28 第 9 个帖子的标题: beego.Error 原理

2015/04/06 22:50:28 第 8 个帖子的标题: Go 1.5 计划启动,使用 Go 来编译 Go

2015/04/06 22:50:28 第 7 个帖子的标题: 北京 GO 研发程序员,全职,20K+

2015/04/06 22:50:28 第 6 个帖子的标题: cgo编译问题,Undefined symbols

2015/04/06 22:50:28 第 5 个帖子的标题: cgo编译出来的文件怎么用?

2015/04/06 22:50:28 第 4 个帖子的标题: 自由是创造力和灵感的催化剂,需要golang后端开发ag官网

2015/04/06 22:50:28 第 3 个帖子的标题: 创业团队缺后端开发

2015/04/06 22:50:28 第 2 个帖子的标题: Tango v0.4版本发布,带来统一高性能的新路由

2015/04/06 22:50:28 第 1 个帖子的标题: 问个加载包的问题

除了获取节点的文本内容,还可以获取节点的属性值、判断是否有某个 class 等,gopher 们可以自己试验。


免责声明:本文仅代表文章作者的个人观点,与本站无关。其原创性、真实性以及文中陈述文字和内容未经本站证实,对本文以及其中全部或者部分内容文字的真实性、完整性和原创性本站不作任何保证或承诺,请读者仅作参考,并自行核实相关内容。

http://www.pinlue.com/style/images/nopic.gif
我要收藏
个赞
被踩
分享到
分享
评论
首页