go爬虫:正则表达式及第三方库 - Go语言中文社区

go爬虫:正则表达式及第三方库


一、正则表达式抓取

//比如找到所有的a链接
//注意匹配模式在最前面的 (?m),加了多行匹配模式后,点号不能匹配换行符
pattern := `(?msU)<a.*href="(.*)".*>(.*)</a>`
reg = regexp.MustCompile(pattern)
match := reg.FindAllStringSubmatch(html, -1)  //FindAllStringSubmatch会将捕获到的放到子slice
if match != nil {
       fmt.Print("%#v", match)
}

go正则:http://studygolang.com/static/pkgdoc/pkg/regexp.htm 

具体参考:https://github.com/google/re2/wiki/Syntax 这里可以看到很多字符含义:

[[:alnum:]]alphanumeric (≡ [0-9A-Za-z])
[[:alpha:]]alphabetic (≡ [A-Za-z])
[[:ascii:]]ASCII (≡ [x00-x7F])
[[:blank:]]blank (≡ [t ])
[[:cntrl:]]control (≡ [x00-x1Fx7F])
[[:digit:]]digits (≡ [0-9])
[[:graph:]]graphical (≡ [!-~] == [A-Za-z0-9!"#$%&'()*+,-./:;<=>?@[\]^_`{|}~])
[[:lower:]]lower case (≡ [a-z])
[[:print:]]printable (≡ [ -~] == [ [:graph:]])
[[:punct:]]punctuation (≡ [!-/:-@[-`{-~])
[[:space:]]whitespace (≡ [tnvfr ])
[[:upper:]]upper case (≡ [A-Z])
[[:word:]]word characters (≡ [0-9A-Za-z_])
[[:xdigit:]]hex digit (≡ [0-9A-Fa-f])

很多用法不支持,比如反向引用,断言什么的

正则表达式采用RE2语法(除了c、C),和Perl、Python等语言的正则基本一致。所以搜索看Perl或者Python看即可,比如修饰符的使用。

前面就交代了修饰符等等,其中U修饰符是开启非贪婪模式(即替换.*为.*?),表达式中只需要写 .* 即可

go的修饰符:

pattern := `(?Um)...`
     (re)           编号的捕获分组
        (?P<name>re)   命名并编号的捕获分组
        (?:re)         不捕获的分组
        (?flags)       设置当前所在分组的标志,不捕获也不匹配
        (?flags:re)    设置re段的标志,不捕获的分组
        I              大小写敏感(默认关闭)
        m              ^和$在匹配文本开始和结尾之外,还可以匹配行首和行尾(默认开启)
        s              让.可以匹配n(默认关闭)
        U              非贪婪的:交换x*和x*?、x+和x+?……的含义(默认关闭)

正则基本知识:https://msdn.microsoft.com/zh-cn/library/ae5bf541(v=vs.90).aspx  

http://louiszhai.github.io/2016/06/13/regexp/

非贪婪模式: .*?

匹配模式修饰符:一般4种模式,不区分大小写模式i,单行模式s,多行模式m,注释模式

注意点号无法匹配到换行符(就算是多行匹配也不行),解决方案就是在模式修饰符中再加入s(单行模式,将换行符视为普通字符,.号可以匹配到),或者将 .*? 换成 [sS]*?

参考:http://m.oschina.net/blog/370714

 

二、第三方库

goquery,让go像jquery一样抓取网页:

https://github.com/PuerkitoBio/goquery

css选择器备忘

 

转载于:https://my.oschina.net/kmwzjs/blog/668667

版权声明:本文来源CSDN,感谢博主原创文章,遵循 CC 4.0 by-sa 版权协议,转载请附上原文出处链接和本声明。
原文链接:https://blog.csdn.net/weixin_34393428/article/details/91813798
站方申明:本站部分内容来自社区用户分享,若涉及侵权,请联系站方删除。
  • 发表于 2021-05-16 02:14:54
  • 阅读 ( 1328 )
  • 分类:Go

0 条评论

请先 登录 后评论

官方社群

GO教程

猜你喜欢