- 浏览: 1119054 次
- 性别:
- 来自: 火星郊区
博客专栏
-
OSGi
浏览量:0
文章分类
- 全部博客 (695)
- 项目管理 (48)
- OSGi (122)
- java (79)
- Vaadin (5)
- RAP (47)
- mysql (40)
- Maven (22)
- SVN (8)
- 孔雀鱼 (10)
- hibernate (9)
- spring (10)
- css (3)
- 年审 (6)
- ant (1)
- jdbc (3)
- FusionCharts (2)
- struts (4)
- 决策分析 (2)
- 生活 (10)
- 架构设计 (5)
- 破解 (2)
- 狼文化 (4)
- JVM (14)
- J2EE (1)
- 应用服务器 (1)
- 我的链接 (5)
- 数学 (2)
- 报表 (1)
- 百科 (6)
- Flex (7)
- log4j (2)
- PHP (1)
- 系统 (2)
- Web前端 (7)
- linux (6)
- Office (1)
- 安全管理 (5)
- python (2)
- dom4j (1)
- 工作流 (3)
- 养生保健 (4)
- Eclipse (8)
- 监控开发 (1)
- 设计 (3)
- CAS (1)
- ZK (41)
- BluePrint (3)
- 工具 (1)
- SWT (7)
- google (2)
- NIO (1)
- 企业文化 (2)
- Windoes (0)
- RCP (7)
- JavaScript (10)
- UML (1)
- 产品经理 (2)
- Velocity (10)
- C (1)
- 单元测试 (1)
- 设计模式 (2)
- 系统分析师 (2)
- 架构 (4)
- 面试 (2)
- 代码走查 (1)
- MongoDB (1)
- 企业流程优化 (1)
- 模式 (1)
- EJB (1)
- Jetty (1)
- Git (13)
- IPV6 (1)
- JQuery (8)
- SSH (1)
- mybatis (10)
- SiteMesh (2)
- JSTL (1)
- veloctiy (1)
- Spring MVC (1)
- struts2 (3)
- Servlet (1)
- 权限管理 (1)
- Java Mina (1)
- java 系统信息 (6)
- OSGi 基础 (3)
- html (1)
- spring--security (6)
- HTML5 (1)
- java爬虫搜索 (1)
- mvc (3)
最新评论
-
Tom.X:
http://osgia.com/
将web容器置于OSGi框架下进行web应用的开发 -
chenyuguxing:
你好, 为什么我的bundle export到felix工程中 ...
在Apache Felix中运行bundle -
string2020:
<niceManifest>true</ni ...
Bundle Plugin for Maven -
jsonmong:
OSGI,是未来的主流,目前已相当成熟。应用OSGI比较好的, ...
基于OSGi的声明式服务 -
zyhui98:
貌似是翻译过来的,有很少人在linux上做开发吧
如何成为“10倍效率”开发者
简 介
作为全球运用最广泛的语言,Java 凭借它的高效性,可移植性(跨平台),代码的健壮性以及可强大的可扩展性,深受广大应用程序开发者的喜爱. 作为一门强大的开发语言,正则表达式在其中的应用当然是必不可少的,而且正则表达式的掌握能力也是那些高级程序员的开发功底之体现,做一名合格的网站开发 的程序员(尤其是做前端开发),正则表达式是必备的。
最近,由于一些需要,用到了java和正则,做了个的足球网站的数据采集程序,由于是第一次做关于java的html页面数据采集,必然在网上查找 了很多资料,但是发现运用如此广泛的java在使用正则做html采集方面的(中文)文章是少之又少,都是简单的谈了下java正则的概念,没有真正用在 实际网页html采集,所以实例教程更是寥寥无几(虽然java有它自己的Html Parser,而且十分强大),但个人觉得作为如此深入人心的正则表达式,理应有其相关的java实例教程,而且应该很多很全.于是在完成java版的 html数据采集程序之后,本人便打算写个关于正则表达式在java上的html页面采集,以便有相关兴趣的读者更好的学习。
关于group正则
说到正则表达式是如何帮助java进行html页面采集,这里简要需要提一下正则表达式中的group方法:
public static void main(String[] args){ //Pattern 用于编译正则 这里用到了3个正则 分别用括号()包住 //匹配URL 当然这里的正则不一定准确 这个匹配URL的正则就是错误的 只是在这里刚好能匹配出来 //第2个正则是用于匹配标题 SoFlash的 //第3个正则用于匹配日期 /*这里只用了一条语句便把url,标题和日期全部给匹配出来了*/ Pattern p = Pattern.compile( "='(\\w.+)'>(\\w.+[a-zA-Z])-(\\d{1,2}\\.\\d{1,2}\\.\\d{4})" ); String s = "<a href='www.cnblogs.com/longwu'>SoFlash-12.22.2011</a>" ; Matcher m = p.matcher(s); while (m.find()){ //通过调用group()方法里的索引 将url,标题和日期全部给打印出来 System.out.println( "打印出url链接:" +m.group( 1 )); System.out.println( "打印出标题:" +m.group( 2 )); System.out.println( "打印出日期:" +m.group( 3 )); System.out.println(); } System.out.println( "group方法捕获的数据个数:" +m.groupCount()+ "个" ); }
打印出url链接:www.cnblogs.com/longwu
打印出标题:SoFlash
打印出日期:12.22.2011
group方法捕获的数据个数:3个
想了解更多的朋友请看 JAVA 正则表达式 (超详细)
如果之前没有学过正则的可以看看这个 正则表达式的元字符匹配
好了 group方法介绍完了 我们来简单的使用下 group采集某个足球网站页面的数据
页面链接:http://www.footballresults.org/league.php?all=1&league=EngPrem
首先我们读取整个html页面,并打印出来 代码如下:
public static void main(String[] args) { String strUrl = "http://www.footballresults.org/league.php?all=1&league=EngPrem" ; try { // 创建一个url对象来指向 该网站链接 括号里()装载的是该网站链接的路径 // 更多可以看看 http://wenku.baidu.com/view/8186caf4f61fb7360b4c6547.html URL url = new URL(strUrl); // InputStreamReader 是一个输入流读取器 用于将读取的字节转换成字符 // 更多可以看看 http://blog.sina.com.cn/s/blog_44a05959010004il.html InputStreamReader isr = new InputStreamReader(url.openStream(), "utf-8" ); // 统一使用utf-8 编码模式 // 使用 BufferedReader 来读取 InputStreamReader 转换成的字符 BufferedReader br = new BufferedReader(isr); // 如果 BufferedReader 读到的内容不为空 while (br.readLine() != null ) { // 则打印出来 这里打印出来的结果 应该是整个网站的 System.out.println(br.readLine()); } br.close(); // 读取完成后关闭读取器 } catch (IOException e) { // 如果出错 抛出异常 e.printStackTrace(); } }
打印出来的结果 是整个html页面的源代码 (部分截图如下)
到这里,数据已经成功采集下来了,当然 我们想要的并不是整个html源代码,我们需要的是网页上的比赛数据。
首先 我们分析下 html源代码结构 来到http://www.footballresults.org/league.php?all=1&league=EngPrem 页面
右键该页面 点击 ‘查看源文件’ 如图:
我们来看看 其内部的html代码结构 以及我们需要的数据
其对应的页面数据
这时候,强大的正则表达式派上用场了, 我们需要写几个用来匹配我们需要数据的正则
这里需要用到 3个正则 包括 日期, 2个球队的(主队和客队) 以及比赛结果的 如下
String regularDate = "(\\d{1,2}\\.\\d{1,2}\\.\\d{4})" ; //日期正则 String regularTwoTeam = ">[^<>][^<>]*</a>" ; //球队正则 String regularResult = ">(\\d{1,2}-\\d{1,2})</TD>" ; //比赛结果正则
写好正则 我们便可以使用该正则来获取 我们想要得到的数据了
首先 我们写一个GroupMethod类 用于存放regularGroup()方法
import java.util.regex.Matcher; import java.util.regex.Pattern; public class GroupMethod { // 传入2个字符串参数 一个是pattern(我们使用的正则) 另一个matcher是html源代码 public String regularGroup(String pattern, String matcher) { Pattern p = Pattern.compile(pattern, Pattern.CASE_INSENSITIVE); Matcher m = p.matcher(matcher); if (m.find()) { // 如果读到 return m.group(); // 返回捕获的数据 } else { return "" ; // 否则返回一个空值 } } }
然后是写主函数代码
对比下 html上的数据 (部分截图-初始阶段)
输出结果(部分截图-结束阶段)
对比下 html上的数据 (部分截图-结束阶段)
好了 这样的html数据采集就完成了 :)
当然这里只是抓取了一个页面的内容如果感兴趣,想抓去更多的页面内容,你可以分析下该链接后的联盟名。例如 league=EngPrem 通过改变league名来获取所有联盟的比赛数据你可以写个接口把所有球队的名字放进去,当然还有更智能的方法你可以写个方法,从http://www.footballresults.org/allleagues.php 页面获取所有球队的名字 然后来附加到 "http://www.footballresults.org/league.php?all=1&league= " 链接后面 来补齐链接 循环读取各个联盟比赛页面的内容。
评论
return m.group(1); // 返回捕获的数据
发表评论
-
一个例子全部说明java泛型中的K,V,T,E,?,object的意思及其用法
2013-03-07 11:09 69881.意思 jdk中的K,V,T,E等泛型名称很多人以为 ... -
Log4j 把不同包的日志打印到不同位置
2012-11-29 08:23 1114需要的包和测试的代码下载附件! 如果需要将不同的日 ... -
Java多线程发展简史
2012-09-16 14:25 1001转自:http://www.raychase.ne ... -
Java编码易疏忽的十个问题
2012-09-06 08:52 873在Java编码中,我们容易 ... -
网络编程
2012-09-04 13:30 930计算机网络基础 什么是计算机网络 把分布在 ... -
获取Java程序运行的路径 | 获取当前jar包的路径
2012-09-04 11:55 14012经过试验,不管是否是 Jar 包,不管是否是 Tom ... -
java的concurrent用法详解
2012-08-03 11:28 968我们都知道,在JDK1.5之前,Java中要进行业务并发时 ... -
Java程序员必知的8大排序
2012-07-05 09:56 9958 种排序之间的关系: ... -
Comparator与Comparable的区别
2012-07-05 08:38 1179当需要排序的集合或数组不是单纯的数字类型的时候,通常可以使用C ... -
RSA算法Java实现
2012-06-27 08:22 1373Java代码 package c ... -
队列阻塞浅析
2012-06-17 18:10 891这几天所做的项目中涉及到了队列阻塞机制,通过研究整理如下 ... -
Java面试过程中会遇到的问题
2012-06-13 13:04 10811、abstract的method是否可同时是static,是 ... -
【解惑】深入jar包:从jar包中读取资源文件
2012-06-13 13:02 1063我们常常在代码中读取一些资源文件(比如图片,音乐,文本等等)。 ... -
java 处理文件路径中的空格
2012-06-13 12:57 1489问题背景: windows下有个目录名称Program ... -
java内存分配机制
2012-06-13 12:52 1121通过这几天对一个 ... -
byte[]转化成其他数据类型
2012-05-14 16:41 1595Java与其他语言数据类型之间的转换方法实例程序 /*** ... -
java中byte转换int时为何与0xff进行与运算
2012-05-14 16:39 1020java中byte转换int时为何 ... -
java整型数与网络字节序的 byte[] 数组转换关系
2012-05-14 16:31 6410工作项目需要在 java 和 c/c++ 之间进行 ... -
利用 Base64 缩短 UUID 至22位
2012-04-15 18:57 7113UUID还是比较常用的,尤其在web应用里。 有时在UR ... -
图解Java中的值传递与引用传递(更新版)
2012-04-09 12:49 1133编程的人,都会遇到值传递与引用传递的困惑,不过很快都会迎 ...
相关推荐
运维看家本领之一:Shell脚本编程与正则表达式,运维看家本领之一:Shell脚本编程与正则表达式
JAVA:表单验证常用正则 JAVA:表单验证常用正则
防止xss和sql注入:JS特殊字符过滤正则,需要的朋友可以参考一下
吴恩达改善深层神经网络:超参数调试、正则化以及优化作业,5-7周全
Java正则表达式Java正则表达式Java正则表达式Java正则表达式
java正则表达式java正则表达式java正则表达式java正则表达式java正则表达式java正则表达式
JAVA正则表达式JAVA正则表达式JAVA正则表达式
正则表达式的合集,包括电话号码,邮箱验证,手机号码验证等等...开发时候拿来用非常方便!
031115_【第11章:Java常用类库】_正则表达式.rar
Java:正则表达式j教材
"yyyyMM","yyyyMMdd","yyyyMMdd HH:mm:ss", "yyyy-MM","yyyy-MM-dd","yyyy-MM-dd HH:mm:ss" "yyyy.MM","yyyy.MM.dd","yyyy.MM.dd HH:mm:ss" "yyyy/MM","yyyy/MM/dd","yyyy/MM/dd HH:mm:ss" "yyyy_MM","yyyy_MM_dd",...
本文写作时,一个包含了用正则表达式进行文本处理的Java规范需求(Specification Request)已经得到认可,你可以期待在JDK的下一版本中看到它。 然而,如果现在就需要使用正则表达式,又该怎么办呢?你可以从Apache...
java正则表达式详解java正则表达式详解java正则表达式详解java正则表达式详解java正则表达式详解java正则表达式详解java正则表达式详解
c# vs2008数据采集(正则采集),关于天气预报的数据采集。 和WebSevice接口数据采集
正则表达式格式 PHP变成的利器,经过一段时间的学习,浅谈一下自己的心得!!!!
java超时取消正则表达式匹配方法,代码超时处理,设置代码执行时间,超棒的工具类 lambda,Callable,ExecutorService,超过执行5秒退出
java,正则表达式,详解,java正则表达式,PDF
java实现用正则表达式的方法提取html中的信息,可以提取标题,正文,链接等。经过运行,没问题的
java-包名-正则表达式 Java 包名的正则表达式。 使用安装 npm i java-packagename-regex --save 用法 var packageNameRe = require ( 'java-packagename-regex' ) ; var match = packageNameRe ( ) . exec ( '...