当前位置:首页 > 关于java的html页面数据采集

关于java的html页面数据采集

点击次数:2342  更新日期:2013-03-24

简介:

作为全球运用最广泛的语言,Java 凭借它的高效性,可移植性(跨平台),代码的健壮性以及可强大的可扩展性,深受广大应用程序开发者的喜爱. 作为一门强大的开发语言,正则表达式在其中的应用当然是必不可少的,而且正则表达式的掌握能力也是那些高级程序员的开发功底之体现,做一名合格的网站开发的程序员(尤其是做前端开发),正则表达式是必备的。
最近,由于一些需要,用到了java和正则,做了个的足球网站的数据采集程序,由于是第一次做关于java的html页面数据采集,必然在网上查找了很多资料,但是发现运用如此广泛的java在使用正则做html采集方面的(中文)文章是少之又少,都是简单的谈了下java正则的概念,没有真正用在实际网页html采集,所以实例教程更是寥寥无几(虽然java有它自己的Html Parser,而且十分强大),但个人觉得作为如此深入人心的正则表达式,理应有其相关的java实例教程,而且应该很多很全.于是在完成java版的html数据采集程序之后,本人便打算写个关于正则表达式在java上的html页面采集,以便有相关兴趣的读者更好的学习.
本期概述:
上期我们讲到了html页面的数据采集,为了方便我们今后来调用收集到的数据,这期我们要讲讲如何做数据存储(MySql数据库).
数据采集页面 2011-2012赛季英超球队战绩

关于Java操作MySql

在使用java 操作MySql数据库之前 我们需要在项目文件中导入 一个jar包(mysql-connector-java-5.1.18-bin)
可以在MySql官网下载 Connector/J 5.1.18
关于MySql数据库
如果是初学者 想使用MySql数据库的话 可以去这里XAMPP中文官网 下载 XAMPP 套装
XAMPP(Apache+MySQL+PHP+PERL)是一个功能强大的建 XAMPP 软件站集成软件包,而且一键式安装,无需修改配置文件,非常好用。
好了 需要准备的事宜都完成了 我们开始写代码
打开MySql数据库 创建数据库 和表 (拷贝如下代码 到mysql里直接执行即可)//创建数据库htmldatacollection CREATEDATABASEhtmldatacollection; //在创建表之前我们需要使用数据库htmldatacollection usehtmldatacollection; //在数据库里创建一个表Premiership用于存储我们收集到的数据 //这里为了方便所有字段全部是字符串格式CREATETABLEPremiership(Datevarchar(15), HomeTeamvarchar(20), AwayTeamvarchar(20), Resultvarchar(20) )
创建好后 我们来看看数据库结构

数据库弄好了 我们开始实施java代码
这里简单介绍下各个类以及类所包含的方法
DataStorage类 以及包含的 dataStore()方法 用于数据收集和存储
1.import java.io.BufferedReader;
2.import java.io.IOException;
3.import java.io.InputStreamReader;
4.import java.net.URL;
5.public class DataStorage {
6. public void dataStore() {
7. // 首先用一个字符串 来装载网页链接
8. String strUrl= \"http://www.footballresults.org/league.php?all=1league=EngPrem\";
9. String sqlLeagues = \"\";
10. try {
11. // 创建一个url对象来指向 该网站链接 括号里()装载的是该网站链接的路径
12. // 更多可以看看 http://wenku.baidu.com/view/8186caf4f61fb7360b4c6547.html
13. URL url = new URL(strUrl);
14. // InputStreamReader 是一个输入流读取器 用于将读取的字节转换成字符
15. // 更多可以看看 http://blog.sina.com.cn/s/blog_44a05959010004il.html
16. InputStreamReader isr = new InputStreamReader(url.openStream(),
17. \"utf-8\"); // 统一使用utf-8 编码模式
18. // 使用 BufferedReader 来读取 InputStreamReader 转换成的字符
19. BufferedReader br = new BufferedReader(isr);
20. String strRead = \"\"; // new 一个字符串来装载 BufferedReader 读取到的内容
21. // 定义3个正则 用于获取我们需要的数据
22. String regularDate = \"(\\\\d{1,2}\\\\.\\\\d{1,2}\\\\.\\\\d{4})\";
23. String regularTwoTeam = \"[^]*/a\";
24. String regularResult = \"(