学习Java网络爬虫

今天学习了一下Java的网络爬虫技术，发现网络爬虫技术首先分为以下几个步骤:

1、打开网页链接

2、把网页代码用一个BufferedReader存放

以下是我做的一个代码实例:

 

在学习网络爬虫的过程中首先要导入两个包:htmllexer.jar,htmlparser.jar

 

public static void main(String[] args) {
  try {
   URL url = new URL("http://www.baidu.com");
   HttpURLConnection httpurl = (HttpURLConnection) url.openConnection();
   
   BufferedReader br = new BufferedReader(new InputStreamReader(httpurl.getInputStream(), "utf-8"));

//采用正则表达式来匹配网页内容
   Pattern p = Pattern.compile("(http://\\w+\\.baidu\\.com)|(\\w://w+\\.baidu\\.com)");
   Matcher m;
   String line;
   while ((line = br.readLine()) != null) {
    m = p.matcher(line);
    
    if (m.find()) {

//只有当网页匹配时才将其打印出来
     System.out.println(line);
    }
   }
  } catch (IOException e) {
   e.printStackTrace();
  }

 

在学习的过程中，遇到了一个很有趣的问题:

那就是正则表达式中find()和matches()方法的区别———find()方法是部分匹配，是查找输入串中与模式匹配的子串，如果该匹配的串有组还可以使用group()函数。

matches()是全部匹配，是将整个输入串与模式匹配，如果要验证一个输入的数据是否为数字类型或其他类型，一般要用matches()。http://blog.csdn.net/liuxuejin/article/details/8643036