从csdn搬家到wordpress 转自：http://youthmemo.com/?p=2082

转自：http://youthmemo.com/?p=2082

最近开了个blog站点，想把以前在csdn上面的文章都转移过来，但一直没找到合适的工具，于是周末就自己写了个小程序。

本程序可以完成的工作：转移csdn上面的文章（限于文本内容）到wordpress;不能完成的工作：1、不支持在wordpress上创建分类，所以需要提前在wordpress上手工创建分类（保持与csdn一致）;2、不能以很好的格式转移文章，转移之后文章格式需要调整。

程序由采集、解析、发帖三部分构成。采集负责将指定url的内容下载下来，解析负责从网页内容中解析出正文链接、标题、发布时间、分类信息，发帖部分负责将解析出来的数据通过rpc发送给wordpress，生成博文。

本程序用到的jar包及其版本如下:

-rw-r--r-- 1 mingyuan mingyuan  46725 2011-09-03 23:05 commons-codec-1.3.jar
-rw-r--r-- 1 mingyuan mingyuan 279781 2011-09-03 23:05 commons-httpclient-3.0.1.jar
-rwxrwxrwx 1 mingyuan mingyuan  52915 2010-05-03 03:39 commons-logging-1.1.jar
-rw-r--r-- 1 mingyuan mingyuan 281579 2011-09-04 01:40 jsoup-1.6.1.jar
-rwxrwxrwx 1 mingyuan mingyuan  34407 2010-05-03 03:39 ws-commons-util-1.0.2.jar
-rwxrwxrwx 1 mingyuan mingyuan  58573 2010-05-03 03:39 xmlrpc-client-3.1.3.jar
-rwxrwxrwx 1 mingyuan mingyuan 109131 2010-05-03 03:39 xmlrpc-common-3.1.3.jar
-rwxrwxrwx 1 mingyuan mingyuan  81555 2010-05-03 03:39 xmlrpc-server-3.1.3.jar

代码很简单，就不解释了，大伙看看即可明白。程序的入口函数是Mover.main

下面先给出主要的类Mover.java

1. packagecn.mingyuan.csdn2wordpress;
3. importjava.io.IOException;
4. importjava.net.MalformedURLException;
5. importjava.net.URL;
6. importjava.text.ParseException;
7. importjava.text.SimpleDateFormat;
8. importjava.util.Date;
9. importjava.util.HashMap;
10. importjava.util.LinkedList;
11. importjava.util.List;
12. importjava.util.Map;
13. importjava.util.concurrent.TimeUnit;
15. importorg.apache.xmlrpc.XmlRpcException;
16. importorg.apache.xmlrpc.client.XmlRpcClient;
17. importorg.apache.xmlrpc.client.XmlRpcClientConfigImpl;
18. importorg.jsoup.Jsoup;
19. importorg.jsoup.nodes.Document;
20. importorg.jsoup.nodes.Element;
21. importorg.jsoup.select.Elements;
23. /**
24. *采集、解析、转移
25. *
26. *@authormingyuan
27. *
28. */
29. publicclassMover{
30. privateinttotalPages;
31. privateXmlRpcClientConfigImplconfig;
32. privateXmlRpcClientclient;
33. privateStringbaseUrl;
34. privateObjectuserName;
35. privateObjectpassword;
36. privateStringcsdnUserName;
38. publicMover(inttotalPages,StringblogRpcUrl,StringcsdnUrl,StringcsdnUserName,StringuserName,
39. Stringpassword){
40. this.totalPages=totalPages;
41. this.baseUrl=csdnUrl;
42. this.csdnUserName=csdnUserName;
43. this.userName=userName;
44. this.password=password;
45. config=newXmlRpcClientConfigImpl();
46. try{
47. config.setServerURL(newURL(blogRpcUrl));
48. }catch(MalformedURLExceptione){
49. System.out.println(“请检查url”);
50. }
51. client=newXmlRpcClient();
52. client.setConfig(config);
53. }
55. privateList<String>getlinks(){
56. List<String>list=newLinkedList<String>();
57. for(inti=1;i<=totalPages;i++){
58. System.out.println(“processingpage”+i);
59. Downloaderdownloader=newDownloader();
60. Stringcontent=downloader.download(baseUrl+“/”+csdnUserName+“/article/list/”+i);
61. if(content==null)
62. continue;
63. Documentdoc=Jsoup.parse(content);
64. Elementsfirst=doc.select(“.link_title”);
65. for(intj=0;j<first.size();j++){
66. Elementfirst2=first.get(j).select(“a”).first();
67. Stringlink=baseUrl+first2.attr(“href”);
68. list.add(link);
69. System.out.println(“getlink\t”+link);
70. }
71. System.out.println(“page”+i+“extractordone,sleep2s”);
72. try{
73. TimeUnit.SECONDS.sleep(1);
74. }catch(InterruptedExceptione){
75. e.printStackTrace();
76. }
77. }
78. returnlist;
79. }
81. publicList<CSDNPost>getPosts(){
82. List<String>links=getlinks();
83. List<CSDNPost>posts=newLinkedList<CSDNPost>();
84. for(Stringlink:links){
85. CSDNPostpost=getPost(link);
86. if(post!=null){
87. posts.add(post);
88. }
89. }
90. returnposts;
91. }
93. privateCSDNPostgetPost(Stringurl){
94. System.out.println(“url\t”+url);
95. Downloaderdownloader=newDownloader();
96. Stringhtml=downloader.download(url);
97. if(html==null)
98. returnnull;
99. Documentdoc=Jsoup.parse(html);
100. Stringtitle=doc.select(“.article_title”).first().text();
101. Stringcategroy=“Uncategorized”;
102. Elementslink_categories=doc.select(“.article_manage.link_categories”);
103. if(link_categories!=null){
104. Elementfirst=link_categories.first();
105. if(first!=null){
106. Elementshref=first.select(“a”);
107. if(href!=null){
108. categroy=href.text();
109. }
110. }
111. }
112. Stringpostdate=doc.select(“.article_manage.link_postdate”).first().text();
113. Stringcontent=doc.select(“.details.article_content”).first().text();
114. SimpleDateFormatsdf=newSimpleDateFormat(“yyyy-MM-ddHH:mm”);
115. CSDNPostpost=newCSDNPost();
116. post.setCategories(newString[]{categroy});
117. post.setTitle(title);
118. try{
119. post.setDateCreated(sdf.parse(postdate));
120. }catch(ParseExceptione){
121. post.setDateCreated(newDate());
122. }
123. post.setDescription(content);
124. returnpost;
125. }
127. publicvoidpublish(CSDNPostpost){
128. Map<String,Object>struct=newHashMap<String,Object>();
129. struct.put(“dateCreated”,post.getDateCreated());
130. struct.put(“description”,post.getDescription());
131. struct.put(“title”,post.getTitle());
132. struct.put(“categories”,post.getCategories());
133. Object[]params=newObject[]{userName,userName,password,struct,true};
134. Stringblogid=null;
135. try{
136. blogid=(String)client.execute(“metaWeblog.newPost”,params);
137. }catch(XmlRpcExceptione){
138. e.printStackTrace();
139. System.out.println(“导入出现错误：title=”+post.getTitle());
140. }
141. System.out.println(post.getTitle()+“>>导入完毕,生成博文id为>>”+blogid);
142. struct.clear();
143. }
145. publicstaticvoidmain(String[]args)throwsIOException{
146. Moverextractor=newMover(19,“http://youthmemo.com/xmlrpc.php”,“http://blog.csdn.net”,“telnetor”,“admin”,
147. “xxxx”);
148. List<CSDNPost>posts=extractor.getPosts();
149. for(CSDNPostpost:posts){
150. extractor.publish(post);
151. try{
152. TimeUnit.SECONDS.sleep(1);
153. }catch(InterruptedExceptione){
154. e.printStackTrace();
155. }
156. System.out.println(post.getTitle());
157. }
158. System.out.println(“done!”);
159. }
160. }

下面给出下载类Downloader.java

1. packagecn.mingyuan.csdn2wordpress;
3. importjava.io.BufferedReader;
4. importjava.io.IOException;
5. importjava.io.InputStreamReader;
7. importorg.apache.commons.httpclient.DefaultHttpMethodRetryHandler;
8. importorg.apache.commons.httpclient.HttpClient;
9. importorg.apache.commons.httpclient.HttpException;
10. importorg.apache.commons.httpclient.HttpMethod;
11. importorg.apache.commons.httpclient.HttpStatus;
12. importorg.apache.commons.httpclient.cookie.CookiePolicy;
13. importorg.apache.commons.httpclient.methods.GetMethod;
14. importorg.apache.commons.httpclient.params.HttpClientParams;
15. importorg.apache.commons.httpclient.params.HttpMethodParams;
17. /**
18. *downloader
19. *
20. *@authormingyuan
21. *
22. */
23. publicclassDownloader{
24. privateHttpClientParamsparams=null;
25. privateHttpClientclient=null;
27. /**
28. *默认构造函数，初始化一系列变量
29. */
30. publicDownloader(){
31. //构造HttpClientParams参数
32. params=newHttpClientParams();
33. params.setParameter(
34. HttpClientParams.USER_AGENT,
35. “Mozilla/5.0(Windows;U;WindowsNT5.1;zh-CN;rv:1.9.2.3)Gecko/20100401Firefox/3.6.3GTBDFffGTB7.0(.NETCLR3.5.30729)”);
36. params.setParameter(HttpClientParams.ALLOW_CIRCULAR_REDIRECTS,false);
37. params.setParameter(HttpClientParams.MAX_REDIRECTS,4);
38. params.setParameter(HttpClientParams.CONNECTION_MANAGER_TIMEOUT,(long)60*1000);
39. params.setParameter(HttpClientParams.SO_TIMEOUT,60*1000);
40. //使用系统提供的默认的恢复策略
41. params.setParameter(HttpMethodParams.RETRY_HANDLER,newDefaultHttpMethodRetryHandler());
42. client=newHttpClient(params);
43. }
45. /**
46. *下载网页
47. *
48. *@paramurl
49. *网页url
50. *@returnString类型的网页源码
51. */
52. publicStringdownload(Stringurl){
53. HttpMethodmethod=newGetMethod(url);
54. StringsourceCode=null;
55. method.getParams().setCookiePolicy(CookiePolicy.BROWSER_COMPATIBILITY);
56. //读取内容
57. StringBuilderbuilder=newStringBuilder();
58. BufferedReaderreader=null;
59. try{
60. intstatusCode=client.executeMethod(method);
61. if(statusCode!=HttpStatus.SC_OK){
62. returnnull;
63. }
65. reader=newBufferedReader(newInputStreamReader(method.getResponseBodyAsStream(),“utf8″));
66. Stringline;
67. while((line=reader.readLine())!=null){
68. builder.append(line+“\r\n”);
69. }
70. sourceCode=builder.toString();
71. }catch(HttpExceptione){
72. e.printStackTrace();
73. }catch(IOExceptione){
74. e.printStackTrace();
75. }finally{
76. try{
77. reader.close();
78. }catch(IOExceptione){
79. e.printStackTrace();
80. }
81. //释放连接
82. method.releaseConnection();
83. client.getHttpConnectionManager().closeIdleConnections(0);
84. }
85. returnsourceCode;
86. }
87. }

最后发出一个pojo，CSDNPost.java

1. packagecn.mingyuan.csdn2wordpress;
3. importjava.util.Date;
5. /**
6. *csdnpost
7. *
8. *@authormingyuan
9. *
10. */
11. publicclassCSDNPost{
12. /**
13. *博文创建日期
14. */
15. privateDatedateCreated;
16. /**
17. *博文内容
18. */
19. privateStringdescription;
20. /**
21. *标题
22. */
23. privateStringtitle;
24. /**
25. *博文分类
26. */
27. privateString[]categories;
29. publicCSDNPost(){
31. }
33. publicCSDNPost(Stringtitle,Stringdescription,String[]categories,DatedateCreated){
34. this.dateCreated=dateCreated;
35. this.description=description;
36. this.title=title;
37. this.categories=categories;
38. }
40. publicDategetDateCreated(){
41. returndateCreated;
42. }
44. publicvoidsetDateCreated(DatedateCreated){
45. this.dateCreated=dateCreated;
46. }
48. publicStringgetDescription(){
49. returndescription;
50. }
52. publicvoidsetDescription(Stringdescription){
53. this.description=description;
54. }
56. publicStringgetTitle(){
57. returntitle;
58. }
60. publicvoidsetTitle(Stringtitle){
61. this.title=title;
62. }
64. publicString[]getCategories(){
65. returncategories;
66. }
68. publicvoidsetCategories(String[]categories){
69. this.categories=categories;
70. }
71. }

以上是全部源码。

在文章的结尾，我愿意跟大家分享一下这个小程序的开发心得。

一开始写这个程序的时候，觉得会很快搞定，因为这个程序无非就是三个过程：采集、解析、发帖。其实也真是这样的一个过程。

这个程序耗费精力比较多的地方是在解析网页、提取链接、标题、内容、发布时间、分类方面。

一开始想用xpath解析网页，并且写xpath表达式都在chrome上测试通过xpath helper验证通过了。但在编码阶段发现现有的工具包，比如dom4j就不支持对html的解析，网上看了有通过htmlparser将html转换成xml的方法。但觉得太麻烦，最后发现了JSoup这个非常强大的工具，它可以通过类似jquery和css选取语法的表达式来提取内容。尝试了下非常方便，于是解析这个问题没有了（有个小窍门：chrome浏览器开发者工具可以看某节点的css样式，把这个样式直接传递给jsoup就能提取内容）。

wordpress支持MetaWeblog协议，可以通过XML-RPC进行发帖。关于它们的信息可以通过以下链接找到：

http://en.wikipedia.org/wiki/MetaWeblog

http://en.wikipedia.org/wiki/XML-RPC （可以找到各种语言版本的api）

另外JSoup的地址是：

http://jsoup.org/

程序写的太匆忙，肯定有很多不尽人意的地方，希望各位指出。我的联系方式是：admin#youthmemo.com。