架设Wikipedia的本地镜像

john2007

浏览: 77831 次
性别:
来自: 南京

最近访客更多访客>>

yanghongfeng8888

c.zhiwu

daizj

heavensay

博主相关

博客

微博

相册

留言

关于我

文章分类

社区版块

存档分类

博客分类：

基础

MySQL PHP Debian SVN Vmware

本文试图总结架设Wikipedia镜像的过程。

准备工作

首先需要安装Mediawiki软件，以及Mediawiki所依赖的软件，Apache，Php5，Mysql等，这里就不详细讲解了。对于懒人，有两个选择：

第一是安装Debian[1]，这样apt-get install mediawiki就可以完成软件的安装。

第二是下载VMWare Player[2]和一个预安装Mediawiki的虚拟机[3]。

其次需要安装Java[4]，因为导入数据的工具[5]是用Java实现的。

然后是硬盘，如果是英文wikipedia[6]，需要准备大概10G的空间，如果是中文[7]，需要1G左右的空间。注意Mysql数据库文件(典型的安装会使用/var/lib/mysql这个目录)所在的分区应具有足够的空闲空间。

最后，也是最重要的是，想办法下载wikipedia的数据文件，由于数据文件的网站[8]，和导入数据文件的工具及其使用说明[9]都被封锁，这个就得自己想办法，各显神通了。由于数据文件很多，记得我们需要的文件名字看起来像是：

enwiki-20061130-pages-articles.xml.bz2 [10]，或zhwiki-20061130-pages-articles.xml.bz2 [11]

另外，在制作镜像的过程中，需要对Apache的配置[12]、Mysql的管理[13]和Php[14]有一个简单的了解。

假设我们想要镜像英文Wikipedia，那么准备工作完成之后，我们有一个安装好了Mediawiki，以及下面两个文件：

数据文件：enwiki-20061130-pages-articles.xml.bz2

导入工具：mwdumper.jar [5]

初始化Wikipedia

安装Mediawiki软件后，需要完成初始化配置。建立镜像的初始化的过程和安装一个新的Wikipedia没有什么不同。我们假设初始化使用以下的参数：

Mediawiki的URL：http://localhost/mediawiki

Mediawiki的安装目录：/var/www/mediawiki

Mediawkik的配置文件位于/var/www/mediawiki/LocalSettings.php

Mysql数据库为wikidb，用户wikiuser，密码123456

清空数据库

初始化过程不但建立了Wikipedia所需要的数据库Table，而且还加入了一些初始记录。为了导入Wikipedia的镜像数据，我们需要首先清空数据库的部分表格。

下面的内容基本参考自某人的镜像过程[15]：

$ mysql -p wikidb
Password: ******
mysql> delete from page;
mysql> delete from revision;
mysql> delete from text;

配置mysql

数据倒入过程会使用很长的SQL语句，以及生成大量数据库的Undo记录。所以需要事先对mysql数据库进行配置。先编辑/etc/mysql/my.cnf，在合适位置加上下面内容：

[mysqld]
max_allowed_packet = 128M
innodb_log_file_size = 100M

[mysql]
max_allowed_packet = 128M

重启动mysql

# /etc/init.d/mysql restart

导入数据

用下面的命令倒入数据，大概需要1天的时间才能全部导入完毕。导入完毕之后，这个Wikipedia镜像就可以使用了。

java -Xmx600M -server -jar mwdumper.jar --format=sql:1.5 
  enwiki-20061130-pages-articles.xml.bz2 
| mysql -u wikiuser -p wikidb

可选：清空Undo日志

导入过程不但会生成10G的数据库文件，也会生成大约10G的Undo log，检查你的Mysql数据库的日志目录(典型的值是/var/log/mysql)，及该目录所在的分区，注意不要把分区写满。导入过程中，我们如果发现即将写满分区，可以用Mysql的管理命令清空Undo日志(需要用mysql超级帐号登入)。

$ mysql -u root reset master;

可选：修复数据

导入过程中可能会有一些数据表出错，包括pagelinks，templatelinks，page表，我们可以在导入数据完成后，用mysql的修复命令：

$ mysql -p wikidb mysql> repair table pagelinks extended; mysql> repair table page extended; mysql> repair table templatelinks extended;

修复过程可能会很慢，耐心等待。

安装扩展项

此时，虽然可以访问Wikipedia，但很多页面的部分内容不能正常显示，这是因为Wikipedia依赖很多mediawiki的扩展项才能够正常工作，而这些扩展项默认不会安装。Wikipedia所需的全部扩展项详见官方文档[16]。

首先检查是否安装Subversion，然后需要突破封锁下载到mediawiki extensions。

$ svn co -r REVISION \ http://svn.wikimedia.org/svnroot/mediawiki/trunk/extensions \ ~/extensions

其中REVISION是你所安装的Mediawiki软件对应的版本号，如果是mediawiki1.7，则将REVISION替换为15387，如果是其他版本的mediawiki，自己查。

虽然官方的Wikipedia使用很多扩展，但如果只想完成Wikipedia镜像，我们只需要关心少数几个扩展。下面的命令把这些extension安装到/var/www/mediawiki目录里。

$ cd ~/extensions
$ mkdir /var/www/mediawiki/extensions/ParserFunctions
$ cd ParserFunctions
$ cp Expr.php ParserFunctions.php 
    /var/www/extensions/ParserFunctions
$ cd ..
$ cd Cite
$ cp Cite.php Cite.i18n.php 
    /var/www/mediawiki/extensions/
$ cd ..
$ cp -a CategoryTree/ /var/www/mediawiki/extensions/
$ cp -a wikihiero /var/www/mediawiki/extensions/
$ find -name .svn | xargs rm

然后编辑配置文件/var/www/mediawiki/LocalSettings.php，追加以下内容：

require_once("$IP/extensions/ParserFunctions
/ParserFunctions.php");
$wgUseTidy=true;
require_once("$IP/extensions/Cite.php");
$wgUseAjax = true;
require_once("$IP/extensions/CategoryTree
/CategoryTree.php");
require_once("$IP/extensions/wikihiero/wikihiero.php");

这时应该可以正常显示大部分的Wikipedia页面了。

显示数学公式

安装完扩展项之后，应该可以正常显示大部分页面，但还有一些带有数学公式页面无法显示。Mediawiki内置了对数学公式的支持，但是需要系统已经安装有Latex等相关软件。

在Debian系统中，确信已经安装tetex-bin，ghostscript，imagemagick，mediawiki-math这几个package。其他系统请自行安装相应软件。

编辑配置文件/var/www/mediawiki/LocalSettings.php，追加以下内容：

$wgUseTeX=true

这时所有的数学公式应该都可以正常显示了。

可选：全文搜索

建立Wikipedia所需的所有工作到这里基本完毕，只是目前搜索功能只能完全匹配标题，如果需要全文搜索功能，还需要重新建立全文索引。索引的过程不但非常非常慢（几天到一周），而且数据库占用的磁盘空间会从不到10G膨胀到将近30G。

如果还是希望有全文搜索功能，参见[15]的最后一部分，这里就不详细叙述了。

参考

http://www.xxlinux.com/linux/article/network/server/20070904/9623.html

分享到：

利用wikipedia 的API实现对其内容的查询

2011-04-07 10:14
浏览 3421
评论(0)
分类:非技术
查看更多

发表评论

您还没有登录,请您登录后再发表评论

最近访客更多访客>>

博主相关

文章分类

社区版块

存档分类

最新评论