- 浏览: 405582 次
- 性别:
- 来自: 北京
-
文章分类
最新评论
-
秦时明月黑：
深入浅出，楼主很有功底
hive编译部分的源码结构 -
tywo45：
感觉好多错误，但还是支持！
HDFS+MapReduce+Hive+HBase十分钟快速入门 -
xbbHistory：
解析的很棒！！
Linux-VFS -
darrendu：
执行这个命令，bin/hadoop fs -ls /home/ ...
Hadoop示例程序WordCount运行及详解 -
moudaen：
请问楼主，我执行总后一条语句时，执行的是自带的1.sql，你当 ...
TPC-H on Hive
MogileFS DB 表结构
MogileFS数据库使用Innodb数据引擎
以下是所有表：
+----------------------+
| Tables_in_mogilefs |
+----------------------+
| class |
| device |
| domain |
| file |
| file_on |
| file_on_corrupt |
| file_to_delete |
| file_to_delete2 |
| file_to_delete_later |
| file_to_queue |
| file_to_replicate |
| fsck_log |
| host |
| server_settings |
| tempfile |
| unreachable_fids |
+----------------------+
d omain （域）：用于记录域信息
+-----------+----------------------+------+-----+---------+-------+
| Field | Type | Null | Key | Default | Extra |
+-----------+----------------------+------+-----+---------+-------+
| dmid | smallint(5) unsigned | NO | PRI | NULL | |
| namespace | varchar(255) | YES | UNI | NULL | |
+-----------+----------------------+------+-----+---------+-------+
class（类）：用于记录各域中的类信息，对每个类可定义不同的备份策略
+-------------+----------------------+------+-----+---------+-------+
| Field | Type | Null | Key | Default | Extra |
+-------------+----------------------+------+-----+---------+-------+
| dmid | smallint(5) unsigned | NO | PRI | NULL | |
| classid | tinyint(3) unsigned | NO | PRI | NULL | |
| classname | varchar(50) | YES | | NULL | |
| mindevcount | tinyint(3) unsigned | NO | | NULL | |
| replpolicy | varchar(255) | YES | | NULL | |
+-------------+----------------------+------+-----+---------+-------+
host（存储节点）：用于记录各存储节点状态和访问的ip和端口等
+---------------+-----------------------------+------+-----+---------+-------+
| Field | Type | Null | Key | Default | Extra |
+---------------+-----------------------------+------+-----+---------+-------+
| hostid | mediumint(8) unsigned | NO | PRI | NULL | |
| status | enum('alive','dead','down') | YES | | NULL | |
| http_port | mediumint(8) unsigned | YES | | 7500 | |
| http_get_port | mediumint(8) unsigned | YES | | NULL | |
| hostname | varchar(40) | YES | UNI | NULL | |
| hostip | varchar(15) | YES | UNI | NULL | |
| altip | varchar(15) | YES | UNI | NULL | |
| altmask | varchar(18) | YES | | NULL | |
+---------------+-----------------------------+------+-----+---------+-------+
device（设备块）：用于记录各Host中的设备块信息，如总共多大，使用了多少空间，当前设备状态等
+----------+------------------------------------------------+------+-----+---------+-------+
| Field | Type | Null | Key | Default | Extra |
+----------+------------------------------------------------+------+-----+---------+-------+
| devid | mediumint(8) unsigned | NO | PRI | NULL | |
| hostid | mediumint(8) unsigned | NO | | NULL | |
| status | enum('alive','dead','down','readonly','drain') | YES | MUL | NULL | |
| weight | mediumint(9) | YES | | 100 | |
| mb_total | mediumint(8) unsigned | YES | | NULL | |
| mb_used | mediumint(8) unsigned | YES | | NULL | |
| mb_asof | int(10) unsigned | YES | | NULL | |
+----------+------------------------------------------------+------+-----+---------+-------+
server_settings（服务器设置）：服务器的一些配置信息，主要用于记录MogileFS系统执行fsck的相关记录，fsck操作会根据当前mogileFS的备份策略进行文件的备份检查
+--------------------------+----------+
| field | value |
+--------------------------+----------+
| fsck_fids_checked | 0 |
| fsck_fid_at_end | 23972852 |
| fsck_highest_fid_checked | 0 |
| fsck_logid_processed | 6244097 |
| fsck_start_fid | 1121081 |
| fsck_start_maxlogid | 6244097 |
| internal_queue_limit | 500 |
| queue_rate_for_fsck | 2000 |
| queue_size_for_fsck | 20000 |
| schema_version | 12 |
+--------------------------+----------+
fsck_log（fsck日志记录）：mogileFS执行fsck时的具体操作记录（具体对某个fid文件进行的操作）
+--------+-----------------------+------+-----+---------+----------------+
| Field | Type | Null | Key | Default | Extra |
+--------+-----------------------+------+-----+---------+----------------+
| logid | int(10) unsigned | NO | PRI | NULL | auto_increment |
| utime | int(10) unsigned | NO | MUL | NULL | |
| fid | int(10) unsigned | YES | | NULL | |
| evcode | char(4) | YES | | NULL | |
| devid | mediumint(8) unsigned | YES | | NULL | |
+--------+-----------------------+------+-----+---------+----------------+
unreachable_fids（不可达的fid）：不可到达的文件列表
+------------+------------------+------+-----+---------+-------+
| Field | Type | Null | Key | Default | Extra |
+------------+------------------+------+-----+---------+-------+
| fid | int(10) unsigned | NO | PRI | NULL | |
| lastupdate | int(10) unsigned | NO | MUL | NULL | |
+------------+------------------+------+-----+---------+-------+
tempfile（不可达的fid）：复制的临时文件信息
+------------+----------------------+------+-----+---------+----------------+
| Field | Type | Null | Key | Default | Extra |
+------------+----------------------+------+-----+---------+----------------+
| fid | int(10) unsigned | NO | PRI | NULL | auto_increment |
| createtime | int(10) unsigned | NO | | NULL | |
| classid | tinyint(3) unsigned | NO | | NULL | |
| dmid | smallint(5) unsigned | NO | | NULL | |
| dkey | varchar(255) | YES | | NULL | |
| devids | varchar(60) | YES | | NULL | |
+------------+----------------------+------+-----+---------+----------------+
file（文件基本信息）：记录文件的基本信息，属于哪个域，哪个类，fid对应的dkey、文件大小以及记录该文件的复制份数是多少
+----------+----------------------+------+-----+---------+-------+
| Field | Type | Null | Key | Default | Extra |
+----------+----------------------+------+-----+---------+-------+
| fid | int(10) unsigned | NO | PRI | NULL | |
| dmid | smallint(5) unsigned | NO | MUL | NULL | |
| dkey | varchar(255) | YES | | NULL | |
| length | bigint(20) unsigned | YES | | NULL | |
| classid | tinyint(3) unsigned | NO | | NULL | |
| devcount | tinyint(3) unsigned | NO | | NULL | |
+----------+----------------------+------+-----+---------+-------+
file_on（文件所在设备）：记录每个fid文件在什么设备上，一个fid文件同时存储在多个设备上，则各有一条记录
+-------+-----------------------+------+-----+---------+-------+
| Field | Type | Null | Key | Default | Extra |
+-------+-----------------------+------+-----+---------+-------+
| fid | int(10) unsigned | NO | PRI | NULL | |
| devid | mediumint(8) unsigned | NO | PRI | NULL | |
+-------+-----------------------+------+-----+---------+-------+
file_on_corrupt（损坏的文件）：记录哪一个文件在哪个设备上损坏了
+-------+-----------------------+------+-----+---------+-------+
| Field | Type | Null | Key | Default | Extra |
+-------+-----------------------+------+-----+---------+-------+
| fid | int(10) unsigned | NO | PRI | NULL | |
| devid | mediumint(8) unsigned | NO | PRI | NULL | |
+-------+-----------------------+------+-----+---------+-------+
file_to_delete（要删除的文件）：记录哪些文件需要删除
+-------+------------------+------+-----+---------+-------+
| Field | Type | Null | Key | Default | Extra |
+-------+------------------+------+-----+---------+-------+
| fid | int(10) unsigned | NO | PRI | NULL | |
+-------+------------------+------+-----+---------+-------+
file_to_delete2（要删除的文件）：记录删除失败的文件以及再次尝试的时间和失败的总次数
+-----------+---------------------+------+-----+---------+-------+
| Field | Type | Null | Key | Default | Extra |
+-----------+---------------------+------+-----+---------+-------+
| fid | int(10) unsigned | NO | PRI | NULL | |
| nexttry | int(10) unsigned | NO | MUL | NULL | |
| failcount | tinyint(3) unsigned | NO | | 0 | |
+-----------+---------------------+------+-----+---------+-------+
file_to_delete_later（要延迟删除的文件）：记录要延迟删除的文件
+----------+------------------+------+-----+---------+-------+
| Field | Type | Null | Key | Default | Extra |
+----------+------------------+------+-----+---------+-------+
| fid | int(10) unsigned | NO | PRI | NULL | |
| delafter | int(10) unsigned | NO | MUL | NULL | |
+----------+------------------+------+-----+---------+-------+
file_to_queue（当前排队的文件）：不详
+-----------+----------------------+------+-----+---------+-------+
| Field | Type | Null | Key | Default | Extra |
+-----------+----------------------+------+-----+---------+-------+
| fid | int(10) unsigned | NO | PRI | NULL | |
| devid | int(10) unsigned | YES | | NULL | |
| type | tinyint(3) unsigned | NO | PRI | NULL | |
| nexttry | int(10) unsigned | NO | | NULL | |
| failcount | tinyint(3) unsigned | NO | | 0 | |
| flags | smallint(5) unsigned | NO | | 0 | |
+-----------+----------------------+------+-----+---------+-------+
file_to_replicate（要做复制分发的文件）：要做分发的文件，记录来源设备，失败次数和下次重试的时间等信息。
+-----------+----------------------+------+-----+---------+-------+
| Field | Type | Null | Key | Default | Extra |
+-----------+----------------------+------+-----+---------+-------+
| fid | int(10) unsigned | NO | PRI | NULL | |
| nexttry | int(10) unsigned | NO | MUL | NULL | |
| fromdevid | int(10) unsigned | YES | | NULL | |
| failcount | tinyint(3) unsigned | NO | | 0 | |
| flags | smallint(5) unsigned | NO | | 0 | |
+-----------+----------------------+------+-----+---------+-------+
发表评论
-
财政直接支付和财政授权支付流程
2012-08-02 09:53 4575代理银行：是指财政国 ... -
实验室集群重启后~~~
2011-04-01 16:08 884在各节点启动NIS服务： [root@node32 ~]# ... -
天文数据环境配置
2011-02-17 10:41 842node1: hive，hadoop安装在/cq mysq ... -
在电脑上体验Android
2010-07-20 13:51 1200在电脑上体验An ... -
mogilefs--glossary
2010-07-01 15:15 934Glossary T ... -
mogilefs-java客户端的测试
2010-07-01 13:59 14241.at java.net.URLEncoder.encode ... -
安装mogilefs
2010-06-23 19:33 1511http://code.google.com/p/mogile ... -
总结一下这两天的工作
2009-12-19 01:10 850主要是spg项目的数据库，把casset表中的数据导入到vir ... -
日志log4j
2009-12-19 01:09 767import org.apache.log4j.Logger; ... -
tomcat中文乱码问题
2009-12-19 01:08 756解决办法 修改tomcat的默认字符集 修改tomca ...
相关推荐
2. **无单点失败**：MogileFS的三大组件——存储节点(Storage)、跟踪器(Tracker)和用于跟踪的数据库(DB)——均可以在多台机器上运行，这种分布式的设计确保了即使某一台机器出现故障，整个系统仍能保持运行，从而...
### MogileFS 实现原理与架构详解 #### 一、MogileFS 概述 MogileFS 是一套开源的分布式存储系统，主要用于高效存储海量小文件。它由 Danga Interactive 公司（LiveJournal 的子公司）开发，并在开源社区内得到了...
MogileFS，全称为Mogile File System，是由Danga Interactive公司开发的一种分布式文件系统，主要用于存储和检索大量文件。这个系统设计的目标是提供高可用性、可扩展性和容错性，适合处理海量数据的互联网服务。...
### Nginx与MogileFS结合的关键技术点分析 #### 一、MogileFS分布式文件系统的特性 MogileFS是一种分布式文件系统，它能够有效地管理大规模的数据集，并且具备良好的可扩展性和容错性。以下是MogileFS的一些关键...
1. 安装 MySQL 5.6.37：确保数据库服务器正确安装并运行，配置合适的用户权限和数据库表结构。 2. 安装 MogileFS：这包括设置跟踪服务器（trackers）、存储设备（storage devices）以及客户端库。 3. 配置 MogileFS...
MogileFS客户端是分布式文件系统MogileFS的一部分，它为用户提供了一种方式来存取存储在MogileFS集群中的文件。这个"MogileFS-Client.zip_client"压缩包很可能是包含了MogileFS客户端的源代码，使得开发者能够理解和...
MogileFS-Server-2.46-2.el6.noarch.rpm
MogileFS是一个分布式文件系统，由Danga Interactive开发，主要用于存储和检索大量文件。它具有高可用性、可扩展性和容错性，适用于大规模互联网应用。在这个场景中，我们关注的是"MogileFS Java客户端"，这是一个...
为了确保系统的高可用性，建议采用HA（High Availability）结构来部署数据库服务器。 - **StorageServer（存储节点）**：通过启动`mogstored`程序，当前机器就会成为存储节点。这些节点负责实际的数据存储工作。一个...
### MogileFs文件系统部署方案知识点详解 #### 一、服务器规划与物理拓扑 - **服务器规划**：本文档提供了MogileFs文件系统的部署规划，包括了Tracker节点、Store节点以及Nginx反向代理节点的具体规划。其中： - ...
《FastDFS与MogileFS：两种开源分布式文件系统的比较》 FastDFS和MogileFS都是开源的分布式文件系统，适用于处理大量文件存储和访问的场景，如图像分享网站和视频流媒体服务。这两种系统都设计有防止单点故障的机制...
Yum方式安装mogilefs-附件资源
该项目为PNDFS分布式文件系统设计源码，基于开源高性能分布式文件系统MogileFS构建。源码包含91个文件，涵盖49个Python脚本、11个Java类、7个JAR包、6个配置文件、3个YAML文件、2个日志文件、1个项目文件、1个许可证...
**MogileFS简介** MogileFS是一个分布式文件系统，特别适合于存储大量静态文件，如图片。它设计的主要目标是提供高可用性、可扩展性和低成本的存储解决方案。MogileFS的设计理念是通过分布式存储节点和元数据跟踪器...
3. 解压并查看`p5-bundle-mogilefs-master`中的源代码，了解模块的结构和用法。 4. 根据项目需求，编写Perl脚本以利用这些模块进行MogileFS的操作。 **总结** p5-bundle-mogilefs是Perl环境中用于操作MogileFS的...
MogileFS-Utils-2.19-1.el6.noarch.rpm
perl-MogileFS-Client-1.14-1.el6.noarch.rpm
MogileFS-Server-mogstored-2.46-2.el6.noarch.rpm