`

淘宝 TFS 文件系统/分布式文件系统

阅读更多

  淘宝Tfs文件系统安装

 

一、NS DS 上都安装执行的:
 
官网地址:http://code.taobao.org/p/tfs/wiki/deploy/ (下载安装):
1、需要确保安装了automake autoconfig 和 libtool, 使用auotmake --version查看,一般情况下已安装
 Yum –y install automake autoconfig libtool
 
2、TFS依赖于底层开发包tbnet,需要下载tbsys和tbnet源代码(svn checkout http://code.taobao.org/svn/tb-common-utils/trunk/ tb-common-utils)
 
yum –y install libtool mysql-devel readline readline-devel
 
[root@localhost home]# ls
cd tb-common-utils tb-common-utils.zip tfs-1.4.tar.gz
[root@localhost home]# unzip tb-common-utils.zip
[root@localhost home]# cd tb-common-utils
[root@localhost tb-common-utils]# vi /etc/profile
# /etc/profile
export TBLIB_ROOT="/usr/local/tfs_lib"
(ps:建议将这行命令直接写入~/.bash_profile,然后执行“. ~/.bash_profile”)。 进入tb-common-utils文件夹, 执行build.sh进行安装.
 
[root@localhost tb-common-utils]# chmod a+x build.sh
[root@localhost tb-common-utils]# ./build.sh
安装在 /usr/local/tfs_lib 目录下了
 
[root@svnshangde2 home]# tar zxvf tfs-1.4.tar.gz -C /usr/src/
[root@svnshangde2 home]# cd /usr/src/tfs-1.4/
[root@svnshangde tfs-1.4]# ./build.sh init
[root@svnshangde2 tfs-1.4]# ./configure --prefix=/usr/local/tfs
[root@svnshangde2 tfs-1.4]# make
[root@svnshangde2 tfs-1.4]# make install
 
二、DS 上操作:
1.       安装ext4格式工具:
 
yum –y install e4fsprogs e4fsprogs-devel
 
2.       建立数据目录:
[root@svnshangde home]# mkdir -p /home/disk1
[root@svnshangde home]# mkdir -p /home/disk2
v[root@svnshangde home]# mkdir -p /home/disk3
 
3.       格式硬盘:
[root@svnshangde home]# mkfs.ext4 /dev/sdb
[root@svnshangde home]# mkfs.ext4 /dev/sdc
[root@svnshangde home]# mkfs.ext4 /dev/sdd
 
4.挂载硬盘
[root@svnshangde home]# mount /dev/sdb /home/disk1
[root@svnshangde home]# mount /dev/sdc /home/disk2
[root@svnshangde home]# mount /dev/sdd /home/disk3
 
6.查看挂载分区:
[root@svnshangde home]# mount

[root@svnshangde home]# df

7、配置文件:(附件):

(3.10 _3.11ns.conf)(3.20_3.21 ds.conf)(3.20_3.21ads.conf)

8、存储区预分配:(ds上)
[root@svnshangde scripts]# ./stfs format 1,2,3
成功则返回:SUCCESSFULLY 信息
 
三、启动:(ns ds ):
[root@ns1 scripts]# ./tfs start_ns    (3.10 3.11上)
 
[root@svnshangde scripts]# ./tfs start_ds 1,2,3 (3.20 3.21上)
 
四、查看:
(1)[root@ns1 scripts]# ./tfs check_ns                    (3.10 3.11上)
  nameserver is running pid: 31150             
 
(2)[root@svnshangde scripts]# ./tfs check_ds              (3.20 3.21上)
 dataserver [ 1 2 3 ] is running
 
(3)查看block块:

 

(4)[root@svnshangde bin]# ./ssm -s 192.168.3.10:8108    (随便一台连接ns)

show >
可以看到有8个可写块:一台上就有24个可写快:

 

(5)查看ds实际用掉容量:

 

(6)查看block信息:

7 )连接 ns 及上传 aa.txt 文件:

(8)返回如下信息:成功!

更多详解介绍可参考官方网站        http://code.taobao.org/p/tfs/wiki/index/

分享到:
评论

相关推荐

    淘宝TFS分布式文件系统安装说明手册.doc

    淘宝TFS分布式文件系统安装说明手册

    淘宝分布式文件储存引擎——TFS

    淘宝的分布式文件存储引擎,简称TFS(Taobao File System),是阿里巴巴集团为解决大规模电商网站数据存储问题而设计的一款高性能、高可用的文件系统。它主要服务于淘宝内部的大量在线业务,如商品图片、用户数据等...

    tfs-1.3 淘宝内部使用的分布式文件系统 代码

    《深入解析淘宝内部分布式文件系统TFS:代码详解》 TFS,全称为Taobao File System,是淘宝公司内部广泛采用的一种分布式文件系统。它的设计初衷是为了高效处理海量的小文件,尤其是那些在电子商务环境中常见的图片...

    淘宝分布式文件系统

    淘宝分布式文件系统(TFS,Taobao File System)是阿里巴巴集团为解决大规模互联网服务中的海量数据存储问题而设计的一种高性能、高可用的分布式文件系统。它由C++语言编写,旨在提供大规模的数据共享和访问能力,...

    TFS笔记(淘宝分布式存储引擎

    TFS(Taobao File System)是阿里巴巴集团针对海量非结构化数据存储需求研发的一种分布式存储系统。随着淘宝平台的快速发展,截至2016年,平台上的卖家数量已经超过900万,商品数量达到数十亿级别。面对如此庞大的...

    阿里巴巴开源的分布式文件系统 TFS.zip

    TFS(Taobao FileSystem)是一个高可扩展、高可用、高性能、面向互联网服务的分布式文件系统,其设计目标是支持海量的非结构化数据。 目前,国内自主研发的文件系统可谓凤毛麟角。淘宝在这一领域做了有效的探索和...

    淘宝文件系统TFS深入分析

    TFS(Taobao FileSystem)是一个高可扩展、高可用、高性能、面向互联网服务的分布式文件系统,主要针对海量的非结构化数据,它构筑在普通的Linux机器集群上,可为外部提供高可靠和高并发的存储访问。TFS为淘宝提供...

    分布式文件系统-TFS1

    分布式文件系统-TFS1 是淘宝自主研发的分布式文件系统,旨在满足淘宝对小文件存储的需求。TFS1 采用了高可用性集群架构和平滑扩容,保证了整个文件系统的可用性和扩展性。 TFS1 的架构设计时需要考虑两个问题:...

    TFS淘宝分布式核心存储引擎

    其中,TFS(Taobao File System)是淘宝自主研发的一款分布式文件系统,它在处理海量数据存储与访问上发挥了关键作用。本文将深入解析TFS的核心概念、设计原理以及应用实践,为读者提供一个全面了解淘宝分布式核心...

    基于TFS的分布式文件存储平台研究与实现.pdf

    本文介绍了一种基于TFS(Taobao File System,淘宝文件系统)的分布式文件存储平台的研究与实现。TFS是由淘宝公司为了应对自身业务中海量小文件存储需求而开发的一种高效的文件存储框架。TFS具有高效性、容错性和高...

    淘宝分布式文件服务器taobao file system tfs配置文件

    淘宝分布式文件服务器taobao file system tfs配置文件 为线上正在使用的生产配置 具体配置项可视自己服务微调,配置项含义参考tfs.taobao.org的文档说明.有无备份集群不影响TFS的运行,若没有,则去掉备份集群的配置

    分布式文件系统在全国公安交管互联网服务平台的研究与应用.pdf

    在对分布式文件系统进行选型研究时,除了FastDFS之外,还有Hadoop HDFS(Hadoop Distributed File System)和淘宝的TFS(Taobao File System)。这些系统均基于GoogleFS的设计原理,并对开源实现进行了改进。在选择...

    淘宝TFS架构演进

    淘宝的Taobao File System(TFS)是阿里巴巴集团内部广泛使用的分布式文件系统。随着业务的增长和技术的发展,TFS也在不断地进行架构演进,以满足更高的性能、可靠性和扩展性的需求。 #### 二、TFS架构关键组件 ...

    淘宝TFS介绍

    淘宝TFS介绍 TFS(Taobao FileSystem)是一种高可扩展、高可用、高性能、面向互联网服务的分布式文件系统,主要针对海量的非结构化数据。它构筑在普通的 Linux 机器集群上,为外部提供高可靠和高并发的存储访问。...

    大型应用系统架构设计 淘宝分布式调用跟踪系统介绍 共60页.pptx

    鹰眼覆盖了淘宝的主要通信中间件,如前端请求接入的Tengine(基于Nginx)、分布式Session管理的tbsession、远程服务调用框架HSF、异步消息通讯Notify、分库分表的JDBC访问TDDL、分布式缓存Tair、分布式文件系统TFS等...

    分布式存储系统调研1

    TFS,全称为淘宝文件系统,是阿里巴巴集团为解决亿级乃至十亿级小文件存储问题而设计的一种分布式文件系统。它的核心设计特点是将小文件聚合到一个Block中,以提高随机IO性能和存储效率。TFS由NameServer和Data...

    tfs-client-java

    【tfs-client-java】是一个专为Java开发者设计的开源客户端库,主要用于与淘宝(Taobao)的分布式文件系统(TFS)进行交互。这个库使得Java应用能够方便地访问和操作存储在分布式环境中的大量数据,提升了数据处理的...

    tfs_server.exe

    TFS(Team Foundation Server)是一个高可扩展、高可用、高性能、面向互联网服务的分布式文件系统,主要针对海量的非结构化数据,它构筑在普通的Linux机器集群上,可为外部提供高可靠和高并发的存储访问。TFS为淘宝...

    tfs夹包下载

    TFS是由阿里巴巴集团开发的一个分布式文件系统,旨在处理大规模的数据存储和访问需求,尤其适用于电商行业的高并发场景。 "TFS"作为一个标签,表明这个压缩包可能包含了与TFS相关的源代码、库文件、配置文件或者...

    TFS JavaAPI源码(附带JUinit测试用例)

    TFS(Taobao File System)是阿里巴巴集团开发的一款分布式文件系统,主要用于存储大量的小文件。它为海量数据的存储和访问提供高并发、高可用的解决方案。TFS Java API 是淘宝官方提供的用于与TFS进行交互的Java...

Global site tag (gtag.js) - Google Analytics