`
247687009
  • 浏览: 173972 次
  • 性别: Icon_minigender_1
  • 来自: 上海
社区版块
存档分类
最新评论

分布式文件系统TFS(taobao File System)安装

阅读更多

 

一。准备编译环境 

请在centos5的环境中安装 gcc编译器为4.1.2

 yum -y install gcc gcc+ gcc-c++ openssl openssl-devel pcre pcre-devel subversion automake.noarch libtool.x86_64 readline-devel.x86_64 e2fsprogs-devel.x86_64 readline-devel readline e4fsprogs e4fsprogs-devel ncurses-devel.x86_64  ncurses.x86_64

二。安装基本依赖包

1 libunwind

wget http://download.savannah.gnu.org/releases/libunwind/libunwind-1.1.tar.gz
tar xf  libunwind-1.1.tar.gz 
CFLAGS=-fPIC ./configure && make CFLAGS=-fPIC && make CFLAGS=-fPIC install 

 2 gperftools

 

wget http://gperftools.googlecode.com/files/gperftools-2.1.tar.gz 
tar xf gperftools-2.1.tar.gz 
cd gperftools-2.1 
./configure  && make && make install 
 3 jemalloc
http://www.canonware.com/download/jemalloc/jemalloc-3.6.0.tar.bz2
tar xf jemalloc-3.6.0.tar.bz2
cd jemalloc-3.6.0
./configure --prefix=/usr/local/ && make && make install
echo "/usr/local/lib" > /etc/ld.so.conf.d/usr_local_lib.conf 
echo "modprobe ext4" >> /etc/rc.sysinit
modprobe ext4
/sbin/ldconfig

 

 

4 tb-common-utils

vi ~/.bash_profile
加入
export TBLIB_ROOT=/usr/local/tblib
source ~/.bash_profile
svn co -r 18 http://code.taobao.org/svn/tb-common-utils/trunk tb-common-utils
sh build.sh

5 mysql 5.5+

1.安装配置yum 
wget http://centos.ustc.edu.cn/epel/5/x86_64/epel-release-5-4.noarch.rpm
wget http://rpms.famillecollet.com/enterprise/5/remi/x86_64/remi-release-5.10-1.el5.remi.noarch.rpm
rpm -ivh *.rpm
yum remove mysql
yum -y --enablerepo=remi install mysql mysql-server mysql.x86_64  mysql-devel.x86_64

三 make instll tfs

svn checkout http://code.taobao.org/svn/tfs/tags/release-2.2.16 tfs
cd tfs
sh bulid.sh init && ./configure --prefix=/usr/local/tfs --with-release=yes && make && make install
0
1
分享到:
评论

相关推荐

    淘宝分布式文件服务器taobao file system tfs配置文件

    淘宝分布式文件服务器taobao file system tfs配置文件 为线上正在使用的生产配置 具体配置项可视自己服务微调,配置项含义参考tfs.taobao.org的文档说明.有无备份集群不影响TFS的运行,若没有,则去掉备份集群的配置

    阿里巴巴开源的分布式文件系统 TFS.zip

    淘宝在这一领域做了有效的探索和实践,Taobao File System(TFS)作为淘宝内部使用的分布式文件系统,针对海量小文件的随机读写访问性能做了特殊优化,承载着淘宝主站所有图片、商品描述等数据存储。 文章首先概括了...

    分布式文件系统在全国公安交管互联网服务平台的研究与应用.pdf

    在对分布式文件系统进行选型研究时,除了FastDFS之外,还有Hadoop HDFS(Hadoop Distributed File System)和淘宝的TFS(Taobao File System)。这些系统均基于GoogleFS的设计原理,并对开源实现进行了改进。在选择...

    淘宝分布式文件系统

    淘宝分布式文件系统(TFS,Taobao File System)是阿里巴巴集团为解决大规模互联网服务中的海量数据存储问题而设计的一种高性能、高可用的分布式文件系统。它由C++语言编写,旨在提供大规模的数据共享和访问能力,...

    tfs-1.3 淘宝内部使用的分布式文件系统 代码

    TFS,全称为Taobao File System,是淘宝公司内部广泛采用的一种分布式文件系统。它的设计初衷是为了高效处理海量的小文件,尤其是那些在电子商务环境中常见的图片、商品描述等数据。TFS在随机读写访问性能上进行了...

    分布式文件系统-TFS和Haystack对比1

    本篇文章主要对比了两种分布式文件系统——TFS(TensorFlow File System)和Haystack,分析了它们在存储、检索、元数据管理和扩展性方面的差异。 首先,TFS(TensorFlow File System)是一种通用的分布式文件存储...

    淘宝分布式文件储存引擎——TFS

    淘宝的分布式文件存储引擎,简称TFS(Taobao File System),是阿里巴巴集团为解决大规模电商网站数据存储问题而设计的一款高性能、高可用的文件系统。它主要服务于淘宝内部的大量在线业务,如商品图片、用户数据等...

    TFS(Taobao File System)功能说明以及使用

    **TFS(Taobao File System)**是一款专为淘宝网设计的分布式文件系统,其核心目标是处理大规模的非结构化数据。该系统通过在普通的Linux服务器集群上构建,实现了高可扩展性、高可用性和高性能的特点。TFS特别适用...

    分布式文件系统选型分析.docx

    在本文中,我们将深入探讨几种常见的分布式文件系统,包括TFS、HDFS、FastDFS、mogileFS、MFS、GlusterFS以及Ceph,分析其特点、适用场景以及潜在的局限性。 1.1 TFS(Team Foundation Server) TFS是一个由...

    Taobao File System

    FileSystem)是一个高可扩展、高可用、高性能、面向互联网服务的分布式文件系统,主要针对海量的非结构化数据,它构筑在普通的Linux机器集群上,可为外部提供高可靠和高并发的存储访问。TFS为淘宝提供海量小文件存储...

    基于TFS的分布式文件存储平台研究与实现.pdf

    本文介绍了一种基于TFS(Taobao File System,淘宝文件系统)的分布式文件存储平台的研究与实现。TFS是由淘宝公司为了应对自身业务中海量小文件存储需求而开发的一种高效的文件存储框架。TFS具有高效性、容错性和高...

    分布式文件系统:原理 问题与方法1

    分布式文件系统是一种针对大规模数据存储需求设计的系统,它通过在多个物理分散的存储节点上分布数据,解决了传统本地文件系统在文件大小、数量和并发访问上的局限。这种系统广泛应用于互联网企业和大数据处理场景,...

    分布式文件系统-Haystack1

    【分布式文件系统-Haystack1】是Facebook为解决大规模图片存储和访问问题而设计的一种高性能、低延迟的文件系统。Haystack的目标是优化元数据管理和提高读写效率,尤其是在处理海量小文件(如图片)的场景下。...

    分布式存储系统调研1

    本文将重点探讨分布式存储系统中的TFS(Taobao File System)和Ceph的特性、优缺点以及应用场景。 TFS,全称为淘宝文件系统,是阿里巴巴集团为解决亿级乃至十亿级小文件存储问题而设计的一种分布式文件系统。它的...

    大规模分布式存储系统笔记1

    1. **分布式文件系统**:适用于非结构化数据,如文本、图像等,例如Hadoop的HDFS。 2. **分布式键值系统**:用于存储半结构化数据,如NoSQL数据库中的键值对,如Redis和Memcached。 3. **分布式表格系统**:处理更...

    TFS淘宝分布式核心存储引擎

    其中,TFS(Taobao File System)是淘宝自主研发的一款分布式文件系统,它在处理海量数据存储与访问上发挥了关键作用。本文将深入解析TFS的核心概念、设计原理以及应用实践,为读者提供一个全面了解淘宝分布式核心...

    tfs 安装文档

    TFS(Taobao File System)是一种分布式文件系统,由淘宝开发,用于解决大规模数据存储问题。本文档提供了在 RedHat 和 Centos 操作系统下安装 TFS 的步骤和注意事项。 1. 安装 GCC 在安装 TFS 之前,需要安装 GCC...

    tfs-client-java

    1. **分布式文件系统**:TFS(Taobao File System)是一种大规模、高性能的分布式文件系统,旨在解决大数据量存储和处理的问题。它通过将数据分散存储在多台服务器上,实现了高可用性和高吞吐量,是大数据处理的重要...

    TFS笔记(淘宝分布式存储引擎

    TFS(Taobao File System)是阿里巴巴集团针对海量非结构化数据存储需求研发的一种分布式存储系统。随着淘宝平台的快速发展,截至2016年,平台上的卖家数量已经超过900万,商品数量达到数十亿级别。面对如此庞大的...

Global site tag (gtag.js) - Google Analytics