`
david.org
  • 浏览: 157431 次
  • 性别: Icon_minigender_1
  • 来自: 上海
社区版块
存档分类
最新评论

[HDFS] Hadoop Over Ftp 项目的两点改进

HadoopLinuxMinaApache网络协议 
阅读更多
General

We developed FTP server which works on a top of HDFS. It allows to connect to HDFS using any FTP client.
FTP server is configurable by hdfs-over-ftp.conf and users.conf. Also it allows to use secure connection over SSL and supports all HDFS permissions.

We used Apache FtpServer to develop it.
http://mina.apache.org/ftpserver

We provide source code under Apache License 2.0

下载地址：https://sites.google.com/a/iponweb.net/hadoop/Home/hdfs-over-ftp/ftp.tar.bz2?attredirects=0

1. 当FTP客户端遇到网络异常时，那么此时将导致正在上传的Block回滚，甚至整个文件会丢失。解决方案是在异常时，记录stream，然后关闭。

2. 支持续传。
分享到：
| [HDFS] 主控节点的双IP解决方案
评论
2 楼 david.org 2009-05-28  
超级潜水员 写道

可以看看webdav协议啊, 而且有客户端将hdfs mount为linux文件系统,或是 windows web文件夹.http://badqiu.iteye.com/blog/269641


嗯，一开始我正研究的webdav，并且读了它的代码。你的贴子，我好好看看，谢谢
1 楼 超级潜水员 2009-05-28  
可以看看webdav协议啊, 而且有客户端将hdfs mount为linux文件系统,或是 windows web文件夹.
http://badqiu.iteye.com/blog/269641

发表评论

您还没有登录,请您登录后再发表评论

相关推荐

    hdfs-over-ftp-hadoop-0.20.0.rar_ftp_ftpoverhdfs_hdfs文件传入ftp_java

    标题 "hdfs-over-ftp-hadoop-0.20.0.rar" 提示我们关注的是一个关于将HDFS（Hadoop Distributed File System）与FTP（File Transfer Protocol）整合的项目，特别适用于版本0.20.0的Hadoop。这个项目可能提供了在...

    hdfs-over-ftp安装包及说明

    【标题】"hdfs-over-ftp安装包及说明"涉及的核心技术是将FTP（File Transfer Protocol）服务与HDFS（Hadoop Distributed File System）相结合，允许用户通过FTP协议访问和操作HDFS上的数据。这个标题暗示了我们将在...

    hadoop 2.7.1 hdfs-over-ftp

    在本文档中，我们首先了解了如何通过Hadoop 2.7.1实现HDFS与FTP的结合使用，称为hdfs-over-ftp。为了实现这一功能，我们需要经过几个步骤来配置和启动一个支持Hadoop文件系统的FTP服务器。 首先，文档提到了安装和...

    hdfs-over-ftp的hadoop2.4.1的ftp服务器

    官网是hadoop的0.20版本的，改写为hadoop的2.4.1版本的hdfs-over-ftp，改动详情如我的博客地址http://blog.csdn.net/zhulin40/article/details/38444875

    大数据 hdfs-over-ftp jar包

    大数据 hdfs-over-ftp jar包。 基于maven工程打包的可执行jar包，支持hadoop版本cdh5.12.1，以及kerberos认证，配置kerberos信息的核心配置文件core.properties，下载集群相关认证信息配置即可，其他配置文件信息是...

    hdfs-over-ftp 的重构 支持hadoop2.0.0

    官网的hdfs-over-ftp已经好久没有更新，还只是停留在hadoop 0.20.x，下载之后不兼容无法使用，所以对hdfs-over-ftp进行了重构，此软件支持hadoop2.0.0，其他版本还需要重新编译打jar包，zip包中附带了一个使用说明 ...

    Hadoop2.7.2LIUNX集群(5)集群hdfs-over-ftp重构2.7.2，直接使用

    在本主题中，我们将深入探讨如何在Linux环境中配置和使用Hadoop 2.7.2集群，特别是关于HDFS-over-FTP的重构。Hadoop Distributed File System (HDFS)是Hadoop生态系统的核心部分，它提供了分布式存储解决方案，而...

    hdfs-over-ftp源码（maven工程）

    基于原生组件二次开发，maven工程，pom.xml文件中可引入对应集群的版本的jar，即可支持多种，本工程是基于hadoop cdh5.12.1版本。配置文件只增加了core.properties，关于kerberos信息配置，以及集群核心的配置文件...

    基于HDFS+FTP的文件存储与迁移实验代码.zip

    在本实验中，我们将探讨如何利用Hadoop的分布式文件系统（HDFS）和FTP协议进行文件的存储与迁移。这个"基于HDFS+FTP的文件存储与迁移实验代码.zip"包含了一个名为"HDFS_FTP_ForMyProject-master"的项目源码，这为...

    hdfs-over-ftp的重构

    官网的hdfs-over-ftp已经好久没有更新，还只是停留在hadoop 0.20.x，下载之后不兼容无法使用，所以对hdfs-over-ftp进行了重构，此软件支持hadoop2.0.0，其他版本还需要重新编译打jar包，zip包中附带了一个使用说明

    hdfs-over-ftp

    基于maven工程打包的可执行jar包，支持hadoop版本cdh5.12.1，以及kerberos认证，配置kerberos信息的核心配置文件core.properties，下载集群相关认证信息配置即可，其他配置文件信息是原生的，可使用原生脚本生成配置...

    英特尔Hadoop发行版 2.2 管理手册

    - **7.1.5 FTP Over HDFS使用指南** - 提供使用FTP over HDFS的指南。 **7.2 权限控制** - 设置和管理集群的访问权限。 **7.3 Revolution R Enterprise on Hadoop** - **7.3.1 安装RREH** - 安装Revolution R ...

    Transwarp安装运维手册

    - 详细描述了FTP over HDFS服务的客户化配置以及在Linux和Windows系统中的使用方法。 10. 日常工作和FAQ - 提供了需要人工干预的日常工作列表。 - 在手册的最后通常会包含一个FAQ部分，为常见问题提供解答。 ...

    http、https、gzip、ftp、fasdDFS工具类

    类似于Hadoop HDFS，fasdDFS将大文件分割成块，并在多台机器上分布存储，提供高可用性和容错性。它支持并行处理，适合大数据分析和云计算环境。fasdDFS提供了命令行接口，方便用户操作和管理文件。 总的来说，http...

    FileZilla工具

    FTP是一种用于在网络上传输文件的标准协议，它允许用户在两台计算机之间上传、下载或移动文件。FileZilla作为FTP客户端，它提供了一个图形化的用户界面，让用户无需掌握复杂的命令行操作即可轻松管理远程文件。通过...

    文件传输系统

    同时，分布式文件系统如HDFS（Hadoop Distributed File System）也日益普及，它们支持大规模、跨地域的数据传输和共享。 总的来说，基于TCP/IP协议实现的局域网文件传输是一个涉及网络协议、编程技术、安全策略等多...

Magicbox
Global site tag (gtag.js) - Google Analytics