package org.apache.hadoop.fs; import org.apache.hadoop.classification.InterfaceAudience; import org.apache.hadoop.classification.InterfaceStability; /** * 公用配置键常量类 * * @author root * */ @InterfaceAudience.Private @InterfaceStability.Unstable public class CommonConfigurationKeys extends CommonConfigurationKeysPublic { public static final String FS_HOME_DIR_KEY = "fs.homeDir";// 家路径键(UserHome) public static final String FS_HOME_DIR_DEFAULT = "/user";// 家路径值 public static final String FS_PERMISSIONS_UMASK_KEY = "fs.permissions.umask-mode";// umask文件创建权限模式键 public static final int FS_PERMISSIONS_UMASK_DEFAULT = 0022;// umask文件创建权限模式值 public static final String IPC_PING_INTERVAL_KEY = "ipc.ping.interval";// IPC(进程通信)客户端Ping服务端的频率键 public static final int IPC_PING_INTERVAL_DEFAULT = 60000; // IPC(进程通信)客户端Ping服务端的频率值(1分钟) public static final String IPC_CLIENT_PING_KEY = "ipc.client.ping";// 是否开启远程过程调用协议客户端的Ping功能键 public static final boolean IPC_CLIENT_PING_DEFAULT = true;// 是否开启远程过程调用协议客户端的Ping功能值 public static final String IPC_SERVER_RPC_MAX_RESPONSE_SIZE_KEY = "ipc.server.max.response.size";// 响应最大数据键(超过这个数据将被记录日志) public static final int IPC_SERVER_RPC_MAX_RESPONSE_SIZE_DEFAULT = 1024 * 1024;// 响应最大数据值(超过这个数据将被记录日志) public static final String IPC_SERVER_RPC_READ_THREADS_KEY = "ipc.server.read.threadpool.size";// IPC(进程通信)读取线程个数键 public static final int IPC_SERVER_RPC_READ_THREADS_DEFAULT = 1;// IPC(进程通信)读取线程个数值 public static final String IPC_MAXIMUM_DATA_LENGTH = "ipc.maximum.data.length";// IPC最大数据长度键 public static final int IPC_MAXIMUM_DATA_LENGTH_DEFAULT = 64 * 1024 * 1024;// IPC最大数据长度值 public static final String IPC_SERVER_HANDLER_QUEUE_SIZE_KEY = "ipc.server.handler.queue.size";// IPC服务允许的最大队列长度键 public static final int IPC_SERVER_HANDLER_QUEUE_SIZE_DEFAULT = 100;// IPC服务允许的最大队列长度值 public static final String IO_COMPRESSION_CODEC_LZO_BUFFERSIZE_KEY = "io.compression.codec.lzo.buffersize";// IO压缩的缓存大小键 public static final int IO_COMPRESSION_CODEC_LZO_BUFFERSIZE_DEFAULT = 64 * 1024;// IO压缩的缓存大小值 public static final String NET_TOPOLOGY_CONFIGURED_NODE_MAPPING_KEY = "net.topology.configured.node.mapping";// 配置的拓扑结构节点们键 public static final String IO_COMPRESSION_CODEC_SNAPPY_BUFFERSIZE_KEY = "io.compression.codec.snappy.buffersize";// IO压缩的缓存大小键(SNAPPY) public static final int IO_COMPRESSION_CODEC_SNAPPY_BUFFERSIZE_DEFAULT = 256 * 1024;// IO压缩的缓存大小值(SNAPPY) public static final String IO_COMPRESSION_CODEC_LZ4_BUFFERSIZE_KEY = "io.compression.codec.lz4.buffersize";// IO压缩的缓存大小键(LZ4) public static final int IO_COMPRESSION_CODEC_LZ4_BUFFERSIZE_DEFAULT = 256 * 1024;// IO压缩的缓存大小值(LZ4) /**安全认证************************************************************************************************/ public static final String HADOOP_SECURITY_SERVICE_AUTHORIZATION_REFRESH_POLICY = "security.refresh.policy.protocol.acl";// 刷新Acl协议文件策略(RefreshAuthorizationPolicyProtocol) public static final String HADOOP_SECURITY_SERVICE_AUTHORIZATION_GET_USER_MAPPINGS = "security.get.user.mappings.protocol.acl";// 获取用户配置的Acl协议文件 public static final String HADOOP_SECURITY_SERVICE_AUTHORIZATION_REFRESH_USER_MAPPINGS = "security.refresh.user.mappings.protocol.acl";// 刷新用户配置的Acl协议文件 public static final String SECURITY_HA_SERVICE_PROTOCOL_ACL = "security.ha.service.protocol.acl";// Acl协议文件策略(HAService) public static final String SECURITY_ZKFC_PROTOCOL_ACL = "security.zkfc.protocol.acl";// ? public static final String SECURITY_CLIENT_PROTOCOL_ACL = "security.client.protocol.acl";// Acl协议文件策略(ClientProtocol) public static final String SECURITY_CLIENT_DATANODE_PROTOCOL_ACL = "security.client.datanode.protocol.acl";// Acl协议文件策略(ClientDatanodeProtocol) public static final String SECURITY_DATANODE_PROTOCOL_ACL = "security.datanode.protocol.acl";// Acl协议文件策略(DatanodeProtocol) public static final String SECURITY_INTER_DATANODE_PROTOCOL_ACL = "security.inter.datanode.protocol.acl";// Acl协议文件策略(InterDatanodeProtocol) public static final String SECURITY_NAMENODE_PROTOCOL_ACL = "security.namenode.protocol.acl";// Acl协议文件策略(NamenodeProtocol) public static final String SECURITY_QJOURNAL_SERVICE_PROTOCOL_ACL = "security.qjournal.service.protocol.acl";// ? public static final String HADOOP_SECURITY_TOKEN_SERVICE_USE_IP = "hadoop.security.token.service.use_ip";// 是否令牌服务使用IP键 public static final boolean HADOOP_SECURITY_TOKEN_SERVICE_USE_IP_DEFAULT = true;// 是否令牌服务使用IP值 /**健康监控和控制器切换**************************************************************************************/ /** How often to retry connecting to the service. */ public static final String HA_HM_CONNECT_RETRY_INTERVAL_KEY = "ha.health-monitor.connect-retry-interval.ms";// 重试链接服务间隔时间键 public static final long HA_HM_CONNECT_RETRY_INTERVAL_DEFAULT = 1000;// 重试链接服务间隔时间值(1秒) public static final String HA_HM_CHECK_INTERVAL_KEY = "ha.health-monitor.check-interval.ms";// 检查服务健康状况间隔键 public static final long HA_HM_CHECK_INTERVAL_DEFAULT = 1000;// 检查服务健康状况间隔值(1秒) public static final String HA_HM_SLEEP_AFTER_DISCONNECT_KEY = "ha.health-monitor.sleep-after-disconnect.ms";// 发生RPC错误睡眠多长时间键 public static final long HA_HM_SLEEP_AFTER_DISCONNECT_DEFAULT = 1000;// 发生RPC错误睡眠多长时间值(1秒) public static final String HA_HM_RPC_TIMEOUT_KEY = "ha.health-monitor.rpc-timeout.ms";// 实际检查健康状况的超时时间键 public static final int HA_HM_RPC_TIMEOUT_DEFAULT = 45000;// 实际检查健康状况的超时时间值(45秒) public static final String HA_FC_NEW_ACTIVE_TIMEOUT_KEY = "ha.failover-controller.new-active.rpc-timeout.ms";// 控制器切换的等待时间之新活动键 public static final int HA_FC_NEW_ACTIVE_TIMEOUT_DEFAULT = 60000;// 控制器切换的等待时间之新活动值 public static final String HA_FC_GRACEFUL_FENCE_TIMEOUT_KEY = "ha.failover-controller.graceful-fence.rpc-timeout.ms";// 控制器切换的等待时间之就活动待命键 public static final int HA_FC_GRACEFUL_FENCE_TIMEOUT_DEFAULT = 5000;// 控制器切换的等待时间之就活动待命值 public static final String HA_FC_GRACEFUL_FENCE_CONNECTION_RETRIES = "ha.failover-controller.graceful-fence.connection.retries";// 控制器切换连接重试次数键 public static final int HA_FC_GRACEFUL_FENCE_CONNECTION_RETRIES_DEFAULT = 1;// 控制器切换连接重试次数值 public static final String HA_FC_CLI_CHECK_TIMEOUT_KEY = "ha.failover-controller.cli-check.rpc-timeout.ms";// 控制器切换的等待时间之CLI检查键 public static final int HA_FC_CLI_CHECK_TIMEOUT_DEFAULT = 20000;// 控制器切换的等待时间之CLI检查值 public static final String HADOOP_HTTP_STATIC_USER = "hadoop.http.staticuser.user";// 静态用户键See {@link StaticUserWebFilter} public static final String DEFAULT_HADOOP_HTTP_STATIC_USER = "dr.who";// 静态用户值 public static final String HADOOP_JETTY_LOGS_SERVE_ALIASES = "hadoop.jetty.logs.serve.aliases";// 是否开启Jetty服务容器的日志别名键 public static final boolean DEFAULT_HADOOP_JETTY_LOGS_SERVE_ALIASES = true;// 是否开启Jetty服务容器的日志别名值 /**其他************************************************************************************************/ public static final String KERBEROS_TICKET_CACHE_PATH = "hadoop.security.kerberos.ticket.cache.path";// Kerberos的票据缓存路径 public static final String HADOOP_SECURITY_UID_NAME_CACHE_TIMEOUT_KEY = "hadoop.security.uid.cache.secs";// UID缓存时间键 public static final long HADOOP_SECURITY_UID_NAME_CACHE_TIMEOUT_DEFAULT = 4 * 60 * 60;// UID缓存时间值(4小时) public static final String IPC_CLIENT_FALLBACK_TO_SIMPLE_AUTH_ALLOWED_KEY = "ipc.client.fallback-to-simple-auth-allowed";// 是否允许安全链接撤回简单连接(不需认证)键 public static final boolean IPC_CLIENT_FALLBACK_TO_SIMPLE_AUTH_ALLOWED_DEFAULT = false;// 是否允许安全链接撤回简单连接(不需认证)值 }
相关推荐
总的来说,Hadoop的dll文件是Windows环境下运行Hadoop所必需的组件之一,它提供了Hadoop在本地系统上运行所需的部分功能。正确配置和使用这个dll文件,对于在Windows上搭建和操作Hadoop集群至关重要。理解DLL文件的...
hadoop.dll则是一个动态链接库文件,它是Hadoop在Windows平台上运行时所依赖的组件之一。DLL文件通常包含可由多个程序同时调用的函数和资源,这样可以节省内存并提高系统效率。在Hadoop的情况下,hadoop.dll可能包含...
Hadoop之HDFS思维导图
首先,`hadoop.dll`是一个动态链接库文件,它是Hadoop在Windows操作系统上的核心组件之一。DLL文件在Windows系统中起到共享代码和资源的作用,可以被多个程序同时调用,以减少内存占用和提高效率。在Hadoop的上下...
在IT行业中,Hadoop、Hive和Pig是大数据处理领域的三大重要工具,它们共同构建了一个高效、可扩展的数据处理框架。以下是对这些技术的详细解释: **Hadoop** 是一个开源的分布式计算框架,由Apache软件基金会开发。...
同时,还需要配置Hadoop的相关配置文件,如core-site.xml和hdfs-site.xml,以指定HDFS的存储路径和Hadoop集群的配置信息。 总的来说,Hadoop.dll和winutils.exe是Hadoop在Windows平台上运行的基石,它们使得开发者...
在Hadoop生态系统中,`hadoop.dll`和`winutils.exe`是两个关键组件,尤其对于Windows用户来说,它们在本地开发和运行Hadoop相关应用时必不可少。`hadoop.dll`是一个动态链接库文件,主要用于在Windows环境中提供...
同时,Hadoop还催生了一系列生态系统工具,如Hive(数据仓库工具)、Pig(数据流处理语言)、Spark(快速大数据处理引擎)等,它们与Hadoop共同构成了强大的大数据处理生态。 总的来说,Hadoop-2.7.3是一个成熟的...
为了确保Hadoop环境变量设置正确,还需要在系统环境变量`PATH`中添加Hadoop的`bin`目录,以便系统能识别到这些可执行文件。 安装完成后,你可以通过命令行来验证Hadoop是否成功安装。例如,输入`hadoop version`...
除此之外,Hadoop生态系统还包括许多其他组件,如Hive(数据仓库工具),Pig(数据分析语言),Spark(快速、通用的大数据处理引擎),HBase(分布式列式数据库)等,它们共同构成了大数据处理的完整框架。...
Hadoop 是一个处理、存储和分析海量的分布式、非结构化数据的开源框架。最初由 Yahoo 的工程师 Doug Cutting 和 Mike Cafarella Hadoop 是一个处理、存储和分析海量的分布式、非结构化数据的开源框架。最初由 Yahoo...
在windows环境下开发hadoop时,需要配置HADOOP_HOME环境变量,变量值D:\hadoop-common-2.7.3-bin-master,并在Path追加%HADOOP_HOME%\bin,有可能出现如下错误: org.apache.hadoop.io.nativeio.NativeIO$Windows....
Hadoop是一个由Apache基金会所开发的分布式系统基础架构。用户可以在不了解分布式底层细节的情况下,开发分布式程序。充分利用集群的威力进 Hadoop是一个由Apache基金会所开发的分布式系统基础架构。用户可以在不...
此文件为hadoop-2.7.7.tar.gz,可在linux下直接进行安装,如在windows上安装,则需要hadooponwindows-master.zip,用windows-master里的文件替换解压好后hadoop的bin和etc即可。Hadoop 2.7.7是一款开源的分布式计算...
总之,hadoop.dll、hadoop.exp和winutils.exe是Hadoop在Windows平台上的关键组成部分,它们共同确保了在64位系统上实现Hadoop的功能和调试能力。理解和掌握这些工具的使用,将有助于你在Windows环境下更有效地开发和...
标题 "hadoop2.6 hadoop.dll+winutils.exe" 提到的是Hadoop 2.6版本中的两个关键组件:`hadoop.dll` 和 `winutils.exe`,这两个组件对于在Windows环境中配置和运行Hadoop至关重要。Hadoop原本是为Linux环境设计的,...
在Windows环境下安装Hadoop 3.1.0是学习和使用大数据处理技术的重要步骤。Hadoop是一个开源框架,主要用于分布式存储和处理大规模数据集。在这个过程中,我们将详细讲解Hadoop 3.1.0在Windows上的安装过程以及相关...
在Hadoop生态系统中,`hadoop.dll`和`winutils.exe`是两个关键组件,尤其对于Windows用户来说。本文将详细介绍这两个文件以及它们在Hadoop 2.6.0版本中的作用。 `hadoop.dll`是Hadoop在Windows环境下运行所必需的一...
这些工具与Hadoop紧密集成,共同构成了强大的大数据处理平台。 8. **安全性与优化**: Hadoop 2.6.0版本还引入了更完善的安全机制,如Kerberos认证,以保障大数据处理过程中的数据安全。同时,此版本也对性能进行了...
Hadoop是Apache软件基金会开发的一个开源分布式计算框架,它的核心设计是解决大数据处理的问题。Hadoop 2.7.4是Hadoop发展过程中的一个重要版本,它提供了许多增强特性和稳定性改进,使得大规模数据处理更加高效和...