架构概述
工作总结
功能介绍
san_yun
- 浏览: 2662350 次
- 来自: 杭州
-
文章分类
- 全部博客 (1188)
- webwork (4)
- 网摘 (18)
- java (103)
- hibernate (1)
- Linux (85)
- 职业发展 (1)
- activeMQ (2)
- netty (14)
- svn (1)
- webx3 (12)
- mysql (81)
- css (1)
- HTML (6)
- apache (3)
- 测试 (2)
- javascript (1)
- 储存 (1)
- jvm (5)
- code (13)
- 多线程 (12)
- Spring (18)
- webxs (2)
- python (119)
- duitang (0)
- mongo (3)
- nosql (4)
- tomcat (4)
- memcached (20)
- 算法 (28)
- django (28)
- shell (1)
- 工作总结 (5)
- solr (42)
- beansdb (6)
- nginx (3)
- 性能 (30)
- 数据推荐 (1)
- maven (8)
- tonado (1)
- uwsgi (5)
- hessian (4)
- ibatis (3)
- Security (2)
- HTPP (1)
- gevent (6)
- 读书笔记 (1)
- Maxent (2)
- mogo (0)
- thread (3)
- 架构 (5)
- NIO (5)
- 正则 (1)
- lucene (5)
- feed (4)
- redis (17)
- TCP (6)
- test (0)
- python，code (1)
- PIL (3)
- guava (2)
- jython (4)
- httpclient (2)
- cache (3)
- signal (1)
- dubbo (7)
- HTTP (4)
- json (3)
- java socket (1)
- io (2)
- socket (22)
- hash (2)
- Cassandra (1)
- 分布式文件系统 (5)
- Dynamo (2)
- gc (8)
- scp (1)
- rsync (1)
- mecached (0)
- mongoDB (29)
- Thrift (1)
- scribe (2)
- 服务化 (3)
- 问题 (83)
- mat (1)
- classloader (2)
- javaBean (1)
- 文档集合 (27)
- 消息队列 (3)
- nginx，文档集合 (1)
- dboss (12)
- libevent (1)
- 读书 (0)
- 数学 (3)
- 流程 (0)
- HBase (34)
- 自动化测试 (1)
- ubuntu (2)
- 并发 (1)
- sping (1)
- 图形 (1)
- freemarker (1)
- jdbc (3)
- dbcp (0)
- sharding (1)
- 性能测试 (1)
- 设计模式 (2)
- unicode (1)
- OceanBase (3)
- jmagick (1)
- gunicorn (1)
- url (1)
- form (1)
- 安全 (2)
- nlp (8)
- libmemcached (1)
- 规则引擎 (1)
- awk (2)
- 服务器 (1)
- snmpd (1)
- btrace (1)
- 代码 (1)
- cygwin (1)
- mahout (3)
- 电子书 (1)
- 机器学习 (5)
- 数据挖掘 (1)
- nltk (6)
- pool (1)
- log4j (2)
- 总结 (11)
- c++ (1)
- java源代码 (1)
- ocr (1)
- 基础算法 (3)
- SA (1)
- 笔记 (1)
- ml (4)
- zokeeper (0)
- jms (1)
- zookeeper (5)
- zkclient (1)
- hadoop (13)
- mq (2)
- git (9)
- 问题，io (1)
- storm (11)
- zk (1)
- 性能优化 (2)
- example (1)
- tmux (1)
- 环境 (2)
- kyro (1)
- 日志系统 (3)
- hdfs (2)
- python_socket (2)
- date (2)
- elasticsearch (1)
- jetty (1)
- 树 (1)
- 汽车 (1)
- mdrill (1)
- 车 (1)
- 日志 (1)
- web (1)
- 编译原理 (1)
- 信息检索 (1)
- 性能，linux (1)
- spam (1)
- 序列化 (1)
- fabric (2)
- guice (1)
- disruptor (1)
- executor (1)
- logback (2)
- 开源 (1)
- 设计 (1)
- 监控 (3)
- english (1)
- 问题记录 (1)
- Bitmap (1)
- 云计算 (1)
- 问题排查 (1)
- highchat (1)
- mac (3)
- docker (1)
- jdk (1)
- 表达式 (1)
- 网络 (1)
- 时间管理 (1)
- 时间序列 (1)
- OLAP (1)
- Big Table (0)
- sql (1)
- kafka (1)
- md5 (1)
- springboot (1)
- spring security (1)
- Spring Boot (3)
- mybatis (1)
- java8 (1)
- 分布式事务 (1)
- 限流 (1)
- Shadowsocks (0)
- 2018 (1)
- 服务治理 (1)
- 设计原则 (1)
- log (0)
- perftools (1)
最新评论
-
siphlina：
课程——基于Python数据分析与机器学习案例实战教程分享网盘 ...
Python机器学习库 -
san_yun：
leibnitz 写道hi,我想知道,无论在92还是94版本, ...
hbase的行锁与多版本并发控制(MVCC) -
leibnitz：
hi,我想知道,无论在92还是94版本,更新时(如Puts)都 ...
hbase的行锁与多版本并发控制(MVCC) -
107x：
不错，谢谢！
Latent Semantic Analysis(LSA/ LSI)算法简介 -
107x：
不错，谢谢！
Python机器学习库
分享到：
发表评论
-
Impala：新一代开源大数据分析引擎
2014-04-18 15:51 1415大数据处理是云计算 ... -
hadoop mapreduce的1TB排序
2014-02-17 20:15 13091、1TB（或1分钟）排序的冠军 作为分布式数据处理的框架， ... -
用hadoop估算圆周率PI(3.1415926)的值
2014-02-17 20:03 2227原文：http://thinkinginhadoop.ite ... -
Hadoop-SequenceFile code
2014-02-11 13:11 731写的例子： package mytest.mapreduc ... -
MapReduce思想理解
2014-02-06 11:44 1286MapReduce工作流程 1.将输入源(In ... -
HDFS发展历史上的几个重大的JIRA
2014-02-05 22:02 1070原文：http://blog.csdn.net/ ... -
Hadoop Metrics体系架构分析
2014-02-05 22:01 1122原文：http://blog.csdn.net/ ... -
hadoop shell 命令总计
2014-01-11 13:52 640从远程获取文件到本地 ./hadoop fs -get / ... -
hadoop hdfs环境搭建
2013-12-28 19:29 0参考两篇文章： hadoop hdfs环境搭建 http ... -
hadoop深入学习之SequenceFile
2013-12-24 21:51 10291.Hadoop’s SequenceFile Seque ... -
使用RawComparator加速Hadoop程序
2013-12-23 14:53 1682http://yoyzhou.github.io/bl ... -
Hadoop序列化与Writable接口介绍
2013-12-23 14:32 1270Hadoop序列化与Writable接口介绍 http:/ ... -
使用Python实现Hadoop MapReduce程序
2013-11-19 21:06 943使用Python实现Hadoop MapReduce程序
相关推荐
这个文档集合应该是关于Hadoop开发者的下载资源，可能包含了源代码、开发工具和其他相关资料。由于没有具体的描述，我将根据一般Hadoop开发者的常见需求来阐述相关知识点。 1. **Hadoop概述**：Hadoop是由Apache...
《Hadoop文档收录大全》是一份综合性的资料集合，涵盖了Hadoop生态系统中的多个关键组件和技术。Hadoop作为大数据处理的核心框架，由Apache软件基金会开发，旨在实现分布式存储和计算，解决海量数据处理的问题。这份...
### Hadoop入门学习文档知识点梳理 #### 一、大数据概论 ##### 1.1 大数据概念 - **定义**：大数据是指无法在可承受的时间范围内用常规软件工具进行捕捉、管理和处理的数据集合。 - **特点**： - **Volume（大量）...
1、Big Data Forensics Learning Hadoop Investigations.pdf 2、Hadoop Beginner-'s Guide(2013).pdf 3、Hadoop in Practice 2nd Edition.pdf 4、Hadoop MapReduce Cookbook.pdf 5、Hadoop MapReduce v2 Cookbook ...
这个文档集合可能是针对Hadoop初学者或者希望深入理解Hadoop生态系统的专业人士所整理的学习资料。Hadoop的核心由两个主要组件构成：Hadoop Distributed File System (HDFS)和MapReduce。HDFS提供了高容错性的分布式...
Hadoop学习文档是一个集合，包含了深入理解Hadoop框架及其应用的关键知识点。Hadoop是Apache软件基金会开发的一个开源分布式计算框架，旨在处理和存储大规模数据集。这个文档可能涵盖了Hadoop的核心组件、工作原理、...
`winutils.exe`是另一个对Windows用户至关重要的工具，它是Hadoop在Windows上的实用程序集合。这个可执行文件提供了类似于Linux环境下`hadoop`命令行工具的功能，比如设置HDFS的权限、管理HDFS的文件和目录、启动和...
计算完成后，设定阈值(threshold)来提取文档的关键字集合(vocabulary)，从而生成各个文档的特征向量。 #### 实验实现 实验可以分为两个主要部分：文档向量计算和KMeans算法迭代。 1. **文档向量计算**： - **统计...
【描述】中的信息告诉我们，这份工具集合包含针对Hadoop和HBase的API参考，旨在帮助Java开发者更有效地进行大数据处理和分布式存储相关的开发工作。Hadoop是一个开源的分布式计算框架，它允许在大规模集群上处理和...
本实验文档集合了对Hadoop在不同环境下的部署和操作实践，包括单机伪分布和完全分布的模式，以及相关的云计算技术介绍。以下是这些知识点的详细阐述： 1. **Hadoop单机伪分布模式**： 单机伪分布模式是Hadoop初学...
倒排索引是一种将词汇表中的每个单词关联到包含该词的文档集合的索引结构。在Map阶段，我们对输入的文档进行分词，并将（词，文档ID）键值对发送到Reduce阶段。Reduce阶段将相同的词聚合在一起，生成（词，文档ID...
TF（Term Frequency）是指在一个文档中某个词出现的频率，IDF（Inverse Document Frequency）则是指在整个文集或文档集合中，包含该词的文档数的倒数。TF-IDF值就是这两个量的乘积，用来衡量一个词对文档的重要性。...
词频（Term Frequency, TF）是指一个词在文档中出现的次数，而逆文档频率（Inverse Document Frequency, IDF）则考虑了这个词在整个文档集合中的稀有程度。TF-IDF的计算公式为：TF-IDF = TF * log(N/DF)，其中TF是...
这些论文和文档集合为学习和理解Hadoop提供了一个全面的资源库，无论你是初学者还是希望深化理解的专家，都能从中受益。通过阅读这些材料，读者可以深入了解Hadoop如何处理和存储大数据，以及如何利用MapReduce进行...
本资源集合了Maven、HDFS、MapReduce等相关所有JAR包及依赖，为构建基于Hadoop的分布式系统提供了必要的库。 首先，我们来详细了解一下Hadoop的这些关键组件： 1. **HDFS**：Hadoop分布式文件系统是Hadoop的核心，...
标题中的"winutis-master-hadoop.7z"是一个压缩包文件，主要针对Windows环境下的Hadoop工具集合，也就是WinUtils。WinUtils是Hadoop在Windows操作系统上的实用工具集，它使得用户能够在本地Windows系统上运行Hadoop...
【HADOOP案例及测试资料...总的来说，这个压缩包集合了Hadoop从基础搭建到高级应用、从问题解决到性能优化的全方位资料，对于从事大数据工作的人士，无论是初学者还是资深开发者，都能从中获取到宝贵的知识和实践经验。
本文档集合涵盖了Hadoop API的2.7、2.9和3.1三个主要版本，旨在为开发者提供详尽的官方参考，帮助理解和应用这一强大的开源平台。 Hadoop API的核心组件主要包括HDFS（Hadoop Distributed File System）和MapReduce...
1. **官方文档**：阅读Hadoop的官方文档是最直接的学习途径。 2. **在线课程**：通过Coursera、Udemy等平台上的课程学习。 3. **社区交流**：加入Hadoop相关的技术论坛或社区，与其他开发者交流经验。 通过以上内容...