- 浏览: 113091 次
- 性别:
- 来自: 北京
文章分类
- 全部博客 (109)
- hive (5)
- web (1)
- spring (7)
- struts2 (1)
- s2sh (2)
- mysql (3)
- hadoop (31)
- hbase (6)
- java (8)
- ubuntu (8)
- pig (2)
- Interview (2)
- zookeeper (1)
- system (1)
- 遥控 (1)
- linux (3)
- myeclipse (2)
- Oracle (1)
- redis (9)
- ibatis (2)
- 架构 (2)
- 解析xml (1)
- autoProxy (0)
- jedis (6)
- http://www.infoq.com/cn/articles/tq-redis-copy-build-scalable-cluster (1)
- xmemcached (1)
- 图片服务器 (1)
- 对象池 (0)
- netty (1)
最新评论
-
laoma102:
已经不好使了,能找到最新的吗
spring官方文档 -
di1984HIT:
不错,。不错~
pig安装
http://www.javabloger.com/article/mapreduce-mysql.html
发表评论
-
mapreduce Bet
2012-04-11 15:00 918import java.io.IOException; imp ... -
hadoop 输出格式
2012-04-05 17:18 722http://blog.csdn.net/dajuezhao/ ... -
hadoop mapreduce 原理
2012-03-31 16:14 677http://www.cnblogs.com/forfutur ... -
hadoop搭建问题
2012-03-30 13:23 802file:///E:/hadoop/搭建/hadoop集群搭建 ... -
hadoop输出文件格式
2012-03-26 10:09 639http://apps.hi.baidu.com/share/ ... -
hadoop 学习
2012-03-26 09:48 636http://hi.baidu.com/shuyan50/bl ... -
hadoop提高性能建议
2012-03-22 22:40 669http://langyu.iteye.com/blog/91 ... -
hadoop例子
2012-03-22 22:09 725http://www.hadoopor.com/thread- ... -
hadoop
2012-04-25 13:16 748精通HADOOP http://blog.csdn.net/ ... -
Hadoop Hive与Hbase整合
2012-03-07 15:02 346http://www.open-open.com/lib/vi ... -
hive hadoop 代码解析
2012-04-25 13:16 772http://www.tbdata.org/archives/ ... -
hadoop hdfs常用操作类
2012-03-05 10:03 1938import java.io.IOException; ... -
hdfs 操作类自己的
2012-03-02 17:57 543package operateFile; import ... -
hadoo 文件常用操作
2012-03-02 15:53 747http://www.360doc.com/content/1 ... -
Mapper,Reducer,Wrapper的Java模板
2012-03-02 08:24 1111http://www.easyigloo.org/?p=114 ... -
hadoop基础知识
2012-03-02 08:00 715http://www.blogjava.net/killme2 ... -
hadoop 自己封装的接口
2012-04-25 13:16 677http://www.360doc.com/content/1 ... -
HadoopFileUtil
2012-03-01 14:42 1833import java.io.File; import jav ... -
hadoop ExtendedFileUtil
2012-03-01 14:34 1042在Hadoop编写生产环境的任务时,定义以下任务,要求是相同的 ... -
hadoop StringUtil
2012-03-01 14:33 845import java.util.*; public cla ...
相关推荐
MapReduce是大数据处理的一种核心工具,常与Hadoop生态系统一起使用,能高效地处理大规模数据。MySQL作为关系型数据库,用于存储用户信息、电影数据以及用户行为记录。JSP(JavaServer Pages)则用于生成动态网页,...
总结来说,"hadoop_mysql-libs.rar" 是一组用于在Linux下的Hadoop环境中连接和操作MySQL数据库的库文件。理解如何正确安装、配置和使用这些库对于实现Hadoop和MySQL的有效集成至关重要,这对于大数据环境下的数据...
标题中的“hadoop的mapreduce把oracle/mysq导入到hbase和hdfs中的程序”指的是一项数据处理任务,利用Hadoop的MapReduce框架,将关系型数据库(如Oracle和MySQL)中的数据高效地迁移至分布式存储系统HDFS(Hadoop ...
hadoop连接数据库查询数据,并添加到hdfs;从hdfs进行mapreduce数据导入到数据库 hadoop连接数据库查询数据,并添加到hdfs;从hdfs进行mapreduce数据导入到数据库 hadoop连接数据库查询数据,并添加到hdfs;从hdfs...
Hadoop集群配置与MySQL关系数据库交互是大数据处理领域中的一个重要环节。Hadoop本身是为处理大规模数据集而设计的分布式系统框架,而MySQL作为最流行的开源关系型数据库管理系统之一,它们之间的交互对于实现数据...
1. 不擅长做实时计算:MapReduce 无法像 Mysql 一样,在毫秒或者秒级内返回结果。 2. 不擅长流式计算:MapReduce 的输入数据集是静态的,不能动态变化。 3. 不擅长 DAG(有向图)计算:MapReduce 并不是不能做,但是...
课程设计要求分析每位学生的平均成绩(MapReduce实现和hive实现)分析每位学生的总分(MapReduce实现和hive实现)分析每门课程的平均成绩(hive实现)显示每位学生详细信息(学号、姓名、系和各门课成绩)(hive实现...
本项目基于Hadoop MapReduce框架,旨在对上海餐饮业消费数据进行统计分析。通过从“口味”和“环境”两个维度对上海各区餐饮的性价比进行比较,帮助用户了解上海哪个地区的餐饮行业更具性价比。 项目的主要特性和...
Hadoop集群·MapReduce初级案例(第9期) Hadoop集群·MySQL关系数据库(第10期) Hadoop集群·常用MySQL数据库命令(第10期副刊) Hadoop集群·HBase简介及安装(第11期) Hadoop集群·HBase之旅(第11期副刊)
1. **Hadoop**:Hadoop是Apache软件基金会的一个开源项目,主要由HDFS(Hadoop Distributed File System)和MapReduce两部分组成。HDFS是一种分布式文件系统,可以将大规模的数据存储在集群中,确保数据的高可用性和...
======== 销售点概念验证使用 Hadoop MapReduce、Hive 和 Luigi 处理事务日志的概念证明。 'pos' 包包含处理销售点交易日志的所有代码。 计算每个用户最受欢迎的产品类别,以及每个用户每季度的收入。 preprocessing...
总结来说,这个项目展示了Hadoop在大数据处理中的核心作用,即通过分布式计算处理海量日志数据,利用MapReduce进行数据清洗和转换,再结合Hive和MySQL进行数据存储和分析。这一实践过程对于理解和掌握大数据处理流程...
在这个系统中,"Hadoop MapReduce WordCount 操作数据库"是指使用 MapReduce 模型对视频相关的文本数据(如字幕、描述、评论等)进行统计分析,同时将结果存储到数据库中,以便后续的数据查询和可视化。 MapReduce ...
Hadoop_MapReduce_DataBase 注意:使用的数据库 - MySQL 该存储库包含将其输出写入 MySQL 数据库的 MapReduce 程序的源代码。 如果您正在写入远程数据库(即如果您在多节点集群上运行此程序),请确保每个从节点上...
在实际应用中,当需要从 MySQL 导入数据到 Hadoop 或者将 MapReduce 计算结果导出到 MySQL 时,可以通过以下步骤操作: 1. 配置 Hadoop 集群与 MySQL 数据库的连接信息,包括数据库 URL、用户名、密码等。 2. 在 ...
首先,安装MySQL需要准备必要的软件环境,包括VMware虚拟机、CentOS 6.8 64位操作系统、SecureCRT(远程终端工具)、VSFTP(文件传输工具)以及Notepad++(文本编辑器)。从MySQL官方网站下载适合的开源社区版本,...
MapReduceSkeleton介绍这是一个 MapReduce Skeleton 作业,支持 MariaDB/MySQL(和即将推出的 HBase)作为输入数据集和输出。 SQL配置在Main.java中,如果使用UPDATE方式,需要修改MysqlDBOutputFormat.java中的...
Hadoop的MapReduce编程模型则允许开发者编写分布式应用程序,对海量数据进行并行处理。 在Hadoop集群中,MySQL可以作为数据源或结果存储。例如,可以通过ETL(Extract, Transform, Load)过程将MySQL中的数据导入到...
在Windows 10环境下搭建Hadoop生态系统,包括JDK、MySQL、Hadoop、Scala、Hive和Spark等组件,是一项繁琐但重要的任务,这将为你提供一个基础的大数据处理平台。下面将详细介绍每个组件的安装与配置过程。 **1. JDK...
1. **core-3.1.1.jar**:这是Hadoop的核心库,包含了Hadoop的基本功能,如HDFS操作和MapReduce的基本类。 2. **hadoop-0.20.2-core.jar** 和 **hadoop-0.20.2-test.jar**:这些是较早版本的Hadoop核心库和测试库,...