博客首页 → partition

最新文章列表

mysql event

  fdate按日期分区 create table myevent ( fdate int(11) not null default '0', appid int, primary key(fdate) ) ENGINE=InnoDB DEFAULT CHARSET=utf8 PARTITION BY RANGE(TO_DAYS(fdate)) (PARTITION p2 ...
partitionevent 
tcspecial 评论(0) 有803人浏览 2019-03-10 17:47

MySQL日期范围分区查询时分区裁剪不正确的问题

--- layout:     post title:      "MySQL日期范围分区查询时分区裁剪不正确的问题" subtitle:   "" date:       2016-07-07 author:     "lixuanbin" header-img: "img/bg15.jpg" tag ...
MySQLpartitionrange分区 
lixuanbin 评论(0) 有3635人浏览 2016-07-08 15:06

使用MapReduce对数据文件进行切分

  有一个格式化的数据文件，用\t分割列，第2列为产品名称。现在需求把数据文件根据产品名切分为多个文件，使用MapReduce程序要如何实现？ 原始文件： [root@localhost opt]# cat aprData 1       a1      a111 2       a2      a211 3       a1      a112 4       a1      a1 ...
hadoopmapreducepartitionhdfsMultipleOutPuts 
yehao0716 评论(0) 有5791人浏览 2016-05-01 22:53

MySQL表的四种分区类型(Partition)

一、什么是表分区 通俗地讲表分区是将一大表，根据条件分割成若干个小表。mysql5.1开始支持数据表分区了。 如：某用户表的记录超过了600万条，那 ...
MYSQLPartition分区 
wuhen639 评论(0) 有1013人浏览 2016-03-23 22:03

[转] Hive 基础（1）：分区、桶、Sort Merge Bucket Join

Hive 已是目前业界最为通用、廉价的构建大数据时代数据仓库的解决方案了，虽然也有 Impala 等后起之秀，但目前从功能、稳定性等方面来说，Hive 的地位尚不可撼动。 其实这篇博文主要是想聊聊 SMB join 的，Join 是整个 MR/Hive 最为核心的部分之一，是每个 Hadoop/Hive/DW RD 必须掌握的部分，之前也有几篇文章聊到过 MR/Hive 中的 join，其 ...
hiveBucketpartitionSort Merge Bucket Joinsmb join 
107x 评论(0) 有1323人浏览 2015-09-14 15:34

kafka获得最新partition offset

kafka获得partition下标，需要用到kafka的simpleconsumer   import java.util.ArrayList; import java.util.Collections; import java.util.Date; import java.util.HashMap; import java.util.List; import java.util. ...
kafka最新partitionoffset 
blackproof 评论(4) 有32420人浏览 2015-06-05 17:45

Mysql 分区详解

详见： http://blog.yemou.net/article/query/info/tytfjhfascvhzxcyt120   一、什么是表分区通俗地讲表分区是将一大表，根据条件分割成若干个小表。mysql5.1开始支持 ...
mysql分区partition 
grefr 评论(0) 有734人浏览 2015-02-03 15:43

spark内核揭秘-14-Spark性能优化的10大问题及其解决方案

问题1：reduce task数目不合适 解决方案： 需要根据实际情况调整默认配置，调整方式是修改参数spark.default.parallelism。通常的，reduce数目设置为core数目的2-3倍。数量太大，造成很多小任务，增加启动任务的开销；数目太小，任务运行缓慢。所以要合理修改reduce的task数目即spark.default.parallelism 问题2：shuffle ...
reduceshuffleparallelismpartitionconcurrentJobs 
Stark_Summer 评论(0) 有8412人浏览 2015-01-26 11:29

如何使用Hadoop的Partitioner

Hadoop里面的MapReduce编程模型，非常灵活，大部分环节我们都可以重写它的API，来灵活定制我们自己的一些特殊需求。 今天散仙要说的这个分区函数Partitioner，也是一样如此，下面我们先来看下Partitioner的作用： 对map端输出的数据key作一个散列，使数据能够均匀分布在各个reduce上进行后续操作，避免产生热点区。 Hadoop默认使用的分区函数是Hash Parti ...
hadooppartition 
qindongliang1922 评论(0) 有6506人浏览 2014-04-10 17:12

oracle报错 ora-14300:partition key maps to a partition outside maximum pemitted nu

可能由两个原因造成     1.partition数量超过oracle配置的1048575个     2.分区的字段入的值为空
oraclepartition报错14300 
blackproof 评论(0) 有2025人浏览 2014-02-28 20:57

实战mysql分区(PARTITION)

前些天拿到一个表，将近有4000w数据，没有任何索引，主键。（建这表的绝对是个人才） 这是一个日志表，记录了游戏中物品的产出与消耗，原先有一个后台对这个表进行统计。。。。。（这要用超级计算机才能统计得出来吧），只能帮前人填坑了。。。。   数据太大，决定用分区来重构。 如果你发现是empty，说明你的mysql版本不够，分区至少要5.1   下面针对业务查询，决定用时间来做range分 ...
partition分区优化mysql实战 
home198979 评论(3) 有56638人浏览 2013-10-12 16:09

mapreduce排序（自定义Partition）

import java.io.IOException; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.Path; import org.apache.hadoop.io.IntWritable; import org.apache.hadoop.io.Text; import org. ...
hadoopmapreducePartition 
sunasheng 评论(0) 有1173人浏览 2013-09-13 09:59

mapreduce排序中java.io.IOException: Illegal partition for 2 (-1)

mapreduce程序，自定义了Partition，运行时出现以下异常： java.io.IOException: Illegal partition for 2 (-1)   自定义Partition代码： public static class Partition extends Partitioner<IntWritable,IntWritable> { @Ove ...
hadoopmapreducepartitionIOException 
sunasheng 评论(0) 有2583人浏览 2013-09-13 09:55

Oracle开窗函数

ORACLE开窗函数 基本介绍: Analytic_clause的语法如下： [ query_partition_clause ] [ order_by_clause [ windowing_clause ] ] 这里： query_partition_clause是查询分组子句； order_by_clause是分组排序子句； windowing_clause是窗口范围子句。 分析函数 ...
oracle开窗函数overpartition 
anguse 评论(0) 有754人浏览 2013-09-09 14:26

Mysql存储过程-进一步理解

作者：zccst 查询资料后，发现想彻底学好分区，还是看mysql官方手册，之前一直不愿意看官方手册，现在看来该是看手册的时候了。 先给两个地址： 分区裁剪（Pruning） http://dev.mysql.com/doc/refman/5.1/en/partitioning-pruning.html 完整的分区介绍： http://dev.mysql.com/doc/refman/5.1/ ...
mysqlpartition 
zccst 评论(0) 有1048人浏览 2013-07-19 19:22

PostgreSQL和PPAS的分区表及多种条件下的性能体现二

PPAS中的分区表可以按oracle兼容的语法创建，具体使用请参见《Postgres_Plus_Advanced_Server_Oracle_Compatibility_Guide_v91.pdf》。下面是分区表上操作的相关情况1创建表:create table test (id integer primary key, name varchar(32))PARTITION BY RANGE (i ...
postgresqlppaspartitionedb 
BeiGang 评论(0) 有1155人浏览 2013-06-08 14:57

PostgreSQL和PPAS的分区表及多种条件下的性能体现一

因某项目测了PPAS和PostgreSQL的分区表在where条件里按分区键、函数、子查询等11中不同情况时的性能体现，两者基本一致，只有在in关键字和to_number函数的情况下不同，in关键字在PPAS中只扫描对应的子表，Postgres里做全表扫描；to_number函数在PostgreSQL中是没有的，因此报错，因为PPAS有兼容oracle引擎，所以没问题，走相应子表扫描。相同的情况 ...
postgresqlppaspartitionedb 
BeiGang 评论(0) 有3425人浏览 2013-06-08 14:51

Database Table Partitioning

  http://en.wikipedia.org/wiki/Partition_(database)引用常见的为 table 做 partitioning 的策略有： Range partitioning Selects a partition by determining if the partitioning key is inside a certain range. An exampl ...
datapartitionpartitioningtable分区 
Wuaner 评论(0) 有1199人浏览 2013-04-09 11:58

最近博客热门TAG

Java(141747) C(73651) C++(68608) SQL(64571) C#(59609) XML(59133) HTML(59043) JavaScript(54918) .net(54785) Web(54513) 工作(54116) Linux(50906) Oracle(49876) 应用服务器(43288) Spring(40812) 编程(39454) Windows(39381) JSP(37542) MySQL(37268) 数据结构(36423)

博客人气排行榜

    博客电子书下载排行

      >>浏览更多下载

      相关资讯

      相关讨论

      Global site tag (gtag.js) - Google Analytics