`
gaojingsong
  • 浏览: 1200750 次
  • 性别: Icon_minigender_1
  • 来自: 深圳
文章分类
社区版块
存档分类
最新评论

【clickhouse表引擎介绍】

 
阅读更多

表引擎的作用是什么

  • 决定表存储在哪里以及以何种方式存储
  • 支持哪些查询以及如何支持
  • 并发数据访问
  • 索引的使用
  • 是否可以执行多线程请求
  • 数据复制参数

 

Log系列表引擎

Log系列表引擎功能相对简单,主要用于快速写入小表(1百万行左右的表),然后全部读出的场景。即一次写入多次查询

 

MergeTree表引擎

MergeTree在写入一批数据时,数据总会以数据片段的形式写入磁盘,且数据片段不可修改。为了避免片段过多,ClickHouse会通过后台线程,定期合并这些数据片段,属于相同分区的数据片段会被合成一个新的片段。这种数据片段往复合并的特点,也正是合并树名称的由来。

MergeTree作为家族系列最基础的表引擎,主要有以下特点:

  • 存储的数据按照主键排序:允许创建稀疏索引,从而加快数据查询速度
  • 支持分区,可以通过PRIMARY KEY语句指定分区字段。
  • 支持数据副本
  • 支持数据采样

 

外部集成表引擎

ClickHouse提供了许多与外部系统集成的方法,包括一些表引擎。这些表引擎与其他类型的表引擎类似,可以用于将外部数据导入到ClickHouse中,或者在ClickHouse中直接操作外部数据源。

例如直接读取HDFS的文件或者MySQL数据库的表。这些表引擎只负责元数据管理和数据查询,而它们自身通常并不负责数据的写入,数据文件直接由外部系统提供。目前ClickHouse提供了下面的外部集成表引擎:

  • ODBC:通过指定odbc连接读取数据源
  • JDBC:通过指定jdbc连接读取数据源;
  • MySQL:将MySQL作为数据存储,直接查询其数据
  • HDFS:直接读取HDFS上的特定格式的数据文件;
  • Kafka:将Kafka数据导入ClickHouse
  • RabbitMQ:与Kafka类似

 

其他特殊的表引擎

Memory表引擎

Distributed表引擎

MaterializedView表引擎

Dictionary表引擎

Merge表引擎

File表引擎

Null表引擎

Set表引擎

Join表引擎

URL表引擎

View表引擎

Buffer表引擎

分享到:
评论

相关推荐

    4、clickhouse的Log系列表引擎、外部集成表引擎和其他特殊的表引擎介绍及使用

    【ClickHouse的Log系列表引擎】 ClickHouse的Log系列表引擎主要包括TinyLog、StripLog和Log这三种,它们的设计主要是为了快速写入小规模数据并进行多次读取。Log系列引擎的特点是简单且适用于一次性写入多次查询的...

    ClickHouse--day01--架构原理和表引擎详解.pdf

    1. ClickHouse 表引擎介绍:ClickHouse 表引擎是 ClickHouse 的核心组件之一,负责数据的存储和查询。 2. MergeTree 引擎工作机制详解:MergeTree 引擎是 ClickHouse 的默认表引擎,负责数据的存储和查询。 ...

    ClickHouse-架构原理和表引擎详解

    **2.1 表引擎介绍** ClickHouse提供了多种表引擎以适应不同的应用场景。其中最著名的是MergeTree系列引擎,这是ClickHouse默认的表引擎,专门针对OLAP进行了优化。 **2.2 MergeTree引擎工作机制** MergeTree引擎...

    ClickHouse数据分析引擎入门到精通

    01_ClickHouse总体_课程介绍.mp4 02_ClickHouse入门_课程介绍.mp4 05_ClickHouse入门_安装_单机安装.mp4 ...31_ClickHouse高级_表参数&写入和删除优化.mp4 32_ClickHouse高级_CPU参数设置.mp4 33_Cli

    1、ClickHouse介绍

    ClickHouse的MergeTree引擎是其一大特色,它支持实时数据更新,数据可以不断写入并自动排序,无需锁定。此外,ClickHouse还支持索引,尤其是基于排序键的主键索引,这使得针对特定值或范围的查找变得极为迅速。同时...

    ClickHouse知识讲解PPT.pptx

    2. 向量化执行引擎:ClickHouse具有分布式计算和多核并行计算能力,支持向量化执行和SIMD指令,也支持动态代码生成。 3. SQL支持:ClickHouse支持标准SQL语法,具有内置功能齐全的分析统计函数和丰富的数据结构支持...

    clickhouse文档.docx

    4. 表引擎介绍 ClickHouse支持多种表引擎,每种引擎都有其特定的用途。例如,MergeTree是最常用的引擎,适合处理大量实时插入和快速查询的数据。它将数据按照主键排序并自动合并小文件以优化读取性能。除此之外,...

    clickhouse

    下面将详细介绍ClickHouse的基本概念、优势及其应用场景。 #### 二、ClickHouse与传统数据库的区别 **1. 数据存储方式** - **行式存储**:在传统的行式数据库中,数据按照行进行组织,即同一行的所有字段都物理上...

    大数据技术之ClickHouse视频教程

    从入门级别的单机安装、分片集群部署、数据类型讲解、多样化表引擎介绍,以及不可或缺的SQL操作详细讲解;到深入级别的执行计划操作、建表优化、表参数调优、CPU参数调优、内存参数调优,以及多种语法优化规则讲解、...

    ClickHouse MergeTree.pdf

    本文将详细介绍ClickHouse MergeTree表引擎的原理及其在大数据存储和查询中的关键作用。 首先,ClickHouse中的表引擎决定了数据表的存储特性,包括数据如何被存储和加载。ClickHouse提供了包括合并树(MergeTree)...

    ClickHouse大数据分析技术与实战课程

    ClickHouse提供了丰富的数据类型,如数字类型、字符串类型、日期时间类型等,以及各种优化的表引擎,如MergeTree家族的引擎,这些引擎在处理大量数据时具有优秀的性能。学习者将了解如何根据业务需求选择合适的数据...

    clickhouse文档

    - 向量引擎:该引擎是ClickHouse的核心,它可以高效地处理大量数据,进行快速的扫描和聚合操作。 - 实时数据更新:ClickHouse支持毫秒级的数据更新,适合需要快速响应的业务场景。 - 索引支持:ClickHouse支持...

    01_尚硅谷大数据技术之ClickHouse入门V1.01

    【尚硅谷大数据技术之ClickHouse入门V1.01】主要介绍了ClickHouse的基本概念、特点、功能、存储引擎、写入能力以及数据分区与并行处理能力。ClickHouse是一款由Yandex开发的列式存储数据库管理系统(DBMS),主要...

    腾讯 clickhouse应用实践.pdf

    本文将对 ClickHouse 的应用实践进行详细的介绍。 部署与监控管理 在生产环境中部署 ClickHouse 需要考虑多个因素,例如机器配置、存储配置、网络配置等。在腾讯的生产环境中,ClickHouse 的部署方案是基于 ...

    logstash-7.12.0-output-clickhouse.rar

    Logstash作为Elastic Stack的一部分,是数据收集、处理和转发的强大引擎,而Clickhouse则是一款高性能的列式数据库,尤其适用于在线分析处理(OLAP)。本文将深入探讨如何将Logstash 7.12.0版本与Clickhouse进行集成...

    Clickhouse离线安装包

    2. **clickhouse-server-common_1.1.54343_amd64.deb**:这个包包含Clickhouse服务器的通用组件,如数据引擎、索引和聚合函数等。这些组件使得Clickhouse能够高效地处理各种查询操作,实现快速的数据分析。 3. **...

    clickhouse中文详细教程

    通过以上内容的介绍,我们可以看出ClickHouse是一款功能强大、性能优越的列式数据库管理系统,特别适用于大规模数据分析场景。其独特的数据存储方式、高度优化的查询引擎以及丰富的功能集,使其成为现代大数据处理...

    clickhouse资料

    《ClickHouse官方中文文档.pdf》是ClickHouse的官方文档的中文翻译版,它详细介绍了ClickHouse的基本概念、安装配置、表结构设计、SQL语法、索引与分区、数据插入与查询、性能优化以及高可用性方案等重要内容。...

    ClickHouse 技术分享

    ClickHouse 技术分享 ClickHouse 是一个用于联机分析(OLAP)的列式数据库管理系统(DBMS),产生自 ...点击 House 的作者王行一对 ClickHouse 的技术分享,介绍了 ClickHouse 的技术特点、应用场景、数据类型等。

    ClickHouse库搭建部署文档.docx

    - 表引擎推荐使用 `MergeTree`,这是 ClickHouse 中最强大、最常用的数据表引擎之一,尤其适用于大规模数据处理和实时查询。 - `create_day` 字段作为分区键,`intHash32(id)` 作为排序键,`8192` 为每个分区内的...

Global site tag (gtag.js) - Google Analytics