`
longzhun
  • 浏览: 371784 次
  • 性别: Icon_minigender_1
  • 来自: 北京
社区版块
存档分类
最新评论

cassandra如何分离一个表或者一个keyspace到新集群

 
阅读更多

cassandra数据迁移有好多种方法,只要你的sstable文件没有丢失,这里只讲述两种常见易用的方式:

第一种方式:copy命令

使用方法:适用于数据量小的情况下。

使用方式:

copy mykeyspace.mytable to ‘/home/db.csv’

这样就成功的把表mytable以csv的格式导出到了db.csv文件。

然后再另外一个集群中,建一个一模一样的表,然后使用

copy app12345.mytable from ‘/home/db.csv’

就把数据导入到了新的库中。

不过以上方式仅限于小数据量,当数据量一大,这个过程会持续很久,而且文件也会很大。

第二种方式:sstableloader工具。

在cassandra的bin目录下提供了一个sstableloader工具,这个工具专门用于把一个表的sstable文件导入到一个新的集群中。

假设你的表是mykeyspace.mytable。你的数据存一个10个节点组成的集群中,每个几点的数据都存在/disk/data1和/disk/data2目录下。

假设你的新集群的一个访问地址是192.168.2.1, 先在新集群建离相同名字的keyspace和表结构。

接下来你只要在老集群的每个节点执行下面的命令:

bin/sstableloader -d 192.168.2.1 -u cassandra -pw cassandra -t 100 /disk/data1/mykeyspace/mytable

bin/sstableloader -d 192.168.2.1 -u cassandra -pw cassandra -t 100 /disk/data2/mykeyspace/mytable

其中-u是 用户名 -pw是密码 -t是限制流量100M/bps

等所有节点执行完毕,你的表数据就成功导入到了新的集群中,当然只要你的机器io和网络条件允许,你可以多个节点并发执行。

分享到:
评论

相关推荐

    cassandra3.9配置参数说明

    令牌决定了数据分布,一个节点的令牌数越多,它存储的数据比例也越大。对于硬件能力均等的节点,理想情况下应有相等数量的令牌。如果未指定,Cassandra会使用默认值1,并且会使用initial_token参数的设置。如果初始...

    Cassandra集群应用.docx

    - 定义实体类映射到Cassandra表结构。 通过以上内容的学习和实践,可以深入了解Cassandra的特性和使用方法,以及如何将其与SpringBoot框架进行有效集成,为开发高性能、高可用性的分布式应用程序打下坚实的基础。

    Cassandra-架构讲解

    当有新节点加入Cassandra集群时,数据的流动不是依次进行的,因为这样效率非常低。Cassandra采用了虚拟节点(Vnode)技术,允许每个物理节点拥有多个不连续的Token值范围。这种设计有助于解决数据倾斜问题,并能加速...

    cassandra cli 命令 大全

    Cassandra CLI是Apache Cassandra数据库系统的一个命令行工具,它提供了与Cassandra集群交互的能力,包括连接到远程节点、创建或更新模式(schema)、设置和检索记录及列,以及查询节点和集群元数据。这个工具主要...

    cassandra教程

    - **Keyspace**:每个Keyspace可以看作是独立的数据逻辑空间,可以包含多个ColumnFamily,通常对应一个应用程序,如Twitter。 - **ColumnFamily**:类似于传统数据库的表,包含多个Column或SuperColumn。 - **Column...

    Cassandra 分布式数据库详解

    首先,我们来看 `ClusterName`,这是一个集群的标识,代表整个 Cassandra 集群的名称。一旦设定并首次启动后,这个名称会被存储在系统表中,如果要更改集群名,必须清除所有数据,因为集群名是分布式一致性的一部分...

    java导出cassandra数据

    使用`Cluster.builder()`创建一个集群对象,并设置Cassandra节点的地址,然后调用`build()`方法建立连接。例如: ```java Cluster cluster = Cluster.builder() .addContactPoints("127.0.0.1") .withPort(9042...

    Cassandra的基础应用

    - 为了验证环境变量是否正确配置,需要重新打开一个新的命令提示符窗口,并在其中执行`echo %JAVA_HOME%`和`echo %CASSANDRA_HOME%`命令。如果这些命令能够正确输出相应的路径,那么就说明环境变量配置成功。 **2....

    Java连接cassandra实现简单的增删查demo

    然后,创建一个Java类来初始化Cassandra连接,如下所示: ```java import com.datastax.driver.core.*; public class CassandraConnector { private Cluster cluster; private Session session; public void ...

    spring boot与cassandra集成,使用JPA方式。

    例如,添加一个新的用户: ```java @Autowired private UserRepository userRepository; public void addUser(User user) { userRepository.save(user); } ``` 此外,Spring Data Cassandra还支持更复杂的查询,...

    Cassandra使用手册

    对于开发人员,Cassandra提供了一个简单的Java编程接口Thrift,可以用来在Java应用程序中访问Cassandra。Thrift接口的工作流程通常包括准备工作、数据库连接、数据操作(包括插入和查询)等步骤。数据插入分为单条...

    cassandra 最新文档

    2. Keyspace(键空间):类似于数据库,包含多个ColumnFamily,每个ColumnFamily对应应用程序中的一个实体或表。 3. ColumnFamily(列族):类似于数据库表,由多个Row组成,可以是Standard(普通列族)或Super...

    Cassandra架构与应用

    每个Keyspace可视为一个独立的命名空间,包含多个ColumnFamily。Row则是在ColumnFamily中的数据行,由一个主键标识,而Column则是Row中的数据单元。这种模型允许高度灵活的结构,无需预定义表结构,可在运行时动态...

    数据源管理 分布式NoSQL系统,Cassandra集群管理.docx

    ### 数据源管理与分布式NoSQL系统——Cassandra集群管理 #### Cassandra简介 **1.1 基础描述** Cassandra是一款开源的分布式NoSQL数据库系统,最初由Facebook开发,旨在为诸如收件箱这样的简单格式数据提供高效的...

    Cassandra权威指南.pdf

    2. 表(Table):Cassandra的表由多个行组成,每行包含一个键值对,键是主键,用于唯一标识每行。 3. 列族(Column Family):在Cassandra中,表是由列族组成的,每个列族包含一系列的列。 4. 列(Column):列是...

    cassandra-C#应用

    2. **连接集群**:使用Cassandra驱动,你可以创建一个`Cluster`实例,指定Cassandra集群的地址。 3. **键空间操作**:在Cassandra中,键空间(Keyspace)类似于关系数据库中的数据库,可以创建、选择或删除键空间。...

    在Spark上使用CLI读取Cassandra数据

    在Spark上使用CLI读取Cassandra数据是一种常见的大数据处理场景,Cassandra是一个分布式NoSQL数据库,而Spark则是一个用于大规模数据处理的计算框架。这两者的结合可以提供高效、可扩展的数据处理能力。以下是对这个...

    Cassandra技术详解 操作与测试报告

    Cassandra是一个开源的分布式数据库管理系统,由Facebook开发,并随后捐赠给Apache基金会。它的设计灵感来源于Amazon的Dynamo和Google的Bigtable,旨在提供高性能、高可靠性和可扩展性的数据存储解决方案。Cassandra...

Global site tag (gtag.js) - Google Analytics