`
like.eagle
  • 浏览: 253185 次
  • 性别: Icon_minigender_1
  • 来自: 上海
社区版块
存档分类
最新评论

利用spider storage engine进行数据分区时遇到的问题

阅读更多

 对于accounts表,制定好如下的分区规则:
  id < 10        => pt1       ......node1 mysql server
  10 <= id < 20  => pt2   ......node2 mysql server
  id >= 20       => pt2      ......node3 mysql server

  Rails开发是不对ID进行设值的,靠MySQL的主键自动加1为每条数据的ID设值。
  开发时遇到了这样的问题:
  当插入的数据为第10条时,在spider_main中默认的ID就为10。
  此时spider_main按照规则将本条数据插入到node2 mysql server...
  但发现结果是,node2中的该条数据ID是从1开始的。

 

  (#此时我在主服务器spider_main中查询accounts时,竟然发现了两条主键id=1的数据,顿时崩溃~~~)

  个人解决该问题的办法是:在从MySQL服务器(node1/node2/node3)中创建表时,
  应该根据Spider的分区规则指定表的AUTO_INCREMENT属性。
  也就是说在node2中创建accounts表时,应该加上下面的语句:
  ALTER TABLE spider_development.accounts AUTO_INCREMENT 10;
  在node3中创建accounts表时,应该加上下面的语句:
  ALTER TABLE spider_development.accounts AUTO_INCREMENT 20;
  至于node1中,默认就是1,则无需追加上述的语句。
 
  另外对于spider_main mysql server(即主MySQL服务器)也无需指定AUTO_INCREMENT ,默认值1即可。

  特别值得注意的是:
  上述主从服务器中的表的AUTO_INCREMENT值务必在刚开始建表时就指定好,事后发现问题再修改的话,会有很多问题。

分享到:
评论

相关推荐

    Spider Storage Engine安装手顺

    NULL 博文链接:https://ilgnep.iteye.com/blog/702166

    spider-analysis数据分析

    在数据分析领域,"spider-analysis"通常指的是使用网络爬虫(Spider)技术来抓取大量数据,然后进行深度分析和挖掘。在这个过程中,"spider优化技术"旨在提高爬虫的效率,避免被目标网站封禁,同时确保数据的准确性...

    mozilla spidermonkey javascript engine 源代码

    SpiderMonkey is Mozilla's JavaScript engine written in C/C++. It is used in various Mozilla products, including Firefox, and is available under the MPL2.

    spider 数据集——Text-to-SQL

    一个大规模复杂跨域语义解析和 text-to-SQL 数据集 Spider。该数据集由 11 名耶鲁大学学生标注,包含 10181 个问题和 5693 个独特的复杂 SQL 查询、200 个具备多个表的数据库,覆盖 138 个不同领域。

    spider数据挖掘的工具箱

    "Spider数据挖掘的工具箱"是专为MATLAB设计的一款扩展工具,用于支持在MATLAB环境中进行高效的数据挖掘和分析工作。它与流行的开源数据挖掘软件Weka相结合,提供了更加强大的功能,使得用户能够在MATLAB这个强大的...

    Spider 用于网络分析

    Spider可以抓取这些数据,然后利用数据分析工具(如Gephi、NetworkX)进行可视化和统计分析,揭示隐藏的社会结构和模式。 在内容分析中,Spider可以抓取新闻网站、论坛或博客的文章,用于主题建模、情感分析或舆情...

    spider dataset

    Spider: A Large-Scale Human-Labeled Dataset for Complex and Cross-Domain Semantic Parsing and Text-to-SQL Task

    spider.zip

    IRNet 提供的原始spider数据集。 You could process the origin Spider Data by your own. Download and put train.json, dev.json and tables.json under ./data/ directory and follow the instruction on ./...

    matlab_tool_box_spider.rar_spider_数据挖掘 matlab

    在MATLAB中,使用"spider"工具箱进行数据挖掘,通常需要以下步骤: 1. **数据导入**:MATLAB支持多种数据格式的导入,用户可以通过`readtable`或`importdata`函数将数据加载到工作空间。 2. **数据预处理**:...

    spider

    "Spider"在这里指的是一个在Matlab环境下实现的机器学习工具箱,主要用于分类和回归任务。...由于未提供具体的代码或文档,更深入的细节无法详细展开,但以上内容涵盖了使用此类工具箱时可能会遇到的关键概念和操作。

    WebSpider 2.7 汉化版

    7. **日志记录与错误处理**:提供详细的运行日志,方便用户追踪爬取过程中的问题,并对遇到的错误进行调试和解决。 尽管WebSpider提供了强大的功能,但作为一款自动化工具,它可能会被误用,比如用于非法的网页抄袭...

    初学者scrapy框架爬取数据不成功,出现ERROR: Spider error processing错误问题的解决方法

    假设我们正在尝试爬取豆瓣电影Top250的数据,但在执行爬虫时遇到了“Spider error processing”的错误提示。按照上述步骤进行排查: 1. **确认请求头设置**:确保请求头中的`User-Agent`等字段配置正确,以模仿真实...

    Black_Spider_1.7.2.zip_Black Spider 1.7.2_Black_Spider_1.7.2_bla

    "check vuln"(检查漏洞)是网络安全中的关键步骤,它涉及到对系统进行深入扫描,寻找任何可能被利用的弱点。Black Spider 1.7.2可能包含了一系列的漏洞检测工具,这些工具能够自动扫描目标系统,找出已知的安全问题...

    颜值超高的数据采集工具_XHS-Spider.zip

    颜值超高的数据采集工具_XHS-Spider

    JDspider_jdspider_python爬虫_京东_

    【标题】"JDspider_jdspider_python爬虫_京东_" 涉及的主要知识点是使用Python编程语言构建一个名为JDspider的爬虫程序,该程序专门针对京东(JD.com)的商品页面进行数据抓取,尤其是关注商品的优惠价格信息。...

    WebSpider蓝蜘蛛网页取

    7. **异常处理与恢复**:在遇到网络错误、服务器超时等情况时,WebSpider会尝试自动重试或跳过错误,确保抓取过程的连续性。 8. **用户友好的界面**:WebSpider蓝蜘蛛网页取通常具有直观的图形用户界面,使得非编程...

    开源webspider网络蜘蛛

    开源的Webspider网络蜘蛛是一种高效且稳定的网页抓取工具,设计用于并行抓取多个网站的数据...总的来说,Webspider是一个强大而灵活的网络爬虫框架,对于需要进行大规模网页数据抓取的项目来说,是一个值得考虑的选择。

    测试代码spider

    【测试代码spider】主要涉及的是使用Java进行网络爬虫(Spider)的开发与测试。在编程领域,网络爬虫是一种自动抓取互联网信息的程序,通常用于数据挖掘、市场研究或监控特定网站的更新。Java作为一门面向对象的编程...

    matlab的数据挖掘工具箱spider 共6页.pdf

    使用时为matlab+spider+Weka;因为spider中的一些算法引用了Weka,比如j48 安装注意: 1? ?matlab7(R14) ??6.5版本对java的支持不够,还没有开发javaclasspath等函数 ??? Undefined function or variable '...

    weibo_spider_爬虫python_关键词爬虫_python_python爬虫_spider_源码.rar

    7. **延时和重试**:为了避免过于频繁的请求被封IP,爬虫需要设置适当的延时,并在请求失败时进行重试。 8. **异常处理**:编写健壮的爬虫需要考虑各种可能出现的异常情况,如网络连接错误、解析错误等,并进行妥善...

Global site tag (gtag.js) - Google Analytics