对于accounts表,制定好如下的分区规则:
id < 10 => pt1 ......node1 mysql server
10 <= id < 20 => pt2 ......node2 mysql server
id >= 20 => pt2 ......node3 mysql server
Rails开发是不对ID进行设值的,靠MySQL的主键自动加1为每条数据的ID设值。
开发时遇到了这样的问题:
当插入的数据为第10条时,在spider_main中默认的ID就为10。
此时spider_main按照规则将本条数据插入到node2 mysql server...
但发现结果是,node2中的该条数据ID是从1开始的。
(#此时我在主服务器spider_main中查询accounts时,竟然发现了两条主键id=1的数据,顿时崩溃~~~)
个人解决该问题的办法是:在从MySQL服务器(node1/node2/node3)中创建表时,
应该根据Spider的分区规则指定表的AUTO_INCREMENT属性。
也就是说在node2中创建accounts表时,应该加上下面的语句:
ALTER TABLE spider_development.accounts AUTO_INCREMENT 10;
在node3中创建accounts表时,应该加上下面的语句:
ALTER TABLE spider_development.accounts AUTO_INCREMENT 20;
至于node1中,默认就是1,则无需追加上述的语句。
另外对于spider_main mysql server(即主MySQL服务器)也无需指定AUTO_INCREMENT
,默认值1即可。
特别值得注意的是:
上述主从服务器中的表的AUTO_INCREMENT值务必在刚开始建表时就指定好,事后发现问题再修改的话,会有很多问题。
分享到:
相关推荐
NULL 博文链接:https://ilgnep.iteye.com/blog/702166
在数据分析领域,"spider-analysis"通常指的是使用网络爬虫(Spider)技术来抓取大量数据,然后进行深度分析和挖掘。在这个过程中,"spider优化技术"旨在提高爬虫的效率,避免被目标网站封禁,同时确保数据的准确性...
SpiderMonkey is Mozilla's JavaScript engine written in C/C++. It is used in various Mozilla products, including Firefox, and is available under the MPL2.
一个大规模复杂跨域语义解析和 text-to-SQL 数据集 Spider。该数据集由 11 名耶鲁大学学生标注,包含 10181 个问题和 5693 个独特的复杂 SQL 查询、200 个具备多个表的数据库,覆盖 138 个不同领域。
"Spider数据挖掘的工具箱"是专为MATLAB设计的一款扩展工具,用于支持在MATLAB环境中进行高效的数据挖掘和分析工作。它与流行的开源数据挖掘软件Weka相结合,提供了更加强大的功能,使得用户能够在MATLAB这个强大的...
Spider可以抓取这些数据,然后利用数据分析工具(如Gephi、NetworkX)进行可视化和统计分析,揭示隐藏的社会结构和模式。 在内容分析中,Spider可以抓取新闻网站、论坛或博客的文章,用于主题建模、情感分析或舆情...
Spider: A Large-Scale Human-Labeled Dataset for Complex and Cross-Domain Semantic Parsing and Text-to-SQL Task
IRNet 提供的原始spider数据集。 You could process the origin Spider Data by your own. Download and put train.json, dev.json and tables.json under ./data/ directory and follow the instruction on ./...
在MATLAB中,使用"spider"工具箱进行数据挖掘,通常需要以下步骤: 1. **数据导入**:MATLAB支持多种数据格式的导入,用户可以通过`readtable`或`importdata`函数将数据加载到工作空间。 2. **数据预处理**:...
"Spider"在这里指的是一个在Matlab环境下实现的机器学习工具箱,主要用于分类和回归任务。...由于未提供具体的代码或文档,更深入的细节无法详细展开,但以上内容涵盖了使用此类工具箱时可能会遇到的关键概念和操作。
7. **日志记录与错误处理**:提供详细的运行日志,方便用户追踪爬取过程中的问题,并对遇到的错误进行调试和解决。 尽管WebSpider提供了强大的功能,但作为一款自动化工具,它可能会被误用,比如用于非法的网页抄袭...
假设我们正在尝试爬取豆瓣电影Top250的数据,但在执行爬虫时遇到了“Spider error processing”的错误提示。按照上述步骤进行排查: 1. **确认请求头设置**:确保请求头中的`User-Agent`等字段配置正确,以模仿真实...
"check vuln"(检查漏洞)是网络安全中的关键步骤,它涉及到对系统进行深入扫描,寻找任何可能被利用的弱点。Black Spider 1.7.2可能包含了一系列的漏洞检测工具,这些工具能够自动扫描目标系统,找出已知的安全问题...
颜值超高的数据采集工具_XHS-Spider
【标题】"JDspider_jdspider_python爬虫_京东_" 涉及的主要知识点是使用Python编程语言构建一个名为JDspider的爬虫程序,该程序专门针对京东(JD.com)的商品页面进行数据抓取,尤其是关注商品的优惠价格信息。...
7. **异常处理与恢复**:在遇到网络错误、服务器超时等情况时,WebSpider会尝试自动重试或跳过错误,确保抓取过程的连续性。 8. **用户友好的界面**:WebSpider蓝蜘蛛网页取通常具有直观的图形用户界面,使得非编程...
开源的Webspider网络蜘蛛是一种高效且稳定的网页抓取工具,设计用于并行抓取多个网站的数据...总的来说,Webspider是一个强大而灵活的网络爬虫框架,对于需要进行大规模网页数据抓取的项目来说,是一个值得考虑的选择。
【测试代码spider】主要涉及的是使用Java进行网络爬虫(Spider)的开发与测试。在编程领域,网络爬虫是一种自动抓取互联网信息的程序,通常用于数据挖掘、市场研究或监控特定网站的更新。Java作为一门面向对象的编程...
使用时为matlab+spider+Weka;因为spider中的一些算法引用了Weka,比如j48 安装注意: 1? ?matlab7(R14) ??6.5版本对java的支持不够,还没有开发javaclasspath等函数 ??? Undefined function or variable '...
7. **延时和重试**:为了避免过于频繁的请求被封IP,爬虫需要设置适当的延时,并在请求失败时进行重试。 8. **异常处理**:编写健壮的爬虫需要考虑各种可能出现的异常情况,如网络连接错误、解析错误等,并进行妥善...