`
like.eagle
  • 浏览: 253136 次
  • 性别: Icon_minigender_1
  • 来自: 上海
社区版块
存档分类
最新评论

USING SPIDER (Simple case)

阅读更多

利用spider storage engine的简单实例:

 

Preparing remote servers

1.Create three servers using MySQL Sandbox
任意目录下执行命令:
make_multiple_sandbox \
--group_directory=spider_dir \
--sandbox_base_port=6000 \
--check_base_port 5.1.44

执行上述命令时出现了错误:
installing node 1
/opt/mysql does not exist
error installing node 1

(512 )

解决办法:
cd /opt
mkdir mysql
cd mysql
ln -s /home/spider/mysql-5.1.44/5.1.44 /opt/mysql/5.1.44

创建成功的信息:
installing node 1
installing node 2
installing node 3
group directory installed in $HOME/sandboxes/spider_dir

2.Check the port numbers(下面的~/即相当于/root/)
~/sandboxes/spider_dir/use_all \
"show variables like 'port'"

Check成功的信息:
# server: 1:
Variable_name Value
port 6001
# server: 2:
Variable_name Value
port 6002
# server: 3:
Variable_name Value
port 6003

3.create table definition (tablea.sql)
在$HOME/sandboxes/spider_dir下创建tablea.sql文件,内容如下:
drop database if exists myspider;
create database myspider;
use myspider;
Create table tbl_a(
col_a int,
col_b int,
primary key(col_a)
);

4.create table in remote servers
cd $HOME/sandboxes/spider_dir
./use_all "source tablea.sql"

Setting the main server

1.create table definition (tablea_main.sql)
在$HOME/sandboxes/spider_main下创建tablea_main.sql文件,内容如下:
drop database if exists myspider;
create database myspider;
use myspider;
Create table tbl_b(
col_a int,
col_b int,
primary key(col_a)
) engine = Spider
Connection ' table "tbl_a", user "msandbox", password "msandbox" '
partition by range( col_a ) (
partition pt1 values less than (1000)
 comment 'host "127.0.0.1", port "6001"',
partition pt2 values less than (2000)
 comment 'host "127.0.0.1", port "6002"',
partition pt3 values less than (MAXVALUE)
 comment 'host "127.0.0.1", port "6003"'
);

2.create table
cd $HOME/sandboxes/spider_main
./use < tablea_main.sql

执行上述SQL文时,出现了MySQL Sandbox停止,并且不能重新启动的错误:sandbox server not started yet......
经过艰难的调查,依然未果!!!

 

解决办法一:

cd $HOME/sandboxes/spider_main
./clear
./start

解决办法二:

①cd /home/spider/mysql-5.1.44/
②然后执行如下命令:
make_sandbox \
$PWD/mysql-5.1.44-linux-i686.tar.gz \
--sandbox_directory=spider_main --force
③然后执行(spider环境搭建)中的(spider storage engine の setup)即可。

 

以上两种方法会导致数据库全部丢失,因此请慎用。

 

解决办法之三:
cd $HOME/sandboxes/spider_main/data
然后删除data目录了下的ib_logfile0、ib_logfile1、tc.log文件。
然后重启即可。


(Finally) using it

1.in the main server  --- using it (1)
cd $HOME/sandboxes/spider_main
./use myspider
insert into tbl_b values (500,1), \
(1500,2), (5000,3);
#Query OK, 3 rows affected (0.01 sec)
#Records: 3 Duplicates: 0 Warnings: 0

2.in the main server  --- using it (2)
select * from tbl_b;


+---------------+------------------+

|     col_a       |        col_b       |

+---------------+------------------+

|      500        |                        |

|    1500        |                        |

|     5000       |                        |

+---------------+------------------+

#3 rows in set (0.01 sec)

Looking for the data

1.in the "remote" servers

 

cd $HOME/sandboxes/spider_dir


./use_all "select * from myspider.tbl_a"

# server: 1:
col_a col_b
500 1
# server: 2:
col_a col_b
1500 2
# server: 3:
col_a col_b
5000 3

 

分享到:
评论

相关推荐

    zhizhu.zip_Java spider_Simple HTML parser_spider

    一个基于Java的web spider框架.它包含一个简单的HTML剖析器能够分析包含HTML内容的输入流.通过实现Arachnid的子类就能够开发一个简单的Web spiders并能够在Web站上的每个页面被解析之后增加几行代码调用。

    Black_Spider_1.7.2.zip_Black Spider 1.7.2_Black_Spider_1.7.2_bla

    Black Spider 1.7.2 是一款网络安全工具,主要用于上传shell和检查系统漏洞。这个版本的更新可能包含了一些新的功能和改进,使得它在黑客防御和渗透测试中更加强大和有效。"Black_Spider_1.7.2.zip" 是这个工具的...

    Python库 | simple_spider-1.3.5-py3-none-any.whl

    "simple_spider-1.3.5-py3-none-any.whl" 是一个针对Python 3开发的库,名为"simple_spider",版本号为1.3.5。这个库可能专注于网络爬虫相关的功能,帮助用户轻松地抓取和处理网页数据。 **Python库的安装与使用** ...

    Spider 用于网络分析

    【Spider 用于网络分析】 网络分析是数据科学领域的一个重要组成部分,主要涉及研究网络结构、节点间的关系以及网络动态变化。在这个过程中,Spider(爬虫)作为一种自动化工具,扮演着至关重要的角色。它能帮助...

    spider-admin-pro 一个集爬虫Scrapy+Scrapyd爬虫项-spider-admin-pro.zip

    标题"spider-admin-pro 一个集爬虫Scrapy+Scrapyd爬虫项-spider-admin-pro.zip"表明这是一个基于Scrapy和Scrapyd的爬虫项目管理平台,名为"spider-admin-pro"。它已经被打包成.zip文件供用户下载和使用。这个平台...

    spider

    "Spider"在这里指的是一个在Matlab环境下实现的机器学习工具箱,主要用于分类和回归任务。在机器学习领域,"Spider"可能是一个自定义的库,集合了多种算法以供研究和应用。以下将详细探讨与这个工具箱相关的知识点:...

    Article_Spider_spider_

    【标题】:文章爬虫(Spider)开发指南 在信息技术领域,网络爬虫(Web Spider)是一种自动遍历网络并抓取网页信息的程序。在这个案例中,我们关注的是一个特定于“Article Spider”的项目,它专注于从cnblogs.com...

    JDspider_jdspider_python爬虫_京东_

    【标题】"JDspider_jdspider_python爬虫_京东_" 涉及的主要知识点是使用Python编程语言构建一个名为JDspider的爬虫程序,该程序专门针对京东(JD.com)的商品页面进行数据抓取,尤其是关注商品的优惠价格信息。...

    python-spidermonkey

    《用perl解析JavaScript之JavaScript模块的安装--SpiderMonkey》 安装依赖软件: 安装pyrex:sudo apt-get install python-pyrex 安装g++:sudo apt-get install g++ 安装libjs.so: $ tar zxvf js-1.7.0.tar...

    weibo_spider_爬虫python_关键词爬虫_python_python爬虫_spider_源码.rar

    标题中的"weibo_spider"表明这是一个针对微博的爬虫项目,主要使用的编程语言是Python。关键词"python爬虫"和"spider_源码"暗示我们这里将深入探讨Python编程语言中的网络爬虫技术,特别是针对微博平台的数据抓取。...

    wechat_spider 微信公众号爬虫

    wechat_spider 微信公众号爬虫。 需要环境: mysql、redis 支持平台: windows/mac 。 示例配置文件: mysqldb: ip: localhost port: 3306 db: wechat user: root passwd: "123456" auto_create_tables: true ...

    spider原理资料

    【Spider原理详解】 Spider,又称为网络爬虫或网络机器人,是互联网中一种自动化程序,其主要任务是在互联网上抓取网页信息。Spider的基本工作原理是通过跟随网页上的超链接,像一只蜘蛛在巨大的蜘蛛网上爬行一样,...

    spiderMonkey_js-1.5-rc6a.tar.gz_SpiderMonkey_openVXI_spiderMonke

    SpiderMonkey是Mozilla公司开发的一款JavaScript引擎,它是Firefox浏览器的核心组成部分之一。这个名为"spiderMonkey_js-1.5-rc6a.tar.gz"的压缩包文件包含了SpiderMonkey的1.5版本的源代码,其中rc6a代表的是...

    开源webspider网络蜘蛛webspider-1.0.0.6.tar.gz

    【开源Webspider网络蜘蛛1.0.0.6】是一个功能强大的网络抓取工具,专为高效地抓取互联网信息而设计。该版本(1.0.0.6)体现了其稳定性和可靠性,能够同时处理多个网站的抓取任务,以满足大数据时代的广泛需求。Web...

    通过MOZILLA的javascript引擎(SpiderMonkey)执行js代码

    Mozilla的SpiderMonkey是第一个JavaScript引擎,由Mozilla基金会开发,用于支持Firefox浏览器和其他Mozilla相关项目。这个引擎实现了ECMAScript标准,使得JavaScript代码能够被高效地解析和执行。 SpiderMonkey的...

    spider_spider_spiderpython官网_爬虫_

    本项目"spider_spider_spiderpython官网_爬虫_"是一个使用Python编写的豆瓣网数据爬取小程序。在本文中,我们将深入探讨Python爬虫的基础知识、涉及的库以及如何使用它们来实现豆瓣网的数据抓取。 首先,Python爬虫...

    Android 崩溃可在手机端显示日志 SpiderMan

    功能介绍: 在Android手机上显示闪退崩溃信息 解决软件闪退崩溃,但是又不能场景重现的无奈 避免部分国产Rom禁止异常log输出 ...debugImplementation com.simple:spiderman:$spider_man releaseImplementati

    spider_news_all, Scrapy Spider for 各种新闻网站.zip

    在"spider_news_all"项目中,开发人员创建了一个Scrapy蜘蛛,专门用于抓取各种新闻网站的内容。这个开源项目意味着任何人都可以查看、学习或在现有代码基础上进行修改。 首先,我们要了解Scrapy的基础架构。Scrapy...

    JSpider Web Spider引擎

    J-Spider:是一个完全可配置和定制的Web Spider引擎.你可以利用它来检查网站的错误(内在的服务器错误等),网站内外部链接检查,分析网站的结构(可创建一个网站地图),下载整个Web站点,你还可以写一个JSpider插件来扩展...

    Scrapy框架中Spider的用法

    Scrapy 框架中 Spider 的用法 Scrapy 框架中 Spider 的用法是指在 Scrapy 里面要抓取网站的链接配置、抓取逻辑、解析逻辑里都是在 Spider 里面去完成的。在实现 Scrapy 爬虫项目里面,最核心的就是 Spider 类了,它...

Global site tag (gtag.js) - Google Analytics