defungo
- 浏览: 80929 次
- 性别:
- 来自: 北京
-
最新评论
文章列表
浅析MySql二进制日志的应用
- 博客分类：
- mysql
mysql有4种不同的日志，分别是二进制日志，查询日志，慢查询日志和错误日志，这些日记记录着数据库工作的方方面面，可以帮助我们了解数据库的不同方 面的踪迹，下面先介绍二进制日志的作用和使用方法，并利用二进制日志对数据库进行各种维护和优化,其他日志也会在后面陆续会做详细的介绍。 二进制日志（bin-log日志） 在上一篇介绍mysql主从配置的blog中，已经提过bin-log日志的作用和使用，bin-log日志记录了所有的DDL和DML的语句，但不包括查询的语句，语句以事件的方式保存，描述了数据的更改过程，此日志对发生灾难时数据恢复起到了极为重要的作用。开启 mysql默认是没有开发bin-l ...
源码编译安装 MySQL 5.5.x 实践
- 博客分类：
- mysql
1.安装cmake MySQL从5.5版本开始，通过./configure进行编译配置方式已经被取消，取而代之的是cmake工具。 因此，我们首先要在系统中源码编译安装cmake工具。
# wget http://www.cmake.org/files/v2.8/cmake-2.8.4.tar.gz
# tar zxvf cmake-2.8.4.tar.gz
# cd cmake-2.8.4
# ./configure # make # make install
2.确保以下所需系统软件包已经被安装 通过 rpm -qa | grep name 的方式验证以下软件包是否已全部安装。 ...
MySQL主从复制(Master-Slave)
Mysql作为目前世界上使用最广泛的免费数据库，相信所有从事系统运维的工程师都一定接触过。但在实际的生产环境中，由单台Mysql作为独立的数据库是完全不能满足实际需求的，无论是在安全性，高可用性以及高并发等各个方面。
因此，一般来说都是通过 主从复制（Master-Slave）的方式来同步数据，再通过读写分离（MySQL-Proxy）来提升数据库的并发负载能力 这样的方案来进行部署与实施的。
如下图所示：
下面是我在实际工作过程中所整理的笔记，在此分享出来，以供大家参考。
一、MySQL的安装与配置具体的安装过程，建议参考我的这一篇文 ...
原文地址http://stackoverflow.com/questions/6559308/how-does-lmaxs-disruptor-pattern-work
第一个回答（answered Jul 3 '11 at 8:03 Michael Barker）：
Disruptor最简单的描述就是：它是线程间通信最高效的方式。它可以用来替代队列，同时有很多SEDA和Actors模式的特性。和队列比较：Disruptor可以向其他线程发送消息，并在需要的时候唤醒其他线程（和BlockingQueue相似）。不过，他们之间有三个主要的区别。1. 使用者通过继承Entry类并提供一个做 ...
disruptor发布了Java的2.0版本(.Net版本见这里)，disruptor是一个高性能的异步处理框架，或者可以认为是最快的消息框架(轻量的JMS)，也可以认为是一个观察者模式实现，或者事件-监听模式的实现，直接称disruptor模式。disruptor最大特点是高性能，其LMAX架构可以获得每秒6百万订单，用1微秒的延迟获得吞吐量为100K+。disruptor与传统高性能模型是不同的，LMAX团队通过测试发现热门的Actor模型在高并发设计有瓶颈，disruptor的RingBuffer根据多核CPU的高速缓存设计特点进行了优化，让每个CPU运行一个线程，多个CPU就是多线 ...
Martin Fowler最近的一篇文章：LMAX架构。LMAX是一种新型零售金融交易平台，它能够以很低的延迟(latency)产生大量交易(吞吐量). 这个系统是建立在JVM平台上，核心是一个业务逻辑处理器，它能够在一个线程里每秒处理6百万订单. 业 ...
伪共享False sharing说明JVM底层技术也不让人那么放心。内存缓存系统中基本单元是高速缓存行(Cache lines). cpu会把数据从内存加载到高速缓存中 ,这样可以获得更好的性能，高速缓存默认大小是64 Byte为一个区域，一个区域在一个时间点只允许一个核心操作，也就是说不能有多个核心同时操作一个缓存区域。因为高速缓存是64字节，而Hotspot JVM的对象头是两个部分组成，第一部分是由24字节的hash code和8字节的锁等状态标识组成，第二部分是指向该对象类的引用。基本类型字节如下：doubles (8) and longs (8)ints (4) and fl ...
<!--StartFragment -->
1.instriment btrace的实现2.Java文件是如何转成字节码的3.为什么在java转成bytecode优化相对来说比虚拟机内部优化少4.数据的推模式和拉模式各有什么特点，在XX场景下适用什么5.hashmap详解 和并发的Map有什么区别，在并发环境下会导致什么问题6.String和StringBuilder有什么区别，如何实现的，在StringBuilder内部char长度用完的时候是如何扩展的
堆大小设置JVM 中最大堆大小有三方面限制：相关操作系统的数据模型（32-bt还是64-bit）限制；系统的可用虚拟内存限制；系统的可用物理内存限制。32位系统 下，一般限制在1.5G~2G；64为操作系统对内存无限制。我在Windows Server 2003 系统，3.5G物理内存，JDK5.0下测试，最大可设置为1478m。典型设置：
java -Xmx3550m -Xms3550m -Xmn2g -Xss128k-Xmx3550m：设置JVM最大可用内存为3550M。-Xms3550m：设置JVM促使内存为3550m。此值可以设置与-Xmx相同，以避免每次垃圾回收完成后JVM ...
python str()与repr()区别
- 博客分类：
- python
The str() function is meant to return representations of values which are fairly
human-readable, while repr() is meant to generate representations which can be read by
the interpreter (or will force a SyntaxError if there is not equivalent syntax).
str是给人看的，repr是给编译器看的，同时eval(repr(obj))还可以得到ob ...
1、数据块(block)
HDFS(Hadoop Distributed File System)默认的最基本的存储单位是64M的数据块。
和普通文件系统相同的是，HDFS中的文件是被分成64M一块的数据块存储的。
不同于普通文件系统的是，HDFS中，如果一个文件小于一个数据 ...
决策树分类
1.Hunt算法：许多决策树算法的基础 包括ID3、C4.5和CART
通过将训练记录相继划分成较纯的子集，以递归方式建立决策树。
（其实就是通过属性来递归区别，重点是在如何选择属性，如何停止）
选择最佳划分的度量
决策树归纳算法必须为不同类型的属性提供表示属性测试条件和其对应输出的方法。
二元属性，标称属性，序数属性，连续属性。
1.决策树归纳算法
决策树是一个类似于流程图的树结构；其中，每个内部结 ...
在推荐系统中，主要有3种评测推荐系统的方法。即离线实验（offline experiment），用户调查（user study），在线实验（online experiment）。
1.离线实验
离线实验一般由如下几个步骤组成：
（1）通过日志系统获得用户的行为数据，并按照一定格式生成一个标准的数据集。
（2）将数据集按照一定的规则分成训练集和测试集。
（3）在训练集上训练用户兴趣模型，在测试集上进行预测
...
推荐引擎-（1）简介
- 博客分类：
- 推荐引擎
- Data Mining
推荐引擎在现有的方式大体非为3类
1.社会化推荐（social recommendation）。例如让好友给自己推荐物品。
2.基于内容的推荐（content-based filtering）。
3.基于协同过滤的推荐（collaborative filtering）
从上面3中方法可以看出，推荐算法的本质是通过一定的方式将用户和物品联系起来。例如利用好友，用户的历史兴趣记录以及用户的注册信息等等。
一个完整的推荐系统一般存在3个参与方：用户、提供者和提供推荐系统的终端。而一个好的推荐系统，需要同时考虑三方利益，达到共赢。
好的推荐系统不仅仅能够预测用户的行 ...
1.频率和众数 （是一组数据中出现次数最多的数值，叫众数）
2.百分位数
3.位置度量：均值(mean)和中位数(median)
均值：统计学术语，与“平均”（Average）意义相同。例如： l、3、6，10、20这5个数的均值是8。也同期望
截断均值（trimmed mean）：截断均值是去掉高、低极端值得到的均值。应当避免在两端截断的比例太大，因为这可能导致损失有价值的信息
中位数（Medians）统计学名词，是指将统计总体当中的各个变量值按大小顺序排列起来，形成一个数列，处于变量数列中间位置的变量值就称为中位数，用Me表示。当变量值的项数N为奇数时，处于中 ...