san_yun
- 浏览: 2652283 次
- 来自: 杭州
-
文章分类
- 全部博客 (1188)
- webwork (4)
- 网摘 (18)
- java (103)
- hibernate (1)
- Linux (85)
- 职业发展 (1)
- activeMQ (2)
- netty (14)
- svn (1)
- webx3 (12)
- mysql (81)
- css (1)
- HTML (6)
- apache (3)
- 测试 (2)
- javascript (1)
- 储存 (1)
- jvm (5)
- code (13)
- 多线程 (12)
- Spring (18)
- webxs (2)
- python (119)
- duitang (0)
- mongo (3)
- nosql (4)
- tomcat (4)
- memcached (20)
- 算法 (28)
- django (28)
- shell (1)
- 工作总结 (5)
- solr (42)
- beansdb (6)
- nginx (3)
- 性能 (30)
- 数据推荐 (1)
- maven (8)
- tonado (1)
- uwsgi (5)
- hessian (4)
- ibatis (3)
- Security (2)
- HTPP (1)
- gevent (6)
- 读书笔记 (1)
- Maxent (2)
- mogo (0)
- thread (3)
- 架构 (5)
- NIO (5)
- 正则 (1)
- lucene (5)
- feed (4)
- redis (17)
- TCP (6)
- test (0)
- python，code (1)
- PIL (3)
- guava (2)
- jython (4)
- httpclient (2)
- cache (3)
- signal (1)
- dubbo (7)
- HTTP (4)
- json (3)
- java socket (1)
- io (2)
- socket (22)
- hash (2)
- Cassandra (1)
- 分布式文件系统 (5)
- Dynamo (2)
- gc (8)
- scp (1)
- rsync (1)
- mecached (0)
- mongoDB (29)
- Thrift (1)
- scribe (2)
- 服务化 (3)
- 问题 (83)
- mat (1)
- classloader (2)
- javaBean (1)
- 文档集合 (27)
- 消息队列 (3)
- nginx，文档集合 (1)
- dboss (12)
- libevent (1)
- 读书 (0)
- 数学 (3)
- 流程 (0)
- HBase (34)
- 自动化测试 (1)
- ubuntu (2)
- 并发 (1)
- sping (1)
- 图形 (1)
- freemarker (1)
- jdbc (3)
- dbcp (0)
- sharding (1)
- 性能测试 (1)
- 设计模式 (2)
- unicode (1)
- OceanBase (3)
- jmagick (1)
- gunicorn (1)
- url (1)
- form (1)
- 安全 (2)
- nlp (8)
- libmemcached (1)
- 规则引擎 (1)
- awk (2)
- 服务器 (1)
- snmpd (1)
- btrace (1)
- 代码 (1)
- cygwin (1)
- mahout (3)
- 电子书 (1)
- 机器学习 (5)
- 数据挖掘 (1)
- nltk (6)
- pool (1)
- log4j (2)
- 总结 (11)
- c++ (1)
- java源代码 (1)
- ocr (1)
- 基础算法 (3)
- SA (1)
- 笔记 (1)
- ml (4)
- zokeeper (0)
- jms (1)
- zookeeper (5)
- zkclient (1)
- hadoop (13)
- mq (2)
- git (9)
- 问题，io (1)
- storm (11)
- zk (1)
- 性能优化 (2)
- example (1)
- tmux (1)
- 环境 (2)
- kyro (1)
- 日志系统 (3)
- hdfs (2)
- python_socket (2)
- date (2)
- elasticsearch (1)
- jetty (1)
- 树 (1)
- 汽车 (1)
- mdrill (1)
- 车 (1)
- 日志 (1)
- web (1)
- 编译原理 (1)
- 信息检索 (1)
- 性能，linux (1)
- spam (1)
- 序列化 (1)
- fabric (2)
- guice (1)
- disruptor (1)
- executor (1)
- logback (2)
- 开源 (1)
- 设计 (1)
- 监控 (3)
- english (1)
- 问题记录 (1)
- Bitmap (1)
- 云计算 (1)
- 问题排查 (1)
- highchat (1)
- mac (3)
- docker (1)
- jdk (1)
- 表达式 (1)
- 网络 (1)
- 时间管理 (1)
- 时间序列 (1)
- OLAP (1)
- Big Table (0)
- sql (1)
- kafka (1)
- md5 (1)
- springboot (1)
- spring security (1)
- Spring Boot (3)
- mybatis (1)
- java8 (1)
- 分布式事务 (1)
- 限流 (1)
- Shadowsocks (0)
- 2018 (1)
- 服务治理 (1)
- 设计原则 (1)
- log (0)
- perftools (1)
最新评论
-
siphlina：
课程——基于Python数据分析与机器学习案例实战教程分享网盘 ...
Python机器学习库 -
san_yun：
leibnitz 写道hi,我想知道,无论在92还是94版本, ...
hbase的行锁与多版本并发控制(MVCC) -
leibnitz：
hi,我想知道,无论在92还是94版本,更新时(如Puts)都 ...
hbase的行锁与多版本并发控制(MVCC) -
107x：
不错，谢谢！
Latent Semantic Analysis(LSA/ LSI)算法简介 -
107x：
不错，谢谢！
Python机器学习库
现在线上web服务器都是直接使用memcached，虽然简单但存在几个问题：
1.连接数过高，按照线上的做法，10台memcached服务器，python 24个进程，假设每个进程对每台memcached平均建立5个链接(和并发数有关)，24*10*5=1250个链接左右。
2.比较难按照key的纬度来统计命中率。
3.增加减少memcached服务器需要发布，如果再加上jython，更加麻烦。
4.python的memcached客户端存在问题，这是某天上午11点memcached的连接数情况：
在某台机器上面打点（ms）：
get :1:django.contrib.auth.models:user:520972 cost:144.784927368
get :1:people.models:user_profile:uid:858606 cost:128.968000412
from user:feed:inbox:968556 delete 39880879
get :1:upload.models:uploadfile:303396 cost:130.69486618
get :1:upload.models:uploadfile:5058746 cost:110.372066498
get :1:django.contrib.auth.models:user:264494 cost:177.248001099
get :1:upload.models:uploadfile:322311 cost:100.141048431
get :1:django.contrib.auth.models:user:6183 cost:152.912139893
get :1:people.models:user_profile:uid:1016006 cost:188.986063004
我的想法是把memcached抽象成一个cache服务器，python服务器只依赖这台cache服务器，而不用关心这台cache服务器使用的究竟是何种cache以及存储方式。如下：
1.连接数过高，按照线上的做法，10台memcached服务器，python 24个进程，假设每个进程对每台memcached平均建立5个链接(和并发数有关)，24*10*5=1250个链接左右。
2.比较难按照key的纬度来统计命中率。
3.增加减少memcached服务器需要发布，如果再加上jython，更加麻烦。
4.python的memcached客户端存在问题，这是某天上午11点memcached的连接数情况：
在某台机器上面打点（ms）：
get :1:django.contrib.auth.models:user:520972 cost:144.784927368
get :1:people.models:user_profile:uid:858606 cost:128.968000412
from user:feed:inbox:968556 delete 39880879
get :1:upload.models:uploadfile:303396 cost:130.69486618
get :1:upload.models:uploadfile:5058746 cost:110.372066498
get :1:django.contrib.auth.models:user:264494 cost:177.248001099
get :1:upload.models:uploadfile:322311 cost:100.141048431
get :1:django.contrib.auth.models:user:6183 cost:152.912139893
get :1:people.models:user_profile:uid:1016006 cost:188.986063004
我的想法是把memcached抽象成一个cache服务器，python服务器只依赖这台cache服务器，而不用关心这台cache服务器使用的究竟是何种cache以及存储方式。如下：
分享到：
发表评论
-
Sofa memcached client
2012-12-13 17:05 1030一、简介 Sofa 源于 Mi ... -
xmemcached 源代码简单记录
2012-12-13 15:14 939XMemcachedClient.set() 1. ... -
python-memcached client 性能分析
2012-11-11 12:41 916前面python-memcached client 性能问题 ... -
python-memcached client 性能问题
2012-11-09 12:02 1537线上发现memcached偶发超过100ms的情况，刚开始以为 ... -
线程安全的纯python-memcached客户端
2012-10-21 15:06 2049前面测试过python-memcached客户端通过threa ... -
安装libmemcached
2012-10-12 23:32 1801libmemcached是一个c编写的高性能，线程安全的mem ... -
python-memcached的线程安全问题
2012-10-12 15:40 4026答案是肯定的，前提你在使用Python 2.4+和python ... -
使用libmemcached提速memcached的操作
2012-10-12 13:32 1115... -
对memcaced的python客户端测试
2012-10-12 11:34 1271在线上发现python-memcached客户端很有问题，我在 ... -
memcached客户端比较
2012-07-21 16:36 0一、简介 Sofa 源于 Mi ... -
memcache mutex设计模式
2012-07-21 14:19 0Mutex主要用于有大量并发访问并存在cache过期的场合，如 ... -
使用memcache实现高并发计数器
2012-07-21 14:08 6626在网站中很多场景都有 ... -
淘宝在Memcached使用记录
2012-07-21 14:04 5433原文：http://blog.csdn.net/cenwenc ... -
memcache的API
2012-07-21 13:55 709php版本的API：http://www.php.net/ma ... -
memcached协议
2012-07-21 13:36 775协议 memcached的客户端通过 ... -
一致性 hash 算法（ consistent hashing ）
2012-07-21 12:42 873原文：http://num7.iteye.com/blog/7 ... -
memcached的一些总结
2012-07-13 17:38 1279我们之前对排行榜的数据进行缓存，由于排行榜在我们所有sql s ... -
memcached 内存分配(slab和chunk)
2012-07-13 16:43 7262开启memcached:memcached -d -m 10 ... -
memcached telnet
2012-07-13 16:06 1077memcached没有client工具来查看状态，只提供tel ... -
memcache中的key为什么要用md5处理
2012-06-15 17:55 1365官方的说法是： “A few years ago, we ...
相关推荐
Memcached管理Session资源是一种高效的Web应用session持久化策略，主要利用分布式缓存系统Memcached来存储和管理HTTP会话数据。这种方式可以解决单个服务器或集群中session共享的问题，提高系统的可扩展性和可用性。...
标题中的“memadmin”是一款专门用于管理“memcached”的图形化工具。Memcached是一种广泛使用的分布式内存缓存系统，它能够提高Web应用的性能，通过存储和检索数据来减少数据库的访问次数。而“memadmin”则是为这...
- **`memcachedb`**：提供图形化的Web界面，用于查看和操作Memcached中的键值对，便于调试和管理。 - **`mcmaster`**：在分布式环境中，mcmaster可以用于集群管理和故障转移，监控多个Memcached节点的状态，并在节点...
**集中式缓存系统 Memcached 深度解析** Memcached 是一款高性能、分布式内存对象缓存系统，它被广泛应用于Web应用中，用于减轻数据库的负载，提高数据访问速度。其设计目标是通过在内存中存储数据来减少对数据库的...
Memcached源码分析之内存管理Memcached源码分析之内存管理
3. **Session复制与同步**：当用户在集群中的任意一台服务器上创建或更新Session时，`MemcachedSessionManager`会自动将Session数据序列化并发送到`Memcached`集群，其他服务器在需要时可以从`Memcached`中获取。...
解压后，用户通常需要按照安装指南进行编译和安装，设置配置文件，并通过命令行工具启动和管理Memcached服务。 **集成和使用** 在Windows上部署Memcached，需要关注以下关键点： 1. **安装**：解压文件并根据官方...
这对于那些不熟悉命令行或者希望图形化管理memcached的用户非常有用。`memadmin-1.0.5.tar`表明这是memadmin的1.0.5版本的源代码包，用户需要编译安装才能使用。 在实际应用中，这三者结合使用，可以让开发人员在...
安装magent可以帮助我们更好地管理和监控memcached服务的状态，包括查看缓存统计、设置内存限制等。安装过程类似： 1. 解压magent：`tar -zxvf magent.tar.gz` 2. 进入解压后的目录：`cd magent` 3. 编译和安装：`...
**Memcached 安装与使用详解** Memcached 是一款高性能的分布式内存缓存系统，用于在Web应用中减轻数据库负载。它将数据存储在内存中，以键值对的形式提供快速访问，尤其适用于高并发场景。Memcached 使用简单，可...
5. **持久化**：虽然默认不支持数据持久化，但可以通过第三方工具或插件实现数据备份和恢复。 在实际应用中，memcached广泛用于网站的session存储、数据库查询结果缓存、动态内容缓存等方面，有效提升了网站的响应...
3. **配置Memcached**: 在Windows环境下，不像Linux那样使用服务管理命令，你需要手动创建一个批处理文件或使用第三方工具（如`nssm - the Non-Sucking Service Manager`）将`memcached.exe`作为Windows服务运行。...
Memcached可以作为session存储后端，代替传统基于文件或数据库的session管理。 3. **序列化策略**：在将Java对象存储到Memcached之前，需要将其序列化为字节流。不同的序列化策略会影响存储效率、数据还原准确性...
本文将重点介绍一个名为"memadmin"的Memcached图形管理工具，它提供了可视化的界面来管理和监控Memcached服务。 **1. memadmin简介** "memadmin"是一款专为Memcached设计的图形化管理工具，它允许用户通过友好的...
在终端（也即cmd命令界面）下输入 ‘c:\memcached\memcached.exe -d install’ 安装 3. 再输入： ‘c:\memcached\memcached.exe -d start’ 启动。NOTE: 以后memcached将作为windows的一个服务每次开机时自动启动...
- **Memcached客户端连接器**：初始化和管理到Memcached服务器的连接，如建立Socket连接，处理心跳机制，保持会话活跃。 - **Key-Value操作接口**：封装了基本的set、get、delete等操作，供应用层调用。 - **配置...
在Windows环境中，memcached服务可以通过SC命令进行管理和绑定，使得memcached能够作为Windows服务运行，从而实现自动化管理和服务的稳定性。 1. **安装服务** - 示例：`sccreate "memcached" start=auto binPath=...
**配合bat命令控制台使用** 意味着在Windows环境下，可以通过批处理（bat）文件来管理和操作memcached服务。通过编写简单的批处理脚本，可以方便地启动、停止或监控memcached服务，这对于开发和运维人员来说非常实用...