去年的一些优化尝试:
1.监控,找原因。
2.mysql操作替换成cache操作。
3.服务化框架。
4.uwsgi切换到gunicorn
5.迁移部分流量到jython
6.部分功能使用mongoDB
7.部分功能从python迁移到mandala,mani
1.利用监控找哪些页面慢。
unread迁移到mongoDB
2. 数据从mysql到cache
1.django默认的request.user是走mysql的,改成走memcached.
2.之前UploadFile没有走cache,其实非常适合。
3.cache使用情况和命中率统计。全网站高峰期每秒20000次get.
3. 对cache使用的一些总结
1.cache是有使用成本的。
原则.1.最小的成本带来最大的好处。2.命中率需要提前预估,低于75%算差。
2.哪些地方适合加cache?
a.生命周期很长,变化很小的数据适合加cache。所以,UploadFile很适合cache,而带有count的模型不适合加cahce。之前对UserProfile增加了cache,后来去掉了。
b.同样的数据也有不同的生命周期,比如原发比较适合cache,转发不适合cache。
c.cache的粒度不易太大。
3.基于mongoDB的假想。
json--一种天然的扩平台,易于理解的数据格式。
现在cache中使用python pickle或者java序列化方式存在的问题?
1. 性能。java中序列化远慢于json序列化。
2. 保存的数据格式依赖于具体语言,python和java不互通,理想情况如果能像mongoDB或者mysql不依赖于具体语言更好。
3. 人不可阅读。
1. 远程IO是耗时的
3. blog模型的变化
5. blogQueryService的职责和优化
6. join查询和拆分成多条sql的对比
4. dboss解决的问题
1.http性能不好,良品购和评论之前之前都使用http的方式,结果是慢。
2.http不可靠,之前评论使用http模式,一旦mandala的评论服务不可用,导致gu worker不断超时重启,整个网站都会被阻塞。
3.随着网站业务的发展,不可避免需要对一些核心的功能提供统一的服务,这需要提供高可用的python到java,java到java的方法调用。
4.web应用依赖于“服务”比依赖于具体的“资源”更简单。比如duitang如果依赖memcached,如果需要对memcached server的调整,需要重新发布每台web服务器。另外connection连接也消耗比较大,如果再遇上client写的有问题,系统更加不稳定。其实cache在我看来一些抽象功能,可以理解成提供一些功能的服务,具体远程是通过memcached还是redis还是TT,这是远程服务需要做的事情,web服务器不用关心。
5. dboss的基本原理
6. dboss特性
1. 高性能
2. 高可靠
3. connection长连接和connection pool
4. server发布时,client自动重试
7. dboss如何做到这些
1. python client
2. 基于netty的nio模型,不会阻塞IO。
8. 简单介绍一下如何使用
- 浏览: 2663170 次
- 来自: 杭州
文章分类
- 全部博客 (1188)
- webwork (4)
- 网摘 (18)
- java (103)
- hibernate (1)
- Linux (85)
- 职业发展 (1)
- activeMQ (2)
- netty (14)
- svn (1)
- webx3 (12)
- mysql (81)
- css (1)
- HTML (6)
- apache (3)
- 测试 (2)
- javascript (1)
- 储存 (1)
- jvm (5)
- code (13)
- 多线程 (12)
- Spring (18)
- webxs (2)
- python (119)
- duitang (0)
- mongo (3)
- nosql (4)
- tomcat (4)
- memcached (20)
- 算法 (28)
- django (28)
- shell (1)
- 工作总结 (5)
- solr (42)
- beansdb (6)
- nginx (3)
- 性能 (30)
- 数据推荐 (1)
- maven (8)
- tonado (1)
- uwsgi (5)
- hessian (4)
- ibatis (3)
- Security (2)
- HTPP (1)
- gevent (6)
- 读书笔记 (1)
- Maxent (2)
- mogo (0)
- thread (3)
- 架构 (5)
- NIO (5)
- 正则 (1)
- lucene (5)
- feed (4)
- redis (17)
- TCP (6)
- test (0)
- python,code (1)
- PIL (3)
- guava (2)
- jython (4)
- httpclient (2)
- cache (3)
- signal (1)
- dubbo (7)
- HTTP (4)
- json (3)
- java socket (1)
- io (2)
- socket (22)
- hash (2)
- Cassandra (1)
- 分布式文件系统 (5)
- Dynamo (2)
- gc (8)
- scp (1)
- rsync (1)
- mecached (0)
- mongoDB (29)
- Thrift (1)
- scribe (2)
- 服务化 (3)
- 问题 (83)
- mat (1)
- classloader (2)
- javaBean (1)
- 文档集合 (27)
- 消息队列 (3)
- nginx,文档集合 (1)
- dboss (12)
- libevent (1)
- 读书 (0)
- 数学 (3)
- 流程 (0)
- HBase (34)
- 自动化测试 (1)
- ubuntu (2)
- 并发 (1)
- sping (1)
- 图形 (1)
- freemarker (1)
- jdbc (3)
- dbcp (0)
- sharding (1)
- 性能测试 (1)
- 设计模式 (2)
- unicode (1)
- OceanBase (3)
- jmagick (1)
- gunicorn (1)
- url (1)
- form (1)
- 安全 (2)
- nlp (8)
- libmemcached (1)
- 规则引擎 (1)
- awk (2)
- 服务器 (1)
- snmpd (1)
- btrace (1)
- 代码 (1)
- cygwin (1)
- mahout (3)
- 电子书 (1)
- 机器学习 (5)
- 数据挖掘 (1)
- nltk (6)
- pool (1)
- log4j (2)
- 总结 (11)
- c++ (1)
- java源代码 (1)
- ocr (1)
- 基础算法 (3)
- SA (1)
- 笔记 (1)
- ml (4)
- zokeeper (0)
- jms (1)
- zookeeper (5)
- zkclient (1)
- hadoop (13)
- mq (2)
- git (9)
- 问题,io (1)
- storm (11)
- zk (1)
- 性能优化 (2)
- example (1)
- tmux (1)
- 环境 (2)
- kyro (1)
- 日志系统 (3)
- hdfs (2)
- python_socket (2)
- date (2)
- elasticsearch (1)
- jetty (1)
- 树 (1)
- 汽车 (1)
- mdrill (1)
- 车 (1)
- 日志 (1)
- web (1)
- 编译原理 (1)
- 信息检索 (1)
- 性能,linux (1)
- spam (1)
- 序列化 (1)
- fabric (2)
- guice (1)
- disruptor (1)
- executor (1)
- logback (2)
- 开源 (1)
- 设计 (1)
- 监控 (3)
- english (1)
- 问题记录 (1)
- Bitmap (1)
- 云计算 (1)
- 问题排查 (1)
- highchat (1)
- mac (3)
- docker (1)
- jdk (1)
- 表达式 (1)
- 网络 (1)
- 时间管理 (1)
- 时间序列 (1)
- OLAP (1)
- Big Table (0)
- sql (1)
- kafka (1)
- md5 (1)
- springboot (1)
- spring security (1)
- Spring Boot (3)
- mybatis (1)
- java8 (1)
- 分布式事务 (1)
- 限流 (1)
- Shadowsocks (0)
- 2018 (1)
- 服务治理 (1)
- 设计原则 (1)
- log (0)
- perftools (1)
最新评论
-
siphlina:
课程——基于Python数据分析与机器学习案例实战教程分享网盘 ...
Python机器学习库 -
san_yun:
leibnitz 写道hi,我想知道,无论在92还是94版本, ...
hbase的行锁与多版本并发控制(MVCC) -
leibnitz:
hi,我想知道,无论在92还是94版本,更新时(如Puts)都 ...
hbase的行锁与多版本并发控制(MVCC) -
107x:
不错,谢谢!
Latent Semantic Analysis(LSA/ LSI)算法简介 -
107x:
不错,谢谢!
Python机器学习库
相关推荐
《微信读书iOS性能优化总结》 微信读书作为一款专注于阅读体验的应用,对于性能优化的重要性不言而喻。本文主要从发现问题、解决问题和预防问题三个方面,总结了微信读书在iOS平台上的性能优化策略。 首先,发现...
以下是对"sql server性能优化总结"的详尽解读: 1. **查询优化**: - **索引优化**:索引是提高查询速度的关键。正确创建非聚簇和聚簇索引,根据查询模式选择合适的覆盖索引,以及定期维护索引(如重建和重新组织...
### Hive性能优化总结 #### 一、Hadoop与Hive计算框架特性引发的问题 Hadoop作为大数据处理平台,其核心优势在于能够高效处理大规模数据集。然而,在具体的应用场景中,尤其是在Hive作为数据仓库使用时,仍存在...
简单的整理了一些Oracle性能优化方面的知识。 供大家参考学习。
DPDK概述和性能优化总结
MySQL 5.6 性能优化总结 MySQL 5.6 是一个高性能的关系型数据库管理系统,然而随着数据库规模的增长和复杂度的增加,性能问题开始浮现。因此,性能优化成为 MySQL 数据库管理员和开发者的首要任务。本文将总结 ...
【Android APP性能优化总结】 Android应用的性能优化是开发者必须关注的重要环节,它关系到用户体验、应用评分以及用户留存率。在移动设备上,尤其是在竞争激烈的App市场中,快速响应和流畅的操作是留住用户的关键...
MySQL性能优化总结.pdf
本文将基于"swift-iOS性能优化总结"的主题,详细探讨内存管理、UI流畅性、网络请求、GPU优化、电量消耗控制、App包体积减小、启动速度提升以及Instruments工具的高级使用技巧等方面的知识点。 首先,我们来关注内存...
MySQL 性能优化总结 MySQL 性能优化是数据库管理和开发人员需要掌握的重要技能。性能优化的目标是让查询更快,减少查询所消耗的时间。为了达到这个目标,我们需要从每一个环节入手,包括连接、配置优化、索引优化、...
### Ext性能优化总结 在多年的Ext项目开发过程中,积累了丰富的经验与技巧,下面将这些关键的知识点进行详细的阐述,希望能为同行提供有价值的参考。 #### 一、架构优化:One Page One Application模式 在传统的...
Oracle性能优化总结[定义].pdf
### Java代码性能优化总结 Java代码性能优化是一个广泛的领域,涉及多个方面,包括但不限于内存使用、循环效率、算法优化、集合框架使用等。本总结旨在汇总35个常见的Java代码性能优化技巧。 #### 1. 使用final...
在这份来自3-SDCC-2016杭州互联网应用架构峰会的《体系化性能优化总结》中,张荣华作为蚂蚁金服数据服务平台部的大数据服务架构师,分享了自己在性能优化方面的经验与见解。首先,文档中探讨了性能优化的必要性,从...
### 35个Java代码性能优化总结 #### 前言 代码优化是软件开发中的一个重要环节,尤其在Java这样的大型应用开发中更是至关重要。合理的优化不仅能够显著提高应用程序的性能,还能降低资源消耗,提升用户体验。本文将...
关于ORACLE的性能优化总结PPT,涉及到ORACLE体系结构、索引、数据字典、执行计划等。
Mysql基础性能优化思维导向图 (其中包括:mysql基础、mysql性能优化、mysql锁机制和主从复制) 文件名称:MySQL基础与性能优化总结.xmind
性能优化是IT领域中至关重要的一个环节,它涵盖了操作系统、网络、数据库以及应用程序等多个层面,旨在提高系统的响应速度、吞吐量以及资源利用率。以下是对这些方面进行详细讲解: 首先,针对操作系统层面的优化,...
Oracle性能优化是数据库管理的关键环节,旨在提升数据库处理速度,减少资源消耗,从而提高整体应用系统的性能。以下是对标题和描述中提及的几个关键知识点的详细说明: 1. **优化器的选择**:Oracle数据库提供了三...