文章列表
这个架构基于squid、nginx和lvs等技术，从架构上对bbs进行全面优化和保护，有如下特点： 1、高性能：所有的点击基本上全部由前端缓存负责，提供最快速的处理。 2、高保障度：不需考虑应用程序稳定与否、程序语言是何种、数据库是何种，都能从架构上保证稳定。 3、高可用性：对应用程序的修改达到最简化：在程序的某些地方加入清缓存的语句即可，当然还需要做页面静态化的工作和统计工作。 首先看图，这个图比较大： 这个架构的特点和一些流程的说明： 1、主域名和图片域名分离 域名分离可以使流量分离，缓存策略分离等等，好处诸多。bbs初期一定要做好规划，将图片用另外的域名独立服务，即使没有足够机器，域名也要 ...
import gzip
#压缩
g = gzip.GzipFile(filename="", mode='wb', compresslevel=9, fileobj=open(r'r:\test.log.gz','wb'))
g.write(open(r'r:\test.log').read())
g.close()
#解压
g = gzip.GzipFile(mode=’rb’, fileobj=open(r’r:\popopo.gz’,’rb’))
open(r’r:\test.log’,’wb’).write(g.read())
...
- 2014-09-10 15:38
- 浏览 1301
- 评论(0)
Python常见文件操作示例
os.path 模块中的路径名访问函数分隔basename（） 去掉目录路径， 返回文件名dirname（） 去掉文件名， 返回目录路径join（） 将分离的各部分组合成一个路径名split（） 返回 （dirname（）， basename（） ...
- 2014-09-06 22:24
- 浏览 489
- 评论(0)
终于装上了，把过程记录一下 首先要安装各种解码器 1、lame lame-3.97.tar.gz Url：http://sourceforge.net/project/showfiles.php?group_id=290&package_id=309 安装方法如下：
Java代码
tar -zxvf lame-
因为工作内容的原因，我在前后两家公司中的工作中主持和经历了十余次代码和架构的重构，下面随便说说我对重构的一些经验和想法。
关于重构
首先重构面临的背景都是相似的，程序员们为了快速完成需求和上线而写出了最基本的代码，而在功能的不断扩充过程中，以打补丁的方式对代码进行扩充，中间还会面临着开发人员的变更和离职。逐渐的，代码就会越来越臃肿，渐渐的变得难以维护。
糟糕的架构会有什么样的影响？首先是开发效率的降低，在糟糕架构下加进新功能，会受之前代码的影响，可能存在意想不到的改动点和问题点，开发和调试时间都会大大增加；其次是故障率的提升，在质量低下的代码中，总是容易藏着很多不易发现的坑， ...
从hadoop框架与MapReduce模式中谈海量数据处理
前言
几周前，当我最初听到，以致后来初次接触Hadoop与MapReduce这两个东西，我便稍显兴奋，觉得它们很是神秘，而神秘的东西常能勾起我的兴趣，在看过介绍它们的文章或论文之后，觉得Hadoop是一项富有趣味和挑战性的技术，且它还牵扯到了一个我更加感兴趣的话题：海量数据处理。
由此，最近凡是空闲时，便在看“Hadoop”，“MapReduce”“海量数据处理”这方面的论文。但在看论文的过程中，总觉得那些论文都是浅尝辄止，常常看的很不过瘾，总是一个东西刚要讲到紧要处，它便结束了，让我好生“愤 ...
1：Shuffle Error: Exceeded MAX_FAILED_UNIQUE_FETCHES; bailing-out
Answer：
程序里面需要打开多个文件，进行分析，系统一般默认数量是1024，（用ulimit -a可以看到）对于正常使用是够了，但是对于程序来讲，就太少了。
修改办法：
修改2个 ...
HiveHadoopSQL开源MapReduceImpala大数据初创公司
对SQL支持并不是Hadoop最核心的技术理念，但这一特性确实能帮助很多传统企业，尤其是已经明白下一代分析的重要性但又不想迈向MapReduce的企业，迅速走向大数据分析。为此，本文特别列举了13种从Hadoop内部可以运行SQL查询的，高水...
摘要：对SQL支持并不是Hadoop最核心的技术理念，但这一特性确实能帮助很多传统企业，尤其是已经明白下一代分析的重要性但又不想迈向MapReduce的企业，迅速走向大数据分析。为此，本文特别列举了13种从Hadoop内部可以运行SQL查询的，高水平 ...
1:hadoop到底是什么呢，
他是一个解决方案，是一个能够处理大数据量的的分布式处理的解决方案，他是google的模仿衍生产品。
它是利用了google发表的Mapreduce论文编写变成模型和框架。 他主要是把大的任务分割小的任务，并把这些小的任务交给集群上的单点执行。
什么叫做Job呢，在MapReduce中，一个准备提交执行的应用程序叫做：job(作业,就像一个工程一样）,而Job呢，太大了，就会分割成成N份，执行于计算机各个节点上，而这种单元叫做 task（任务）。
Hadoop 提供的分布式文件系统（HDFS）主要是来处理各个节点 ...