跑轮里的冠军
- 浏览: 88169 次
- 性别:
- 来自: 长沙
-
文章列表
本文描述了一下归并算法在大文件处理中的使用.
应用场景:
1.单个文件,大小>机器内存,对文件数据进行排序(顺序,小->大)
2.单个文件,大小>机器内存,对文件数据进行去重
简单描述一下大文件排序的思路
1.文件拆分
2.拆分后的小文件分别排序,为之后的归并排序做准备
3.归并排序,这里是核心.首先,因为小文件已经排好序了,那么接下来要做的就是将有序的小文件进行合并,生成一个有序的结果文件.大概流程如下:
设置所有小文件从第一行开始读取,一次又一次的循环,循环里做的事很简单,每次循环,读取所有小文件的一行数据(如何决定读取第几行?请看下面的描述),将这些数 ...
仅以此教训纪念我那逝去的粗心大意，也为那写还在无法收到图文消息的筒子们进一份微薄之力。以下问题，并不是什么技术问题，而是不留神造成的。
运行环境，SAE
RT，在测试图文消息时，不论是本地模拟还是使用“微信开发调试小工具1.2”，都能正常获得返回的xml内容。但手机端就是拿不到，这也是微信开发者的郁闷之一，无法调试到微信中心服务到客户端这个阶段的数据处理。煞费苦心之后(开通测试号，调代码，这里那里，甚至发现1个空格都觉得兴奋，但终究无解，毫无头绪)，最后找到同事，看了一下他的返回xml，我去~~此处省略我那伤心的粗心大意一万遍。
先看看官方的格式：
<xml>
<T ...
RT，代码块，一目了然
/*
以下省略xxx自定义方法名&参数&返回值的代码
...
*/
//通过打开Field权限来实现静态常量的值
Field modifiersField = Field.class.getDeclaredField("modifiers");
modifiersField.setAccessible(true);
//这里的filed才是真正需要修改值的静态常量对象，当然这个filed是外部传入的Field对象
modifiersField.setInt(field, field.getModifier ...
首先，我要说，Highcharts这个东西非常好。
官方地址http://www.highcharts.com
后台数据支持json和xml
贴一个简单的例子，并附上后台数据，这里返回的是JSON，框架使用的是springMVC
场景描述：监控某个进程的cpu资源使用，并在前台显示
后台关键代码：
/**
* test
* @param model
* @param request
* @return
*/
@RequestMapping("/monitor/index.do")
public String inde ...
懒得写了，借阅地址
http://www.linuxidc.com/Linux/2012-01/51614.htm
这个问题比较蛋疼啊，yarn应用不是自己写的(借鉴他人滴)，为了兼容mapreduce v1 所以使用了
org.apache.hadoop.mapreduce.Job 这个类来做客户端连接
如果不考虑兼容问题，可以直接使用 org.apache.hadoop.mapred.JobClient
来说说我碰到的这个问 ...
原因：更换IP
现象描述：
mysql respawn/post-start, (post-start) process 1277
尝试使用 dpkg-reconfigure mysql-server-5.1
采用dpkg-reconfigure方式修复mysql后，会有这样一个问题，即mysql数据用户会丢失掉，所以，针对你服务器上mysql的用户，还得作一次修复，可以通过以下命令来处理：
GRANT ALL PRIVILEGES ON db.* TO user@localhost IDENTIFIED BY “pass”;
这样来还原你原来系统中的那些用户。
其实对于 ...
最近，HA方案中使用到drbd，一直没有出现过的脑裂还是出现了。
出现原因：drbd未停止或做相应处理时，内网IP重新划分
说明：
我这里testx1为备，testx2为主
现象描述：
[root@testx1 ~]# /etc/init.d/drbd status
这里只写关键信息了
Secondary/Unknown
[root@testx2 ~]# /etc/init.d/drbd status
这里只写关键信息了
Primary/Unknown
解决方案:
先选择好一个备机
在备机上执行
drbdadm secondary res0
...
Could not load host key
- 博客分类：
- linux
本来是打算搭建hadoop+hbase的，但是还没开始就被这个ssh阻碍了～
先说下我的系统版本 ubuntu11.1
安装和启动都成功的情况下，出现了
#ssh localhost
Read from socket failed: Connection reset by peer
------------------------不知所措的分割线------------------------
下面描述下我的解决过程
注意检查/var/log/auth.log中的记录
在我的机器上出现的问题是权限问题
错误日志
Feb 27 10:14:39 ubuntu ssh ...
原因描述：MANIFEST.MF文件中的Main-Class配置不正确或格式不正确
检查方式：以WinRarR的方式打开jar包，如图所示，
点击进入箭头所指的META-INF文件夹
将MANIFEST.MF拷贝出来进行编辑
编辑内容，示例如下：
注意好以上三个方面就应该没什么问题了
将编译好的MANIFEST.MF文件依然以WinRaR的打开方式覆盖已有的,或添加到META-INF文件夹目录下,
完事...