kane_xie
- 浏览: 145877 次
-
最新评论
-
xuedihualu：
请问您是如何把SparkContext的内容打印出来的，能方便 ...
spark WARN TaskSchedulerImpl: Initial job has not accepted any resources -
comsci：
欢迎进入中国工作流/BPM市场........... ...
Scala入门（二）：流程控制 -
yuechen323：
兄弟，你是springboot＋docker，前面的rest ...
rest service + spring boot + docker -
kane_xie：
793059909 写道我的结果怎么和你的不一样：Type = ...
fastjson初始化对性能的影响 -
793059909：
https://github.com/alibaba/fast ...
fastjson初始化对性能的影响
文章列表
开发 -> 测试 -> 部署，这是软件开发一般的简化流程，作为开发者我们总是希望能专注于开发，但往往会被一些开发之外的问题所折磨，比如繁多的spring依赖和不同的环境配置。带着这个问题，本文介绍运用springboot和docker开发和构建一个rest风格的web应用。
Spring 框架作为目前非常流行的一个 Java 应用开发框架，它包含几十个不同的子项目，涵盖应用开发的不同方面。要在这些子项目之间进行选择，并快速搭建一个可以运行的应用是比较困难的事情。Spring Boot 的目的在于快速创建可以独立运行的 Spring 应用，大大提升使用 Spring 框架时的 ...
在kafka的开发和维护中，我们经常需要了解kafka topic以及连接在其上的consumer的实时信息，比如logsize，offset，owner等。为此kafka提供了ConsumerOffsetChecker，它的用法很简单
bin/kafka-run-class.sh kafka.tools.ConsumerOffsetChecker --group <group>
输出结果类似于
Group Topic Pid Offset logSize Lag OwnerGroup1 a.topic 0 2 2 0 noneGroup1 a.topic ...
在上一篇关于Hbase Rest API的文章中介绍了如何查询数据，本章将介绍其Hbase Admin的功能。
查询软件版本，包括操作系统，JVM，servlet容器等等。
语法：GET /version
范例：curl http://localhost:8000/version
输出结果：
{"@Stargate":"0.0.1","@OS":"Linux 2.6.18-128.1.6.el5.centos.plusxen amd64","@
JVM":&qu ...
在项目中碰到这样一个需求，对一个服务类的每一个方法，在方法开始和结束的时候分别记录一条日志，内容包括方法名，参数名+参数值以及方法执行的时间。
@Override
public String get(String key) {
// long start = System.currentTimeMillis();
// System.out.println("Begin Method = get, Args = [key=" + key + "]");
String value = props.getProperty(key);
// ...
hbase（hadoop）是用java编写的，有些语言（例如python）能够对它提供良好的支持，但也有很多语言使用起来并不是那么方便，比如c#只能通过thrift访问。Rest就能很好的解决这个问题。Hbase的org.apache.hadoop.hbase.rest包提供了rest接口，它内嵌了jetty作为servlet容器。
启动命令：./bin/hbase rest start -p <port>
默认端口8080.
以下介绍如何使用rest api查询hbase数据。
rowkey查询
1. 单值查询。只查询单个column fam ...
根据这篇guide创建了一个简单的spring boot应用，能运行且成功的访问。但移植到现有项目（基于hbase）中的时候，却报出以下错误：
SEVERE: A child container failed during start
java.util.concurrent.ExecutionException: org.apache.catalina.LifecycleException: Failed to start component [StandardEngine[Tomcat].StandardHost[localhost].StandardContext[]] ...
kafka最初是被LinkedIn设计用来处理log的分布式消息系统，因此它的着眼点不在数据的安全性（log偶尔丢几条无所谓），换句话说kafka并不能完全保证数据不丢失。
尽管kafka官网声称能够保证at-least-once，但如果consumer进程数小于partition_num，这个结论不一定成立。
考虑这样一个case，partiton_num=2，启动一个consumer进程订阅这个topic，对应的，stream_num设为2，也就是说启两个线程并行处理message。
如果auto.commit.enable=true，当consumer fetch ...
在早前的kafka版本中（0.8.0），offset是被存储在zookeeper中的。
到当前版本（0.8.2）为止，kafka同时支持offset存储在zookeeper和offset manager（broker）中。
从官方的说明来看，未来offset的zookeeper存储将会被弃用。因此现有的基于kafka的项目如果今后计划保持更新的话，可以考虑在合适的时候将offset迁移到kafka broker上。
以下是迁移步骤：
在consume config中，修改offsets.storage=kafka并且dual.commit.enabled=t ...
之前在项目中序列化是用thrift，性能一般，而且需要用编译器生成新的类，在序列化和反序列化的时候感觉很繁琐，因此想转到json阵营。对比了jackson，gson等框架之后，决定用fastjson，为什么呢，因为看名字感觉很快。。。
网上的说法：
fastjson 是一个性能很好的 Java 语言实现的 JSON 解析器和生成器，来自阿里巴巴的工程师开发。主要特点：快速FAST (比其它任何基于Java的解析器和生成器更快，包括jackson）强大（支持普通JDK类包括任意Java Bean Class、Collection、Map、Date或enum）零依赖（没有依赖其它 ...
最近拿到一个kafka rest的需求，但kafka暂时还没有提供rest api（应该是有在开发中，毕竟rest这么火），上网搜了一下，找到一个Confluent Platform，本文简单介绍一下安装。
这里插一句，给大家推荐一个九尾搜索，原名叫谷粉SOSO，不想fanqiang谷歌的可以用这个。以前在外企用谷歌用习惯了，出来之后用度娘搜技术问题，那匹配度简直感人。
环境声明：Ubuntu 4.8.2, Java version "1.7.0_55",已经安装zookeeper和kafka
安装Confluent Platform
官网提供了几种下载安装的 ...
问题描述
hbase scan数据缓慢，server端出现LeaseException。hbase写入缓慢。
问题原因
直接原因是：
hbase client端每次和regionserver交互的时候，都会在服务器端生成一个Lease,Lease的有效期由参数hbase.regionserver.lease.period确定。如果hbase scan需要的时间超过hbase.regionserver.lease.period所配置的时间，并且客户端没有和regionserver报告其还活着，那么regionserver就会认为Lease已经过期，并从LeaseQueue ...
overrided方法编译错误
- 博客分类：
- 其他
问题描述：
在实现类中的某一或某几个Override方法发生编译错误如下：
Name clash: The method put(String) of type XXXServiceImpl has the same erasure as put(String) of type XXXService but does not override it
当去掉@Override标签之后，编译错误如下：
The method put(String) of type XXXServiceImpl must override or implement a supertype meth ...