在Android 开发中使用Protobuf的实践和经验分享

 

版权所有， 如需转载请保留链接  http://wangbt5191-hotmail-com.iteye.com/blog/1914408/

 

Android 下使用ProtoBuff的实践和心得。

在最近的 Android 客户端项目中， 我们由于节省流量和减少序列化和反序列化运算开销的考虑， 我们选择了Protobuff 作为中间传输的序列化的工具。

为了规避编译ProtobufSchema的麻烦， 我们使用第三方的开源包 ProtostuffRuntime 来使用Runntime的Protobuf Schema.

1. 依赖引入：

          <dependency>
				<groupId>com.google.protobuf</groupId>
				<artifactId>protobuf-java</artifactId>
				<version>2.4.1</version>
			</dependency>
			<dependency>
				<groupId>com.dyuproject.protostuff </groupId>
				<artifactId>protostuff-core</artifactId>
				<version>1.0.7</version>
			</dependency>

                        <dependency>
				<groupId>com.dyuproject.protostuff </groupId>
				<artifactId>protostuff-runtime</artifactId>
				<version>1.0.7</version>
			</dependency>

2. 使用Protobuf 做对象序列化反序列化  

 
       private Charset charset = Charset.forName("ISO-8859-1");

	public  P getObj(String s, Class typeClass){

		Schema schema = RuntimeSchema.getSchema(typeClass);

		P obj =null;
		try {
			obj = targetType.newInstance();
		} catch (InstantiationException e) {
		  //FIXME

		} catch (IllegalAccessException e) {
		  //FIXME

		}
		ProtostuffIOUtil.mergeFrom(Base64.decode(s.getBytes(charset), Base64.DEFAULT), obj, schema);
		return obj;
	}

	public String convert2String(Object o){

	    if(o == null || "".equals(o)){
	        return null;//TODO: consider to throw exception
	    }
	    Class typeClass=  o.getClass();
		Schema schema = RuntimeSchema.getSchema(typeClass);
		LinkedBuffer buffer = getApplicationBuffer();
		try
		   {
		       byte[] protostuff = ProtostuffIOUtil.toByteArray(o, schema, buffer);

		       return new String(Base64.encode(protostuff, Base64.DEFAULT),charset);
		   }
		   finally
		   {
		       buffer.clear();
		   }


	}


	private LinkedBuffer getApplicationBuffer() {
		return LinkedBuffer.allocate(1024);
	}
}

3. Android Dalvik JVM 实现中的坑 

但是且慢， 这样的代码在Server端代码做Junit Test的时候， 和Android 本地的代码Test的时候做本地的Java 对象的序列化到字符串， 再反序列化回Object 都没有什么问题， 但是联调的时候出问题了， 无论怎么调试Android 客户端使用这个代码逻辑去反序列化都不能成功。开始我们怀疑是Http 协议传输的时候， 字符编码的问题， 并在这个上面打转了大半天的时间。 后来突然发现这个是Android JVM 实现中的一个坑。 也或者说ProtostuffRuntime 的没考虑到的Case。  在解释这个问题之前， 我们先看看ProtostuffRuntime 如何生成运行期的protobuf Schema的。 也就是RuntimeSchema.getSchema(typeClass)这里， 到底发生了什么。 它的基本流程是：

1.  获取当前typeClass 的所有Super Class2. 对SuperClass 调用 getDeclaredFields 方法获取Field 列表， 并做一些过滤( 比如transient 修饰的字段是需要过滤的)， 把这些Field 列表中field按顺序以 这样的键值对的形式放到HashMap中

3. 重复第二部， 从最根的SuperClass 一直做到当前的typeClass。

4. 然后根据HashMap进行编译出protobuf 的Schema。

我们发现问题出在第二步， Android 下getDeclaredFields 方法返回的Field 列表顺序和我们在类里面定义的不一样。 它是做过字母排序的。 我们知道Protobuf 的序列化中所需要的Schema 是对类下面的Field顺序强依赖的。而在我们的Server端的调式中， 我们发现我们的Field顺序是和我们在类中定义的是一样的。

StackOverflow 上也有类似的讨论, JDK 1.6 以上这个顺序才保证是和类定义中的顺序是一致的， 而在早期版本中这个顺序是没保证的， 是根据各JDK 的实现自己做的。 也就是说 ProtostuffRuntime  其实只能保证在JDK1.6 以上能正确运行。 更别说Android这样的非正统的JVM 系统了。
问题找到了， 那怎么解决呢？

 

4. 定制RuntimeSchema的生成逻辑

 

   这里要做的事情是需要把Android 的上最终push 到hashMap  中的顺序保证和Java 类中定义的顺序一样就可以了。 好吧， 这个只有借助Annotation了。

 @Retention(RetentionPolicy.RUNTIME)
@Target({ ElementType.FIELD })
public @interface FieldOrder {
	public int order() default 0;
}

我们定义个这样的Annotation， 然后改写

 

static void fill(Map<String,java.lang.reflect.Field> fieldMap, Class<?> typeClass)
  {
      if(Object.class!=typeClass.getSuperclass())
          fill(fieldMap, typeClass.getSuperclass());
      List<java.lang.reflect.Field> fieldList = new ArrayList<java.lang.reflect.Field>();



      for(java.lang.reflect.Field f : typeClass.getDeclaredFields())
      {
          int mod = f.getModifiers();
          if(!Modifier.isStatic(mod) && !Modifier.isTransient(mod))
        	  fieldList.add(f);

      }

      final String className = typeClass.getName();

      Collections.sort(fieldList, new java.util.Comparator<java.lang.reflect.Field>(){

    	  public int compare(java.lang.reflect.Field lField, java.lang.reflect.Field rField){

    		  if(lField.getAnnotation(FieldOrder.class) == null || rField.getAnnotation(FieldOrder.class)==null)
    			   throw new RuntimeException("Class " + className + " " +  lField.getName() + " or " + rField.getName() + " not set order.");
    		  return lField.getAnnotation(FieldOrder.class).order() - rField.getAnnotation(FieldOrder.class).order();

    	  }
      });

      for(java.lang.reflect.Field f: fieldList){
    	  fieldMap.put(f.getName(), f);
      }

  }

 

上面的实例代码中Collections.sort改写后添加的逻辑， 也就是根据Annotation， 在使用field 列表put 到FieldMap 之前最一次根据Annotation 定义的顺序进行一次排序。

public class SearchObject {

    @FieldOrder(order = 1 ) private int currentPage;

    @FieldOrder(order = 2 ) private int pageSize;

....

5. 反思Protobuf的应用场景

 

我们知道Protobuf 对兼容字段差异的兼容可以做到的是， 如果有一个Bean　Class　有１０个字段序列化方S方和反序列化方DS　方的字段， 假如有Bean　Class　在某一边做了升级，　添加了第１１　个field，　如果这第１１　个field　在field　列表的末尾，　那么是没问 题的。　如果在中间添加这个字段，　那将会导致在另一边无法做反序列化。

从上面第三节里面， 我们看Protobuf的生成Protobuf Schema的流程我们知道， 假如有个类ClassA　extends SuperClassA

如果ClassA 中有FieldA1, FieldA2. SuperClassA 中有FieldsSA1， FieldsSA2。 那么最终编译到Schema 中的顺序会是

FieldsSA1， FieldsSA2, FieldA1, FieldA2.    如果我们对SuperClassA上新增FieldSA3， 那么顺序会是  FieldsSA1， FieldsSA2, FieldsSA2, FieldA1, FieldA2. 如果另外一端因为Class 未升级， 那么编译的顺序还是FieldsSA1， FieldsSA2, FieldA1, FieldA2. 那么将会导致无法正确反序列化。

用一句话总结就是， 如果Super Class中新增字段了， 必须两端程序同时升级。 而如果在子类中新增字段， 并且增加在字段列表中的最后一个， 那么是不需要另外一端跟着升级的。


这里我们可以看到protobuf 的运行高效性所带来的一些问题。 相应的这类问题是不会存在在使用Json 格式转换服务上。

 

 

最后， 相关的更改见附件

评论

4 楼 一江春水邀明月 2014-05-21  

read_act 写道

那个依赖引入的xml是往哪写入？   RuntimeSchema  是哪的类？


求源代码

在pom.xml里面， 这个是maven 管理的工程

3 楼 read_act 2014-03-04  

那个依赖引入的xml是往哪写入？   RuntimeSchema  是哪的类？


求源代码

2 楼 aa87963014 2014-02-27  

aa87963014 写道

lz，这种方式貌似不行了。

sorry ,我弄错了.
另外@Tag实现了你说的这个功能.

1 楼 aa87963014 2014-02-27  

lz，这种方式貌似不行了。