浅谈大数据和GIS的结合

大数据真是愈演愈烈,GIS的数据说起来也是海量.所以两者也算一拍即合.大数据和GIS结合起来怎么搞呢?

1 大数据作为GIS的数据源.
其实arcgis在shapefile,file geodatabase ,ArcSDE之外,可以通过plug in 的方式使用数据源.
http://help.arcgis.com/en/sdk/10.0/arcobjects_net/conceptualhelp/index.html#/Plug_in_data_sources/000100000003000000/
比如arcgis官网就介绍了有人用plugin的方式使用了mongodb作为数据源
http://blogs.esri.com/esri/arcgis/2012/07/16/integrate-big-data-with-the-arcgis-system-using-a-plug-in-data-source/
http://blog.csdn.net/linghe301/article/details/8563027

或者像gluster这样的分布式文件系统,直接提供了NFS那样的共享协议,作为原生存储供arcgis存放数据.

2 大数据作为GIS的分析平台
可以把hadoop,spark那一套单纯作为计算分析平台来使用.
一般的实现过程都是把arcgis的要素类转换成hadoop平台上能识别的文件格式,比如json,然后利用几何图形的api把数据解析为几何图形,利用空间关系分析的api在hadoop上进行几何图形的空间运算,运算好的结果再转换成要素类,在arcgis中显示

官网上介绍了几个demo,大家可以看看
用mapreduce统计日本各地区机动车共同起止点数量http://blogs.esri.com/esri/arcgis/2013/08/09/vehicle-trip-discovery-with-gis-tools-for-hadoop
用hive udf统计美国各州地震发生频率http://blogs.esri.com/esri/arcgis/2013/03/25/gis-tools-for-hadoop/
用spark计算曼哈顿地区出租车pickup的频率
https://github.com/mraad/hex-trips
http://thunderheadxpler.blogspot.com/

3 在大数据存储中加入空间索引支持
mongodb是支持空间关系查询的,hbase则没有原生的支持,一般来说,则可以通过geohash,z-order来将二维数据降维存储,一定程度上提供了空间查询能力.也可以在存储的时候,建立QuadTree和R tree的索引