沉睡的“科学大数据”如何唤醒

   6月8日，国际科技数据委员会主办的“大数据与科学发现国际研讨会”开幕，近百位科学家共聚一堂，研讨如何唤醒沉睡的“科学大数据”。大数据已经进入社会的各个层面，科学，商业，社会管理等等，无不都在探索大数据带来的价值。统计作为一门研究数据的科学，在大数据时代下其作用和地位也在随之提高。

    今年3月份，《国家新型城镇化规划（2014－2020年）》发布，《规划》第31章指出：加强城镇化统计工作，顺应城镇化发展态势，建立健全统计监测指标体系和统计综合评价指标体系，规范统计口径、统计标准和统计制度方法。加快制定城镇化发展监测评估体系，实施动态监测与跟踪分析，开展规划中期评估和专项监测，推动本规划顺利实施。

    大数据时代已然来临，它对于当前统计学应用于社会的意义是什么？挑战又在哪里？统计应用对于国家决策起着何种作用？针对这些问题，本报对话美国华人统计学家，美国百人会华盛顿地区共同主席胡善庆先生。

    突破信息统计关键环节

    科技日报：您如何看待中国对于数据的使用情况？

    胡善庆：自2002年以来，中国积极整合和发展全国性的纵向数据系统，特别是建立各种定义、代码、和标准，更是不遺余力，已经奠定了相当稳固的基础。然而也存在不少薄弱的关键环节和诸多挑战，包括数据的共享和公开，信息的及时和质量，统计的思维和设计，工具，例如地图的智能化，此外还有数据收集和计算方法的透明化，符合应用既定标准和增强对不同信息的可用性和传递等等。其中一些问题是全球性的，有些则是中国特有的。
    科技日报：如何理解统计对于国家政策的作用？

    胡善庆：在过去的一个世纪，传统普查和新引进的随机抽样调查共同被应用于各国人口和经济的测量与推论。

    不过人类活动是连续和动态的，普查只能为一个指定的普查日子或短暂时期提供一个比较全面的速映。通常普查结果在被宣布时，它们已经过时了。尽管如此，20世纪期间，这两种统计数据方法在全世界支持决策、政策的制定和传递信息都非常重要。

    美国、中国和其他国家都很普遍地举行多范围包括人口、经济、工业和农业的普查和随机抽样调查。例如美国政府每月收集来自6万个家庭的数据，来对国家就业形势发表月度报告。根据这些数据计算得出美国失业率，仅约有0.2％抽样误差。美国有1.2亿个家庭，共3.1亿人，而关于其经济的很多重大推论和政策就是由分析这些随机抽样数据而得出的。

    中国也有人口和经济普查。虽然每项普查都有不同的法律背景或动机，但最终目的是相似，都是为了提供有关联的、及时的和可靠的数据，以用于研究、分析、支持最后决策。作为一个快速成长的经济大国，中国的统计数字日益受到重视，并对世界具有重大影响力，但也面对许多相同的挑战。

    利用先进技术启动统计2.0时代

    科技日报：在统计应用上，您认为大数据时代的到来为统计学应用带来何种契机？

    胡善庆：我们知道，2000年以来，廉价捕获和储存大量电子数据的能力暴升，新方法也在不断被发现和拓宽，大数据时代因此来临。全球数据大量电子化及大数据爆发成长刺激和引起对更及时和更广泛信息的更多要求。

    但大数据的收集几乎从不依照概率设计，且通常没有结构，也就无法进行传统的统计分析。大数据和先进技术则提供了一个启动统计2.0的理想时机。

    对复杂数据的可视化和处理必然成为统计2.0的核心环节，实现用统计的方法讲故事。动态框架保留了传统框架的原始功能，并能及时捕获最新数据，有利于实时分析，并且动态框架能够灵活拓展，促进创新实践和创新产品。

    倘若成本合适，并且能够如同一个随机样本般呈现出高效率和高质量数据分析，我们有什么理由不去研究整个总体呢？但要注意，数据中所谓的“大”是一个相对的概念，它是根据样本量在总体中所占的百分比而定，而并非是关于数据储存量而定的绝对概念。

    科技日报：那么如何理解之前的统计阶段？也就是统计1.0

    胡善庆：19世纪晚期，随机抽样的概念首次被引入，经过40多年的争论，才被完全接受成为一门科学学科。一部分人慢慢开始关注随机现象，并逐渐聚焦分析以随机概率收集到的有代表性的数据，使统计成为专业，数理统计才因此迅速发展。

    数理统计以概率为专业理论基础，达成国际一致的标准认同，开启统计1.0，并成为划时代的分水岭。但传统的普查和隨机调查是静态、定时的，它不可能毫无基本变化地满足不断扩张的动态需求。

    21世纪统计系统和方法特征在于可精巧地应用大量纵向数据、连接组合多个数据来源、迅速简单地递送信息，同时能够继续严格保护稳私和数据安全，并认证准确与可靠度。

    把大数据比作“泥沙”更贴切

    科技日报：业界对于大数据的讨论越来越热，甚至有神话大数据的倾向，您认为大数据是泥沙还是金沙？

    胡善庆：很多人会把大数据比喻为金沙，甚至觉得可以随手可得，若果真如此，很多人早已发了大财。把大数据比喻为泥沙会比较贴切，但大量泥沙本身也有价值。古有堆沙成塔的说法，今日是硅片的原素，更高的价值则在于它是一门尚未完全开发的新学问。这一大堆泥沙当中，有时包含一些金沙，有时一点也沒有，极少场合之下，也会有很多。无论如何，都要投资费力，下工夫挖掘淘沙，没有什么软件或硬件可以取代。

    科技日报：数据对于智慧城市的建设也至关重要，大数据时代下，您如何看待智慧城市在中国的落地情况？

    胡善庆：中国推动智慧城市，使原来的全国性基础数据库支解到比较易于管理的市级制度，然后再总汇到省或较大地区的水平。到2013年底，中国已建立了至少193个智慧城市试点。无疑，在未来几年内中国也会继续推动实现建设更智慧的城市。

    我了解到，2013年10月29日，中国首个城市公共信息服务平台发布，现在平台已在几个智慧城市试点实施启用。它提供了一站式中心，服务于百万计市民，打破户籍，使市民能够用一个安全的智能卡作为额外渠道，实现以前分隔独立的城市功能。

    开拓这个系统就是一个温和的小开端，它代表了实际工作在进展，有助于奠定基础，并建设成功的中国城市信息学和应用。

    在前段时间在伊利诺伊大学芝加哥分校研讨会上，我们也做出了《通过大数据和统计看中国城市》的论文提案，现在提案已从90个提案角逐而出，准备参与8月份的二次会议。

转载于:https://my.oschina.net/u/1160813/blog/279539