`
wang_peng1
  • 浏览: 3942047 次
  • 性别: Icon_minigender_1
  • 来自: 北京
社区版块
存档分类
最新评论

查询聚类以及时间处理

 
阅读更多
SELECT COUNT(*), SUM(PKTS), SUM(BYTES) FROM mytable

SELECT srcad, srcpo, dstad, dstpo, pro, COUNT(*), SUM(PKTS), SUM(BYTES) FROM mytable WHERE scrpo=80 OR dstpo=80 GROUP BY srcad, scrpo, dstad, dstpo, pro

db.mytable.aggregate({$group:{_id:1, sump:{$sum:"$pkts"}, sumb:{$sum:"$bytes"} }})

db.mytable.aggregate([ 
   {$match:{$or:[{scrpo:80},{dstpo:80}]} },
   {$group:{_id :  {srcad:"$srcad",scrpo:"$scrpo",
                    dstad:"$dstad",dstpo:"$dstpo",pro:"$pro"},
            sump:{$sum:"$pkts"}, 
            sumb:{$sum:"$bytes"} 
    }}
]);

 根据不同时间分段 以及can’t convert from BSON type NumberDouble to Date错误

db.aggregData.aggregate([
  { 
    $project:{ 
        CrawledTweets: 1,
        newDate: { 
            year:{$year:"$Date"}, 
            month: {$month:"$Date"}, 
            day: {$dayOfMonth:"$Date"}, 
            hour: {$hour: "$Date"}, 
            min: {$minute: "$Date"}
        }   
    }   
  },
  { 
    $group: {
        _id: "$newDate",
        tweets: { $sum: "$CrawledTweets"}
    }   
  }
])

 参考http://smyl.es/how-to-use-mongodb-date-aggregation-operators-in-node-js-with-mongoose-dayofmonth-dayofyear-dayofweek-etc/

分享到:
评论

相关推荐

    时间序列聚类——十年回顾

    在数据挖掘领域,时间序列聚类作为一种重要的无监督学习方法,在处理大规模未标记数据集时具有独特的优势。随着云计算和大数据技术的发展,时间序列数据变得越来越普遍,从生物学中的基因表达数据到金融领域的股市...

    聚类法(系统聚类法 动态聚类法 模糊聚类法)

    与系统聚类法不同,动态聚类更注重于处理新数据的加入或旧数据的移除,从而保持聚类的实时性和适应性。 3. **模糊聚类法**: 模糊聚类法不再要求样本完全属于某个类别,而是允许样本同时属于多个类别,且归属程度...

    基于黎曼流形的聚类多元时间序列

    这篇文章探讨了一种基于黎曼流形的多元时间序列(MTS)聚类方法,该方法旨在解决多元时间序列数据在存在噪声、长度不一、以及包含不同变量类型时的聚类问题。文章重点介绍了如何将多元时间序列数据表示为协方差矩阵...

    MATLAB进行回归分析、聚类分析、时间序列分析的示例代码(附详细操作步骤).txt

    通过以上详细的解释和代码示例,我们可以看出MATLAB在数据科学领域的强大功能,特别是对于回归分析、聚类分析以及时间序列分析等任务的支持。这些工具不仅能够帮助用户高效地完成数据分析任务,还提供了丰富的可视化...

    三维时间序列聚类的模拟实验1

    实验步骤主要包括生成随机序列、断点查找、相关性距离度量以及基于此距离进行的聚类。 首先,为了创建具有不同特征的三维时间序列,实验生成了三类序列,分别标记为A、B和C。每类序列由三个指标序列组成,每个指标...

    时间序列、聚类判别、主成分分析

    "第二章 时间序列的预处理.ppt"和"第一章 时间序列分析简介.ppt"则可能介绍了时间序列分析的基础知识和预处理步骤,如数据清洗、缺失值处理、异常检测等,这些都是进行有效分析的前提。 综上所述,这个压缩包文件的...

    基于k-means聚类方法和DTW算法结合起来分析时间序列类型的用户用电数据源码+项目说明.zip

    基于DTW距离的时间序列聚类算法,与传统的k-means算法相比,能够处理非线性对齐的时间序列,因此适用于更广泛的应用领域。 实验 主要步骤: 手工挑选训练集,减少过于离散的样本 进行数据预处理,包括处理样本中无...

    基于DTW距离测度的Kmeans时间序列聚类算法(Matlab实现完整源码和数据)

    1.基于DTW距离测度的Kmeans时间序列聚类算法(Matlab实现完整源码和数据) 2.基于动态时间规整(DTW)的kmeans序列聚类算法,将DTW算法求得的距离取代欧式距离衡量不同长度的阵列或时间序列之间的相似性或距离,实现...

    小波聚类代码

    3. **WaveCluster.m**:这是核心的聚类算法实现,可能包含了小波变换的选择、参数设置以及聚类规则的定义。小波变换可以选择离散小波变换(DWT)或双向小波变换(SWT),每种变换都有其特定的应用场景和优势。 4. *...

    基于动态分布式聚类算法的大数据查询处理方法.pdf

    为了提高查询结果的准确度和减少处理时间,本文提出了一个包括数据预处理、数据聚类和查询处理三个阶段的查询方案。在数据预处理阶段,通过离散化操作提高数据的可靠性。数据聚类阶段采用划分和层次聚类相结合的方式...

    数据集.rar_uci_uci聚类数据_聚类_聚类 数据集_聚类数据集

    在使用这些算法时,需要考虑的因素包括选择合适的距离度量(如欧氏距离、曼哈顿距离或余弦相似度),确定合适的聚类数量(对于K-means尤为关键),以及处理异常值和缺失值。 在进行聚类分析时,我们通常会进行数据...

    TrajectoryClustering-master,phthen_python_轨迹聚类_everywherevsy_聚类_

    通过深入研究源代码,我们可以了解如何在Python环境中处理和分析轨迹数据,以及如何实现和选择合适的聚类算法。同时,它还能帮助我们理解如何有效地将这些结果可视化,以便更好地理解和解释数据。

    小波变换聚类 聚类分析

    在实际应用中,小波变换聚类分析已被广泛用于图像分析、语音识别、金融时间序列分析等领域。通过对复杂数据的多尺度分析,它可以有效地提取关键信息,改善聚类效果,从而为决策制定和模式发现提供有力支持。 总之,...

    面板数据的聚类分析及其应用_朱建平

    本文主要介绍了面板数据的统计描述方法、相似性指标构建以及聚类分析的有效方法,并通过实际应用验证了这些方法的有效性。通过采用多元统计方法处理面板数据,不仅能够揭示出数据内部的复杂结构,还能够为决策者提供...

    各种聚类算法介绍及对比

    聚类算法概述及对比 聚类算法是机器学习中的一种无监督学习方法,旨在对数据进行分类和分组,使得相同特征的数据聚集在一起,实现数据的高效分类和分析。在本文中,我们将对不同的聚类算法进行介绍和对比,包括层次...

    MATLAB 聚类仿真程序

    DTW是一种距离度量方法,常用于时间序列的比较,尤其在语音识别和生物信息学等领域有广泛应用,这里可能是为了处理具有时间依赖性的数据。 5. "data.txt" 是另一个数据文件,可能是原始的文本格式数据,这些数据会被...

    小波聚类分析,聚类分析和分类分析,matlab

    小波聚类分析是数据挖掘领域中的一种重要技术,它结合了小波分析与聚类分析的优势,用于处理复杂、非线性以及多尺度的数据。本文将深入探讨小波聚类分析的基本概念、聚类分析的原理以及在MATLAB中的实现。 首先,小...

    国外开源聚类框架

    随着时间的发展,Carrot2逐渐演变成一个通用的聚类引擎,支持多种数据类型和聚类算法,广泛应用于信息检索、数据挖掘、文本分析等多个领域。 该框架的核心功能是其强大的聚类算法库,包括了Lingo、STC(Streaming ...

Global site tag (gtag.js) - Google Analytics