美文网首页
利用python来对druid进行复杂查询

利用python来对druid进行复杂查询

作者: DATA_KENGOU | 来源:发表于2019-10-31 17:57 被阅读0次

  有些时候通过superset来操作查询druid不能完全达到想要的数据分析结果,需要通过pydruid来将数据聚合结果导出到pandas进行更细致的分析,这里简单记录一下pydruid的使用。
  示例1:

from pydruid.client import *
from pydruid.utils.aggregators import longsum,doublesum,count
from pydruid.utils.filters import Dimension, Filter
from pydruid.utils.postaggregator import Field,Const
res = query.groupby(
    datasource="<表名>",
    granularity={
        "type": "period", 
        "period": "PT5M" #聚合的时间粒度 一小时: PT1H
    },
    intervals="2019-10-15T21:00:00+00:00/2019-10-15T21:56:35+00:00", #时间范围 
    dimensions=[
        "A", 
        "B",
        "C"
    ],  #待聚合的维度字段
    filter=Filter(
        type= 'and',
        fields= [
            Bound("<数值字段>",lower=0,upper=4), # 大于0, 小于4 
            Filter(
                type= 'or',
                fields= [
                    Dimension("A") == "xxxx",
                    Dimension("B") == "yyyy"
                ]
            ) # 需要过滤的字符字段
        ]
    ),
    #post_aggregations={'percent': (Field('count') / Field('rows')) * Const(100))},
    aggregations={  # druid中定义好的聚合操作
        "count": count("count")
    }
)
df = ts.export_pandas() # 可以输出为pandas的DataFrame来进行后续的分析

相关文章

  • 利用python来对druid进行复杂查询

      有些时候通过superset来操作查询druid不能完全达到想要的数据分析结果,需要通过pydruid来将数据...

  • Druid 如何开启查询日志

    在默认的情况下,Druid 是不开启查询日志的。 换句话说,在 Druid 进行查询的数据是不会显示在 Druid...

  • 从 Druid 控制台(Druid console)中进行查询

    Druid 控制台提供了视图能够让用户更加容易的在 Druid 进行查询测试,并且查看查询返回的结果。 如果你的 ...

  • 利用python来对女神进行表白

    所用语言:python开发环境:Thonny 我们知道利在python中可以利用一行代码打印出心形,代码如下: 打...

  • Druid(一)——Druid架构概览

    什么是Druid Druid是一个高效的数据查询系统,主要解决的是对于大量的基于时序的数据进行聚合查询。数据可以实...

  • Druid 通过 dsql 进行查询

    为了便于使用,Druid 包中还提供了一个 SQL 命令行客户端工具,这个工具位于bin/dsql目录中。 如果你...

  • 2018-11-23

    python实验的编写字典的程序需要利用列表进行查询,并且需要用只写形式进行添加

  • Druid 的几个查询实例

    下面是你可以在 Druid 上尝试进行查询的一些实例供你测试: 对时间进行查询[https://www.ossez...

  • 利用Python进行数据分析 - 准备工作

    概述 该系列是关于《利用Python进行数据分析》的学习笔记。 涉及内容 主要介绍如何利用Python来进行数据控...

  • Druid查询语法

    本文的demo示例均来源于官网。 Druid查询概述 Druid的查询是使用Rest风格的http请求查询服务节点...

网友评论

      本文标题:利用python来对druid进行复杂查询

      本文链接:https://www.haomeiwen.com/subject/bywtbctx.html