BeetleX大数据之产品分析服务

Java面试官经验谈:如何甄别候选人真实的能力,候选人如何展示值钱技能,聊聊我当年在培训学校做开发的经历

    数据规模过于庞大?数据标签过多难以管理?增加新的分析维度需要配置?这些beetlex.io都能轻松解决,即导即用,数据标签自动管理,轻易实现多种维度数据分析处理。接下介绍BeetleX针对产品大数据分析的中间件服务安装和使用。

安装部署

    服务中间件是基于ElasticSearch,所以在部署中间件服务的时候必须安装 ElasticSearch,可安装版本6.X和7.X。

下载服务:

链接:https://pan.baidu.com/s/1xtIV_h4Nw9Ln0z5LHBFDBw

提取码:aml9

部署安装包提供win64和linux64两个版本。

//windows 默认80端口
BeetleX.OrderAnalyzeApp.exe
//指定端口
BeetleX.OrderAnalyzeApp.exe port=8088

//linux 默认80端口,存在执行权限问题chmod配置一下
sudo ./BeetleX.OrderAnalyzeApp

运行服务后可以通过浏览器访问,当没配置的时候需要进行一个初始化配置

输入ElasticSearch的机地址和索引名称,点击初始化即可完成;配置完成后即可进行数据分析统计操作。

数据导入

    服务提供接口进行数据导入,需要在配置页面中开启导入功能;开启后即可以访问[http://host/Import通过Post的方式把数据批量导入。格式如下:

[
  {
    "ID": "0019602001",
    "Product": "9/Mishi Kobe Niku",
    "Quantity": 19,
    "Total": 1843.0,
    "Tag": "产品:Mishi Kobe Niku/员工:Anne Dodsworth/客户:Oc�ano Atl�ntico Ltda./国家:Switzerland/分类:Meat/Poultry",
    "CreateTime": "2013-02-26T00:00:00"
  },
  {
    "ID": "0019602002",
    "Product": "54/Tourti�re",
    "Quantity": 95,
    "Total": 707.75,
    "Tag": "产品:Tourti�re/员工:Janet Leverling/客户:Eastern Connection/国家:Argentina/分类:Meat/Poultry",
    "CreateTime": "2009-04-26T00:00:00"
  }
]

提交数据包括一个产品销售的Json数组,主要包括:ID,Product,Quantity,Total,Tag和CreateTime字段。Tag字段作为所有数据标签维度的存字段,每个标签以【/】来分隔,每个标签的内容是【标签名:值】。当数据导入后中间件会自动切分相关数据,Tag包括的标签数量是无限制,这些标签数据最终都可以在分析统计过程中选择使用。

使用

    配置完成后即可对数据进行分析汇总,服务功能有:分析统计,年汇总,月汇总和标签汇总。

分析统计

    分析统计可以汇总某个时间段的数据,分组单为月。可以根据需要来添加不同数据维度在这个时间段里的汇总数据对比。

使用 tke-autoscaling-placeholder 实现秒级弹性伸缩

以上是分析出2020年的产品销售每月的总额,分别有总销售额、针对usa国家的销售额和andrew fuller员工在usa国家销售的数据对比。

年汇总

    可以对数据和标签数据进行年度汇总,同样也可以做不同标签的数据作年度对比。

 

以上是针对2016,2017和2018三年总销售额和数量的对象比。也可以针对员工与员工之间的对比。

以上是4个员工在2019年的销售汇总对比。

月汇总

    月汇总和年汇总一样,只是单位是某个月的天数为基础单位。

标签汇总

    支持指定时间内,所有Tag里面的标签组合汇总。

以上是2020年销售排前10的员工销售情况,还可以针对需求统计2020年某个国家的员工的销售情况

以上是统计2020年在canada前10的员工的销售情况。

硬件要求

    该产品分析中间件对硬件要求不高,具体看数据规模而定。可以通过以下演示实例了解情况。以下实例使用的配置是:2核1G内存,数据规模是400万条。演示地址: http://data.beetlex.io/

了解更多内容可访问: beetlex.io

【分享】每个 Web 开发者在 2021 年必须拥有 15 个 VSCode 扩展

相关推荐

发表评论

路人甲

网友评论(0)