项目主要模块
基于对电商用户行为数据的基本分类,我们可以发现主要有以下三个分析方向:
1. 热门统计
利用用户的点击浏览行为,进行流量统计、近期热门商品统计等。
2. 偏好统计
利用用户的偏好行为,比如收藏、喜欢、评分等,进行用户画像分析,给出个
性化的商品推荐列表。
3. 风险控制
利用用户的常规业务行为,比如登录、下单、支付等,分析数据,对异常情况
进行报警提示。
Flink quickstart、flink demo、flink example、环境搭建、项目实战、知识汇总、面试、flink源码......
持续更行中
大数据平台数据服务框架。实现了Kafka实时数据过滤、清洗、转换、消费,实现了Spark SQL对Redis、MongoDB等非关系型数据库的数据的读写;集成了规则引擎,可基于规则引擎实现客户标签、画像等相关功能。
混合型科学大数据流水线系统,包含丰富的处理器组件,提供Shell、DSL、Web配置界面、任务调度、任务监控等功能
打通了多个计算存储引擎如:Spark、TiSpark、Hive、Python和HBase等,对外提供统一REST/WebSocket/JDBC接口,提交执行SQL、Pyspark、HiveQL、Scala等脚本的计算中间件。