大数据比对和数据探测平台：低代码平台、数据对比和数据探测

数据血缘，支持spark sql,presto sql,tidb sql, flink sql, datax血缘,Spark/flink jar 运行命令的血缘解析；支持with语法

😃本仓库为尚硅谷电商离线数仓项目4.0,主要技术栈为Hadoop，Flume，Hbase，Kafka，zookeeper，Spark，Hive等相关技术栈，个人在学习过程中完成了笔记的编写，绘制了数仓分层的分层结构图，以及表关系的整理，可辅助学习者对项目进行更进一步的理解。

大数据学习文档、实战代码、源码解析、测试数据,包含python、mysql、shell、hadoop、hive、zookeeper、hbase、flume、kafka、spark、flink、dolphinscheduler、elasticsearch、sqoop、clickhouse

记录学习大数据技术时的相关内容，以java相关技术为主

This project is used for tracking lineage when using spark. Our team is aimed at enhancing the ability of column relation during logical plan analysis.Spark列级血缘(字段血缘)关系处理。

基于 Antlr4 的 Hive SQL 解析

大数据学期项目之Hive数据分析与可视化。

基于 DataX 开发的快速同步 MySQL 数据至 HDFS 上的工具。

基于javaFx开发的大数据框架集成开发系统，可实现数仓模型设计、sql数据开发、异构数据源数据同步、数据资产管理

基于docker的三个节点的hadoop集群，并配置了hive和sqoop。 将创建镜像和创建容器的命令以及内部运行节点的命令封装了脚本，

Hive 库表 数据统计

知我探索教育数据中台

本项目是一个全栈闭环系统，我们有用作数据可视化的web系统，然后用flume-kafaka-flume进行日志的读取，在hive设计数仓，编写spark代码进行数仓表之间的转化以及ads层表到mysql的迁移，使用azkaban进行定时任务的调度，使用技术：Java/Scala，Hadoop、Spark、Hive、Kafka、Flume、Azkaban， Echart等

基于电商平台的离线数仓项目