LakeSoul 是由数元灵科技研发的云原生湖仓一体框架,具备高可扩展的元数据管理、ACID 事务、高效灵活的 upsert 操作、Schema 演进和批流一体化处理等特性。
Delta Lake是一个开源项目,可以在数据湖之上构建Lakehouse架构。Delta Lake 提供 ACID 事务、可扩展的元数据处理,并在现有数据湖(如 S3、ADLS、GCS 和 HDFS)之上统一流和批处理数据处理。 具体而言,Delta Lake提供: Spark 上的 ACID 事务:可序列化的隔离级别可确保读取器永远不会看到不一致的数据。 可扩展的元数据处理:利用 Spark 分布式处理能力轻松处理包含数十亿文件的 PB 级表的所有元数据。 流式处理和批处理统一:Delta Lake 中的表是批处理表以及流式处理源和接收器。流数据引入、批量历史回填、交互式查询都开箱即用。 架构强制:自动处理架构变体,以防止在引入期间插入不良记录。 时间旅行:数据版本控制支持回滚、完整的历史审计跟踪和可重现的机器学习实验。 更新插入和删除:支持合并、更新和删除操作,以实现复杂的用例,如更改数据捕获、缓慢更改维度 (SCD) 操作、流式更新插入等。
构建高性能的云原生数据 机器学习,大数据分析,海量存储的基础架构; MinIO支持各种应用程序数据工作负载; 在中国:阿里巴巴、腾讯、百度、中国联通、华为、中国移动等等9000多家企业也都在使用MinIO产品。 https://min.io/