作者 | Shawn Gordon 翻译 | Debra Chen 原文链接 | What the Heck is Apache SeaTunnel? 我在2023年初开始注意到Apache SeaTunnel的相关讨论，一直低调地关注着。该项目始于2017年，最初名为Wa...

在当前快速发展的技术格局中，企业寻求创新解决方案来简化运营并提高效率成为一种趋势。 Apache DolphinScheduler作为一个强大的工具，允许跨分布式系统进行复杂的工作流任务调度。本文将深入探...

夏天马上就要到了，“瘦身”不光是特定人群的需求，也是数据中心的需求。构建轻量化、低碳化、高性价比的新型数据中心，更有效地支撑经济社会数字化转型，已成为业界主流趋势。 如何让数据中心...

转载自天地风雷水火山泽 目的 因为我们的数仓数据源是Kafka，离线数仓需要用Flume采集Kafka中的数据到HDFS中。 在实际项目中，我们不可能一直在Xshell中启动Flume任务，一是因为项目的Flume任务...

1.综述 本文以HiveSQL语法进行代码演示。 对于其他数据库来说同样也适用，比如SparkSQL，FlinkSQL以及Mysql8，Oracle，SqlServer等传统的关系型数据库。 已更新第一类聚合函数类，点击这里阅读 ...

经常有小伙伴和我咨询大数据怎么学，我觉得有必要写一下关于大数据开发的具体方向，下次就不用苦哈哈的打字回复了。直接回复文章。 1.大数据岗位划分 我们通常说的大数据开发主要分为三大方向：...

引言 近期我们注意到很多学生朋友通过邮件向导师申请报名，请注意！！！​这是无效的，请必须通过“开源之夏”官方后台申请报名，请仔细参考这篇【报名攻略】 所以，我们特此举办这次宣讲会，目...

作者 | 郭炜 导读：最新发布的《技术成熟度曲线2024》全面评估数据集成技术架构的7个维度，包括技术成熟度、技术难度、业务价值、技术成熟周期、管理协作难度、大模型结合等评估维度，报告篇幅...

作为阿里早期的开源产品，DataX是一款非常优秀的数据集成工具，普遍被用于多个数据源之间的批量同步，包括类似Apache DolphinScheduler的Task类型也对DataX进行了适配和增强，可以直接在Dolphin...

转载自东华果汁哥 Apache DophinScheduler 运行一段时间后，实例调度日志越来越多，需要定期清理。 SQL 错误 [1701] [42000]: Cannot truncate a table referenced in a foreign key constraint...