智能工控

【斩虫】Hadoop中作业执行刚开始就挂掉的两种情况-牛翰网

【斩虫】Hadoop中作业执行刚开始就挂掉的两种情况

开门见山。 最近在搭建基于 Hadoop 3.3.6 的高可用集群时,遇到了虽然守护进程能正常启动,但是提交 WordCount 示例程序后作业没有办法启动执行的情况(刚开始就挂了),查看日志发现主要是以下...
猿柒的头像-牛翰网钻石会员猿柒1年前
03612
Apache DolphinScheduler中ZooKeeperCDH不兼容问题的解决方案-牛翰网

Apache DolphinScheduler中ZooKeeperCDH不兼容问题的解决方案

背景 看到Apache DolphinScheduler社区群有很多用户反馈和讨论这块问题,针对不兼容的问题,不仅需要自己重新编译各一个新包,而且因为默认是使用zk-3.8的配置,所以会出现不兼容问题。使用zk-3...
猿柒的头像-牛翰网钻石会员猿柒1年前
02912
袋鼠云产品功能更新报告09期|更全面,更多样,更高效-牛翰网

袋鼠云产品功能更新报告09期|更全面,更多样,更高效

欢迎阅读袋鼠云09期产品功能更新报告。在此期报告中,我们秉持创新与优化并重的理念,对产品进行了深度打磨与全面升级。每一处细节的改进,都是我们对卓越品质的不懈追求,期待这些新功能能助力...
猿柒的头像-牛翰网钻石会员猿柒1年前
01012
Apache DolphinScheduler-3.2.0集群部署教程-牛翰网

Apache DolphinScheduler-3.2.0集群部署教程

集群部署方案(2 Master + 3 Worker) Apache DolphinScheduler官网:https://dolphinscheduler.apache.org/zh-cn Apache DolphinScheduler使用文档:https://dolphinscheduler.apache.org/zh-cn/...
猿柒的头像-牛翰网钻石会员猿柒1年前
06012
解密数仓的SQL ON ANYWHERE技术-牛翰网

解密数仓的SQL ON ANYWHERE技术

本文分享自华为云社区《GaussDB DWS的SQL ON ANYWHERE技术解密》,作者:tooooooooooomy。 1. 前言 适用版本:【8.1.1(及以上)】 查询分析是大数据要解决的核心问题之一,虽然大数据相关的处...
猿柒的头像-牛翰网钻石会员猿柒1年前
014012
hive窗口分析函数使用详解系列二之分组排序窗口函数-牛翰网

hive窗口分析函数使用详解系列二之分组排序窗口函数

1.综述 我们讨论面试中各大厂的SQL算法面试题,往往核心考点就在于窗口函数,所以掌握好了窗口函数,面对SQL算法面试往往事半功倍。 已更新第一类聚合函数类,点击这里阅读 hive窗口函数聚合函...
猿柒的头像-牛翰网钻石会员猿柒1年前
05012
利用 Amazon EMR Serverless、Amazon Athena、Apache Dolphinscheduler 以及本地 TiDB 和 HDFS 在混合部署环境中构建无服务器数据仓库(一)云上云下数据同步方案设计-牛翰网

利用 Amazon EMR Serverless、Amazon Athena、Apache Dolphinscheduler 以及本地 TiDB 和 HDFS 在混合部署环境中构建无服务器数据仓库(一)云上云下数据同步方案设计

引言 在数据驱动的世界中,企业正在寻求可靠且高性能的解决方案来管理其不断增长的数据需求。本系列博客从一个重视数据安全和合规性的 B2C 金融科技客户的角度来讨论云上云下混合部署的情况下如...
猿柒的头像-牛翰网钻石会员猿柒1年前
04712
OLAP开源引擎对比之历史概述-牛翰网

OLAP开源引擎对比之历史概述

前言 OLAP概念诞生于1993年,工具则出现在更早以前,有史可查的第一款OLAP工具是1975年问世的Express,后来走进千家万户的Excel也可归为此类,所以虽然很多数据人可能没听过OLAP,但完全没打过...
猿柒的头像-牛翰网钻石会员猿柒1年前
03612
【开启报名】同学看过来,Apache DolphinScheduler开源之夏课题任务正式发布!-牛翰网

【开启报名】同学看过来,Apache DolphinScheduler开源之夏课题任务正式发布!

如果你还拥有着一张有效的“学生证”,在这个充满机遇的夏天,我们诚邀你加入一个充满挑战和机遇的开源冒险——开源之夏。 这不仅是一个简单的编程开发活动,假如你成功参加并结项之后,还能获...
猿柒的头像-牛翰网钻石会员猿柒1年前
05212
高效调度新篇章:详解DolphinScheduler 3.2.0生产级集群搭建-牛翰网

高效调度新篇章:详解DolphinScheduler 3.2.0生产级集群搭建

转载自tuoluzhe8521 导读:通过简化复杂的任务依赖关系, DolphinScheduler为数据工程师提供了强大的工作流程管理和调度能力。在3.2.0版本中,DolphinScheduler带来了一系列新功能和改进,使其...
猿柒的头像-牛翰网钻石会员猿柒1年前
05812