YARN（Yet Another Resource Negotiator）是 Hadoop 生态系统中的资源调度器，主要用于资源管理和作业调度。YARN 自身具备队列管理功能，通过对 YARN 资源队列进行配置和管理，实现集群资源的分...

在之前的实时湖仓系列文章中，我们已经介绍了实时湖仓对于当前企业数字化转型的重要性，实时湖仓的功能架构设计，以及实时计算和数据湖结合的应用场景。 在本篇文章中，将介绍袋鼠云数栈在构建...

LSM-Tree Doris的存储结构是类似LSM-Tree设计的，因此很多方面都是通用的，先阅读了解LSM相关的知识，再看Doris的底层存储与读取流程会清晰透彻很多，LSM基本知识如下: 原理：把各种数据先用log...

一、Storm集群构建 编写storm 与 zookeeper的yml文件   storm yml文件的编写 具体如下： version: '2' services: zookeeper1: image: registry.aliyuncs.com/denverdino/zookeeper:3.4.8 c...

Flink是一个分布式系统，需要有效地分配和管理计算资源才能执行流应用程序。它集成了所有常见的集群资源管理器，如Hadoop YARN和Kubernetes，但也可以设置为作为一个独立的集群运行，甚至作为一...

江铃集团晶马汽车有限公司（简称：晶马汽车）系江铃集团全资子公司，属集团六大整车企业之一。晶马汽车是以大、中、轻型客车（含新能源客车）、乘用车（不含轿车）、专用车等车型研发、生产、销...

在实时数据处理领域，Apache Flink 已成为一个不可或缺的工具。它以其高吞吐量和低延迟处理能力而闻名。而在 Flink 的众多特性中，侧输出流（Side Outputs）提供了一种灵活的方式来处理复杂的数...

摘要 随着任务数量、任务类型需求不断增长，对我们的数据开发平台提出了更高的要求。本文主要分享我们将调度引擎升级到 Apache DolphinScheduler 的实践经验，以及对数据开发平台的一些思考。 1...

作者：櫰木 环境准备 本次使用到的二进制软件包目录为：系统初始化前提是操作系统已完成安装、各个主机之间网络互通，系统常用命令已安装，本默认这些前提条件已具备，不在阐述。 1 主机环境初...

点击上方“蓝字”关注我们吧！ 7月18日，浙江宣布“出梅”，告别长达50天的2020年超长待机梅雨季。 作为包邮区首位摆脱梅雨的“幸运儿”，状态尚未回归，便一头又栽入高温陷阱。7月19日，浙江大...