猿柒
实时数仓构建：Flink+OLAP查询的一些实践与思考
今天是一篇架构分享内容。 1.概述 以Flink为主的计算引擎配合OLAP查询分析引擎组合进而构建实时数仓，其技术方案的选择是我们在技术选型过程中最常见的问题之一。也是很多公司和业务支持过程中...
hive on spark内存模型
内容介绍 hive on spark的调优,那必然涉及到这一系列框架的内存模型。本章就是来讲一下这些框架的内存模型。 hive on spark的任务，从开始到结束。总共涉及了3个框架。分别是：yarn、hive、spar...
裁员了！别错过2024年大数据工程师必备的10项技能
在当今快速发展的世界中，数据被视为新的石油。随着对数据驱动洞察的日益依赖，大数据工程师的角色比以往任何时候都更为关键。 这些专业人员在管理和优化组织内的数据操作中扮演着至关重要的角...
天翼云入选“2023年度数据要素价值创新标杆示范案例”！
近日，由新一代信息技术产业研究院、赛迪未来产业研究中心共同主办，中国电子学会区块链分会、至顶科技联合承办的“2024未来信息技术大会暨首届数据要素创新发展论坛”于北京成功举办。大会公布...
【安装部署】Apache SeaTunnel 和 Web快速安装详解
版本说明 由于作者目前接触当前最新版本为2.3.4 但是官方提供的web版本未1.0.0，不兼容2.3.4，因此这里仍然使用2.3.3版本。 可以自定义兼容处理，官方提供了文档：https://mp.weixin.qq.com/s/A...
这篇 DolphinScheduler on k8s 云原生部署实践，值得所有大数据人看！
在当前快速发展的技术格局中，企业寻求创新解决方案来简化运营并提高效率成为一种趋势。 Apache DolphinScheduler作为一个强大的工具，允许跨分布式系统进行复杂的工作流任务调度。本文将深入探...
SeaTunnel JDBC DB2 Sink Connector支持的工作原理，快来学习吧！
DB2是IBM的一款关系型数据库管理系统，JDBC DB2 Source Connector是一个用于通过JDBC读取外部数据源数据的连接器。Apache SeaTunnel如何支持JDBC DB2 Sink Connector？请参考本文档。 支持引擎 ...
WhaleScheduler为银行业全信创环境打造统一调度管理平台解决方案
项目背景 数字金融是数字经济的重要支撑和驱动力。近年来，我国针对数字金融的发展政策频频出台，《金融科技发展规划 （2022-2025年）》、《“十四五”数字经济发展规划》、《关于银行业保险业...
EasyMR6.2 全面解读：四大功能深度优化，解锁全新大数据处理和计算体验
在刚刚过去的2024春季发布会上，袋鼠云带来了数栈产品V6.2版本的全新发布。其中，EasyMR 作为数栈V6.2中的一项关键能力，代表了袋鼠云对大数据生态的深入理解和持续创新。 EasyMR（后文统称EMR...
玩转云端 | 拥有HBlock这项“存储盘活绝技”，数据中心也能“热辣瘦身”！
夏天马上就要到了，“瘦身”不光是特定人群的需求，也是数据中心的需求。构建轻量化、低碳化、高性价比的新型数据中心，更有效地支撑经济社会数字化转型，已成为业界主流趋势。 如何让数据中心...
