提到数据处理，经常有人把它简称为“ETL”。但仔细说来，数据处理经历了ETL、ELT、XX ETL（例如，Reverse ETL、Zero-ETL）到现在流行的EtLT架构几次更迭。目前大家使用大数据Hadoop时代，主要都...

我喜欢Kusto （或商用版本 Azure Data Explorer，简称 ADX) 是大家可以有目共睹的，之前还专门写过这方面的书籍，请参考 大数据分析新玩法之Kusto宝典, 很可能在今年还会推出第二季，正在酝酿题...

一、SSH简介 SSH（Secure Shell）是一种网络安全协议，通过加密和认证机制实现安全访问和文件传输等业务。传统远程登录和文件传输方式有Telnet或FTP，这两种方式都使用明文传输数据，存在很多安...

设想一下，作为一个开发人员，你现在所在的公司有一套线上的 Hadoop 集群。A部门经常做一些定时的 BI 报表，B部门则经常使用软件做一些临时需求。那么他们肯定会遇到同时提交任务的场景，这个时...

阅读帮助 第一部分为看清：大模型的训练及推理过程是如何的，以及内部逻辑 第二部分为理解：大模型的训练及推理和算力的关系 第三部分为推演：用简单的公式量化大模型算力的需求 第四部分为优化...

当谈到数据湖的时候，大家都在说，可以把所有数据（结构化/半结构化/非结构化）一股脑都丢进去，进行统一的元数据管理。然后上层计算对接，进行流批计算/OLAP 分析/算法分析。 这个没问题，数据...

导读：国内某头部理财服务提供商成立于 2019 年，是股份制银行中首批获准筹建、首家获准开业、首家成立的银行理财子公司。自 2004 年推出国内首支人民币理财产品以来，通过投资模式的不断创新和...

导读 蜀海供应链是集销售、研发、采购、生产、品保、仓储、运输、信息、金融为一体的餐饮供应链服务企业。2021年初，蜀海信息技术中心大数据技术研发团队开始测试用DolphinScheduler作为数据中...

pentaho使用 先展示一下用途和效果 1. 环境准备 1.1 pentaho是什么？ pentaho可读作“彭塔湖”，原名keetle 在keetle被pentaho公司收购后改名而来。 pentaho是一款开源ETL工具，纯java编写的C/S...

Flink是一个分布式系统，要求有效地分配和管理计算资源以执行流式应用程序。它集成了所有常见的集群资源管理器，如Hadoop YARN和Kubernetes，但也可以设置为作为standalone甚至库运行。 本节概...