数据库 和 数据仓库_吨吨吨奶茶 文章目录 一、数据库三范式：二、数据模型两个模式应用场景总结 三、ETL（数据仓库技术）：四、数据仓库概念概念特点脏数据怎么处理 用途 五、数据仓库的架构六、数据仓库的相关技术数据库和数据仓库的区别 一、数据库三范式： 1NF： 确... 和 未知 1081 02-07
Hive行列转换_小夕Coding_hive 行列转换 lateral view explode 列转行 lateral view 和 explode 将 hive 一系列中复杂的 array 或者 map 结构拆分成多行数据，在此基础上可以对拆分后的数据进行聚合。 思路： 先用 split 函数将 C 列分割成数组； 再使用 lateral view 结合 explode 炸裂。 selectA,B,C_newfromtabl... 和 网络 1283 02-07
hive设置队列_XXXL___Huo_hive设置队列 hive 设置队列 hive 设置队列首先要确定使用的计算引擎是哪个 hive默认使用的是 mr 可以是以下两类：mr 和 tez? ? set hive.execution.engine=mr; ? ??set hive.execution.engine=tez; 如果使用的是默认mr: 设置队列： ? ? ? 方法一：hive cli 登... 和 网络投稿 5959 02-07
你真的了解ELT和ETL吗？_数据社 作者：数据一哥 来源：数据社 全文共1700个字，建议6分钟阅读 大家好，我是一哥。 ETL 和 ELT 有很多共同点，从本质上讲，每种集成方法都可以将数据从源端抽取到数据仓库中，两者的区别在于数据在哪里进行转换。?接下来，我... 和 网络投稿 8103 02-07
StarRocks（一）简介与手动部署_Yuan_CSDF 前言 ????????关于 Apache Doris 和 DorisDB、StarRocks 的关系 ? ? ? ? Apache Doris和DorisDB是两个不同公司的产品。DorisDB开源后改名为StarRocks。现在的StarRocks有分为免费版和企业版。 ? ? ? ? StarRocks官网：StarRocks - 新一代极速全场景MPP数据库 1、StarR... 和 网络投稿 6520 02-07
【2】数据湖架构中 Iceberg 的核心特性_TRX1024_数据湖iceberg 在业界的数据湖方案中有 Hudi、Iceberg 和 Delta 三个关键组件可供选择。 一、Iceberg 是什么？ Iceberg 官网中是这样定义的： Apache Iceberg is an open table format for huge analytic datasets 即 Iceberg 是大型分析型数据集上的一个开放式表格式。通过该... 和 未知 6250 02-07
如何使用matplotlib绘制动态柱状图-python_小馨馨的小翟_python动态柱状图 这期博客，我们来学习一下，如何使用python的matplotlib绘制动态的柱状图，机缘巧合之后，导师让我替他绘制一个动态的柱状图，然后在一天的努力下，我速成了一下这个动态柱状图，在这里把代码和方法开源出来，万一以后大家... 和 irpas 4023 02-07
大数据必学Java基础（十六）：赋值运算符_Lansonli 文章目录 赋值运算符 一、=的作用 二、练习 三、面试题 1、利用第三个变量交换数值，简单的方法 2、可以用两个数求和然后相减的方式进行数据交换，弊端在于如果 x 和 y 的数值过大的话，超出 int 的值会损失精度 3、利用位运算的方式进行数据的交换&#... 和 irpas 7852 02-07
说实话ThreadLocal真不是啥高级的东西_敲代码的程序狗 什么是ThreadLocal？ 从 Java 官方文档中的描述：ThreadLocal 类用来提供线程内部的局部变量。这种变量在多线程环境下访问（通过get 和 set 方法访问）时能保证各个线程的变量相对独立于其他线程内的变量。ThreadLocal 实例通常来说都是 private st... 和 网络 4987 02-07
Hadoop UserGroupInformation详解_gezooo_usergroupinformation 下面大概了解下面Java的认证相关框架 JAAS 认证和授权框架，只要负责用户的认证和权限。 SASL client 和 server之间认证的框架 GSS 是sasl的一个provider,也就是实现了sasl框架 参考JAAS/GSS-API/SASL/Kerberos简介 | NoSQL漫谈 网上关于high level介绍的还比较多... 和 未知 3606 02-07
使用docker搭建elk_palm down_docker elk 文章目录 概念：安装elk(这里通过docker进行安装)安装es安装kikana安装logstash 概念： 那么，ELK 到底是什么呢？ “ELK”是三个开源项目的首字母缩写，这三个项目分别是：Elasticsearch、Logstash 和 Kibana。Elasticsearch 是一个搜索... 和 未知 3428 02-07
Iceberg（一）介绍及环境搭建_Yuan_CSDF_iceberg搭建 1、介绍 ????????Apache Iceberg 是一种用于大型分析数据集的开放表格，Iceberge 向 Trino 和 Spark 添加了使用高性能格式的表，就像 Sql 表一样。 ????????Iceberg 为了避免出现不变要的一些意外，表结构和组织并不会实际删除，用户也不需要特意了... 和 网络投稿 6187 02-07
kafka的副本以及分区与副本的关系_健康平安的活着_kafka分区和副本理解 一 副本的作用 1.Kafka 副本作用：提高数据可靠性。 2.Kafka 中副本分为：Leader 和 Follower。Kafka 生产者只会把数据发往 Leader， 然后 Follower 找 Leader 进行同步数据。 读写由leader来完成，follower只备份，和leader同步数据，... 和 网络投稿 7687 02-07
Kafka的消息架构以及go连接_~庞贝_kafka连接信息 目录 Kafka的消息架构主题层分区层消息层总结 安装启动 测试使用集群配置多机多 broker 集群配置 外网访问本地查看 Go接入kafka需要借助的库生产者消费者 Kafka的消息架构 主题层 Topic(主题) ，比如用户消息，命名为’user_message’;支付消息，命名为’... 和 未知 7980 02-07
day82 Flink 安装 Source 算子_韭菜盒子123 文章目录 一、Flink1、Flink 和 Spark 区别 二、Flink1、Source1 本地集合、本地文件、套接字2 自定义数据源（连接数据库） 2、一些算子1 map2 keyby3 reduce4 agg5 window6 sideout 有的没的 I know, i know 地球另一端有你陪我 一、Flink Apache Flink是一个框... 和 未知 2503 02-07
大数据Hadoop之——Flink DataStream API 和 DataSet API_大数据老司机 文章目录 一、DataStream API概述二、什么是DataStream ？三、DataStream 数据处理过程1）Data Sources（数据源）1、Data Sources 原理2、Data Sources 实现方式1）基于文件2）基于套接字3）基于集合4）自定义 2）Da... 和 irpas 1326 02-07
一种 Hadoop 和 Spark 框架的性能优化系统_繁依Fanyi 文章目录 背景介绍大数据概念大数据特征 问题解决Apache Hadoop 介绍Apache Spark 介绍两者的联系 如何精进从 Hadoop 源头从数据压缩入手从 Hadoop 特性 相关工作引文 背景介绍 大数据概念 大数据（Big Data），又称为巨量资料，指的是所涉及的资料... 和 大大的周 5578 02-07
大数据——Flink的KafkaSource和自定义Source_Vicky_Tang_kafkasource 一、KafkaSource 在流式处理过程中，Kafka 和 Flink 的整合是许多公司所使用的架构。而 Flink 和 Kafka 的整合也非常友好，代码非常简单，实际开发中使用较多 package cn.kgc.source import java.util.Properties import org.apache.flink.api.common.ser... 和 网络投稿 5059 02-07
Hbase的数据合并_进击的-小胖子_hbase 合并 Hbase数据合并 合并分类 HBase 根据合并规模将 Compaction 分为了两类：MinorCompaction 和 MajorCompactionMinor Compaction 是指选取一些小的、相邻的StoreFile将他们合并成一个更大的StoreFile，在这个过程中不会 处理已经Deleted或Expired的Cell但是会处理超... 和 大大的周 7398 02-07
Atlas部署并集成HIVE_小基基o_O_apache atlas集成hive 文章目录 01、概述02、集群规划、版本、环境变量03、Solr集群部署04、安装Atlas服务05、配置Atlas存储到外部HBase06、Atlas集成Solr07、Atlas集成Kafka08、Atlas集成Hive09、启动Atlas10、Hive元数据初次导入11、Atlas服务密码修改12、附录 01、概述 Atlas：提供元数据... 和 网络 3555 02-07
