Hadoop学习（12）-- Hadoop生态综合案例-陌陌聊天数据分析_-------江湖-------_hadoop综合案例 1 陌陌聊天数据分析案例需求 1.1 目标 基于Hadoop和Hive实现聊天数据统计分析，构建聊天数据分析报表。 1.2 需求 统计今日总消息量统计今日每小时消息量、发送和接收用户数统计今日各地区发送消息数据量统计今日发送消息和接收消息的用户数统计今日发送消息最多的Top1... 12 网络投稿 746 02-07
CDH6.2.0（别的也适用） 编译flink1.14.3_jiayeliDoCn 1. 方法有两种 1.1 克隆cloudera提供的打包，然后下载flink一步一步按照教程来，比较麻烦。 1.2 采用大佬开发好的脚本，直接一个shell搞定。（最好搞过javaEE和看得懂shell） 1.3 免费下载我打包好的程序 CDH-6.2-FLINK_ON_YARN-1.14.3.jar C... 12 未知 4969 02-07
Hadoop生态系统_浅沫～_hadoop生态系统 视频来源：中国大学MOOC中厦门大学林子雨老师的课程《大数据技术原理与应用》 1.Hadoop生态环境 1.1 HDFS HDFS是一个分布式文件系统，是做顺序读写的。HDFS主要负责整个分布式文件的存储，即怎么用成百上千台服务器完成数据的存储。 1.2 YARN YARN主要负责资源的调度，即数据... 12 网络 3594 02-07
Kafka Stream简介及基本运用(含案例)_小财迷，嘻嘻_kafka stream 目录 1、Kafka Stream背景1.1 Kafka Stream是什么1.2 什么是流式计算1.3 为什么要有Kafka Stream 2、Kafka Stream如何解决流式系统中关键问题2.1 KTable和KSteam2.2 时间2.3 窗口 3、Kafka Stream应用示例3.1 案例一：将topicA的数据写入到topicB中(纯复制)3.2 案例二... 12 未知 3198 02-07
mapreduce详细工作流程_瞌死在大数据_mapreduce的工作流程 mapreduce工作流程 map任务处理 1.1 框架使用InputFormat类的子类把输入文件(夹)划分为很多InputSplit，默认，每个HDFS的block对应一个InputSplit。通过RecordReader类，把每个InputSplit解析成一个个<k1,v1>。默认，框架对每个InputSplit中的... 12 网络 1476 02-07
Spark学习总结_nicole_33_spark总结 第1章 Spark 概述 1.1 Spark是什么 Spark 是一种基于内存的快速、通用、可扩展的大数据分析计算引擎。主要用于数据计算，经常被认为是Hadoop框架的升级版。 1.2 Spark 和Hadoop的缘分 组成 Hadoop 是由Java语言编写的，部署在分布式服务器集群上，用于存储... 12 未知 6997 02-07
【UML】UML建模_飝鱻._uml建模 UML建模 UML介绍用例图参与者、用例的基本概念。绘制用例图。 类图和对象图类图的基本概念。分析识别类。 顺序图顺序图的组成。顺序图中的消息类型。绘制顺序图。 状态图状态机的含义。状态机图中的基本标记符。绘制状态图。 UML介绍 UML规格定义了两大类的IML图：结构... 12 网络投稿 2120 02-07
Flink优化03---反压处理_Johnson8702_flink反压 一、概述 1.1 反压的理解 简单来说，数据在 flink 拓扑中多个节点自上而下流动，下游处理数据较慢，导致上游数据发送阻塞，最终导致数据源的获取也被阻塞。也就是说，下游处理数据的速度跟不上数据流入的速度，会导致数据流入阻塞ÿ... 12 大大的周 2352 02-07
注册中心eureka的介绍及源码探索_Gimtom_eureka注册中心源码 1. 背景 1.1. 注册中心是什么 注册中心可以说是微服务架构中的”通讯录“，它记录了服务和服务地址的映射关系。在分布式架构中，服务会注册到这里，当服务需要调用其它服务时，就到这里找到服务的地址，进行调用。 1.2. 为什么需要注册中心 在... 12 网络 2557 02-07
教你快速入门ElasticSearch，超详细简单~_暗余_elasticsearch菜鸟教程 教你快速入门ElasticSearch，超详细简单~ 一. 初探ElasticSearch 1.1 什么是ElasticSearch？ ElasticSearch，简称为ES，它是一个开源的高扩展的分布式全文检索硬气，它可以近乎实时的存储、检索数据；它的扩展性很好，可以扩展到... 12 网络 774 02-07
使用eNSP搭建的小型校园网_YuZhangWang_小型校园网网络设计方案 本项目所需软件eNSP_Setup、VirtualBox-5.2.38-136252-Win、WinPcap_4_1_3、Wireshark-win64-3.2.2 1.1 设计任务 组建小型校园网：学生宿舍50台计算机、办公楼30台计算机（办公楼又分为财务处、人事处，以及其他科室）、图书馆10台计算机、教学楼30... 12 irpas 4288 02-07
DolphinScheduler 简介及安装部署（集群）_落花雨时_dolphinscheduler安装部署 一、 DolphinScheduler简介 1.1 DolphinScheduler概述 ??Apache DolphinScheduler是一个分布式、易扩展的可视化DAG工作流任务调度平台。致力于解决数据处理流程中错综复杂的依赖关系，使调度系统在数据处理流程中开箱即用。 1.2 DolphinScheduler核心架构 DolphinSche... 12 未知 5868 02-07
ETL工具——Kettle的简单使用_binary_fire_etl kettle 1.Kettle概述 1.1. 什么是kettle Kettle是一款免费开源的基于Java的企业级ETL（Extract-Transform-Load的缩写，即数据抽取、转换、装载的过程）可视化工具，功能强大简单易用。 1.2. Kettle的特点 1.3. Kettle的组成 勺子（Spoon.bat/spoon.s... 12 网络 3486 02-07
spring-boot-starter-data-jpa + SQLite简单例子（含全部代码）_程裕强_jpa配置sqlite 1、介绍 1.1 SQLite SQLite官网：http:///artifact/org.xerial/sqlite-jdbc --> <dependency> <groupId>org.xerial</groupId> <artifactId>sqlite-jdbc</artifactId> <version>3.36.0.3</version> </dependency>... 12 irpas 7321 02-07
DVWA之SQL注入_MS02423_dvwasql注入 一.DVWA介绍 1.1 DVWA简介 DVWA是一款基于PHP和MYSQL开发的web靶场练习平台，集成了常见的web漏洞如sql注入,XSS，密码破解等常见漏洞。旨在为安全专业人员测试自己的专业技能和工具提供合法的环境，帮助web开发者更好的理解web应用安全防范的过程。 1.2 D... 12 大大的周 3886 02-07
MySQL高级语句二_kid00013 目录 1.子查询 1.1 EXISTS ?1.2 三种连接方式 1.2.1 inner join（内连接） 1.2.2 left join? ?（左连接） 1.2.3 right join?（右连接） 2.VIEW? 创建视图的几种限制 3.UNION 3.1 取两个SQL语句结果交集的几种办法 3.2?无交集值的几个办... 12 网络 2417 02-07
hbase简介_不名一文_hbase 1.HBase简介 1.1 定义 HBase 是一种分布式、可扩展、支持海量数据存储的 NoSQL 数据库。 1.2 HBase数据模型 1.2.1逻辑结构 逻辑上，HBase 的数据模型同关系型数据库很类似，数据存储在一张表中，有行有列。但从 HBase 的底层物理存储结构(K-V)来看，... 12 网络投稿 6884 02-07
Linux安装配置Redis详细步骤_普通网友_linuxredis安装 在CentOS 8.1下安装配置Redis 1.Redis安装 1.1 Redis下载 官方下载：http://redis.io/download 可以根据需要下载不同版本。 1.2 安装gcc Redis是用C语言开发，安装Redis需要先将官网下载的源码进行编译，编译依赖gcc环境，如果没有gcc环境，需... 12 网络投稿 942 02-07
大数据的下一代变革-数据湖之Iceberg_Keven He_iceberg 数据湖 1. 什么是数据湖 1.1 什么是数据湖 数据湖是一个集中式的存储库，允许以任意模式存储多个来源，所有结构化和非结构化数据，可以按照原样存储数据，无需对数据进行结构化处理，并运行不同类型的分析，对数据进行加工，例如：... 12 irpas 6692 02-07
RabbitMQ详细概念_Original aspiration?_rabbitmq概念 目录 一、初始MQ 1.1 同步和异步的概念 1.2 同步和异步的优缺点 1.2.1 同步 1.2.2 异步 二、MQ 简介 MQ的实现 特点 为什么使用RabbitMQ？ 优缺点 使用场景 三、常见MQ的对比 四、SpringAMQP 3.1 什么是AMQP？ 3.2 RabbitMQ的六种工作模式 1、Basic Queue 简单队... 12 网络 2798 02-07
