集群和分布式的区别，软件架构的演化过程，Apache Dubbo详解_懒懒张187

网络投稿 02-07 8095

集群和分布式的区别

??集群是通过提高单位时间内执行的任务数来提升效率,分布式是以缩短单个任务的执行时间来提升效率的。举个例子： &emsp:?例如： &emsp:? 一个数据库里边有用户表、订单表、支付表。这几张表我放在一个数据库里。但是我怕存放着数据库的这台服务器挂了。于是我从这台主库里拷贝所有的数据到了另外几台服务器里。（主从数据库里的数据是一样的。）当主表的服务器挂了立马启用从表的服务器，这是集群。 &emsp:? 又比如我用户表、订单表、支付表里各有1亿条数据。这时访问可能影响效率。这时我将这三张表分成两部分，第一个服务器里各有三张表的5000w条数据，另一个服务器里存放着三张表各剩下的5000w条数据 (服务器之间的数据不相同，它们之间数据加起来是数据的总和 )。这就是分布式。 &emsp:?但是为了防止这两个服务器挂掉以后数据丢失，我们需要给这两个服务器各自再进行一个备份。分布式里边包含着集群。

集群分布式通俗点表达如下图所示：

软件架构的演化进程

软件架构经历了由单体架构、垂直架构、再到分布式架构的演化过程。如下图：单一应用架构当网站流量很小时，只需一个应用，将所有功能都部署在一起，以减少部署节点和成本。此时，用于简化增删改查工作量的数据访问框架(ORM)是关键。垂直应用架构当访问量逐渐增大，单一应用增加机器带来的加速度越来越小，将应用拆成互不相干的几个应用，以此提升效率。此时，用于加速前端页面开发的web框架（MVC）是关键。分布式服务框架当垂直应用越来越多，应用之间交互不可避免，将核心业务抽取出来，作为独立的服务，逐渐形成稳定的服务中心，使前端应用能更快速的响应多变的市场需求。此时，用于提高业务复用及整合的分布式服务框架(RPC)是关键。流动计算架构当服务越来越多，容量的评估，小服务资源的浪费等问题逐渐显现，此时需增加一个调度中心基于访问压力实时管理集群容量，提高集群利用率。此时，用于提高机器利用率的资源调度和治理中心(SOA)是关键。

什么是SOA

??SOA全称为Service-OrientedArchitecture，即面向服务的架构。它可以根据需求通过网络对松散耦合的粗粒度应用组件(服务)进行分布式部署、组合和使用。一个服务通常以独立的形式存在于操作系统进程中。 ??站在功能的角度，把业务逻辑抽象成可复用、可组装的服务，通过服务的编排实现业务的快速再生，目的：把原先固有的业务功能转变为通用的业务服务，实现业务逻辑的快速复用。 ??通过上面的描述可以发现SOA有如下几个特点：分布式、重可用、扩展灵活、松耦合。 ??原来的单体项目如何改为SOA架构？ ??原来的单体工程项目大多分为三层：表现层(Controller)、业务层(Service)、持久层(Dao)，要改为SOA架构，其实就是将业务层提取为服务并且独立部署即可，表现层通过网络和业务层进行通信，如下图： ??下图为电商系统的SOA架构

Apache Dubbo概述

??dubbo是阿里巴巴的，在2017年的时候阿里巴巴把dubbo捐献给了Apache 分布式治理框架：有两个 dubbo国内知名度非常高 SpringCloud在国际上知名度比较高 ??Apache Dubbo是一款高性能的Java RPC框架。其前身是阿里巴巴公司开源的一个高性能、轻量级的开源Java RPC框架，可以和Spring框架无缝集成。

什么是RPC？ ??RPC全称为remote procedure call，即远程过程调用。比如两台服务器A和B，A服务器上部署一个应用，B服务器上部署一个应用，A服务器上的应用想调用B服务器上的应用提供的方法，由于两个应用不在一个内存空间，不能直接调用，所以需要通过网络来表达调用的语义和传达调用的数据。 ??需要注意的是RPC并不是一个具体的技术，而是指整个网络远程调用过程。 ??RPC是一个泛化的概念，严格来说一切远程过程调用手段都属于RPC范畴。各种开发语言都有自己的RPC框架。Java中的RPC框架比较多，广泛使用的有RMI、Hessian、Dubbo等。 ??Dubbo官网地址：http://dubbo.apache.org ??Dubbo提供了三大核心能力：面向接口的远程方法调用，智能容错和负载均衡，以及服务自动注册和发现。

Dubbo架构图

节点角色说明：

节点角色名称Provider暴露服务的服务提供方Consumer调用远程服务的服务消费方Registry服务注册与发现的注册中心Monitor统计服务的调用次数和调用时间的监控中心Container服务运行容器

调用关系说明: ??服务容器负责启动，加载，运行服务提供者。 ??服务提供者在启动时，向注册中心注册自己提供的服务。 ??服务消费者在启动时，向注册中心订阅自己所需的服务。 ??注册中心返回服务提供者地址列表给消费者，如果有变更，注册中心将基于长连接推送变更数据给消费者。 ??服务消费者，从提供者地址列表中，基于软负载均衡算法，选一台提供者进行调用，如果调用失败，再选另一台调用。 ??服务消费者和提供者，在内存中累计调用次数和调用时间，定时每分钟发送一次统计数据到监控中心。

服务注册中心zookeeper

??Zookeeper 是 Apache Hadoop 的子项目，是一个树型的目录服务，支持变更推送，适合作为 Dubbo 服务的注册中心，工业强度较高，可用于生产环境，并推荐使用。 Zookeeper树型目录服务：流程说明： ??服务提供者(Provider)启动时: 向/dubbo/com.foo.BarService/providers 目录下写入自己的 URL 地址 ??服务消费者(Consumer)启动时: 订阅/dubbo/com.foo.BarService/providers 目录下的提供者 URL 地址。并向 /dubbo/com.foo.BarService/consumers 目录下写入自己的 URL 地址 ??监控中心(Monitor)启动时: 订阅/dubbo/com.foo.BarService 目录下的所有提供者和消费者 URL 地址

zookeeper安装与启动

1.先去网上下载 2.配置数据存储的位置：修改下图文件的第12行（比如我的第12行修改成了dataDir=D://zookeeper-3.4.6//data） 3.进入安装路径的bin目录，双击zkServer.cmd即可启动zookeeper服务

Dubbo快速入门 ??a.创建服务提供者

（1）.创建maven工程（打包方式为war）dubbodemo_provider，去继承dubbodemo_parent,省去了添加依赖dubbodemo_parent存储了项目所要用到的依赖，我们在dubbodemo_provider的pom.xml文件中引入它，是为了获得所需依赖

dubbodemo_provider的pom.xml文件：

<parent> <artifactId>dubbodemo_parent</artifactId> <groupId>cn.it</groupId> <version>1.0-SNAPSHOT</version> </parent> <modelVersion>4.0.0</modelVersion> <packaging>war</packaging> <artifactId>dubbodemo_provider</artifactId>

（2）.配置web.xml文件

<context-param> <param-name>contextConfigLocation</param-name> <param-value>classpath:spring/applicationContext-provider.xml</param-value> </context-param> <listener> <listener-class>org.springframework.web.context.ContextLoaderListener</listener-class> </listener>

（3）.创建服务

public interface HelloService { public String sayHello(String name); }

（4）.创建服务实现类注意使用的service注解的路径需是alibaba的 ??下图两个注解：前者是将Service服务对外发布，注册到zookeeper，后者是将对象加入到spring容器中。

import com.alibaba.dubbo.config.annotation.Service; @Service //把此服务注册到zookeeper public class HelloServiceImpl implements HelloService { public String sayHello(String name) { return "hello " + name; } }

（5）在src/mian/resource下创建applicationContext-provicer.xml文件：

<dubbo:application name="dubbodemo_provider" />  <dubbo:registry address="zookeeper://127.0.0.1:2181"/>  <dubbo:protocol name="dubbo" port="20881"></dubbo:protocol>  <dubbo:annotation package="cn.it.service.impl" />

（6）启动服务也就是把spring容器启动即可 ??可以用tomcat启动项目 ?? 也可以用main方法加载spring配置文件，也就是启动了spring容器 ??在cn.it包下创建一个DemoProvider类来启动spring容器，代码如下:

public class DemoProvider { public static void main(String[] args) throws IOException { // 加载配置文件，启动容器 ClassPathXmlApplicationContext app = new ClassPathXmlApplicationContext("classpath:spring/applicationContext-provider.xml"); app.start(); System.in.read(); //等待控制台回车。如果不回车就一直卡这儿不继续 } }

整个项目目录结构如下：

??b.创建服务消费者

（1）.创建maven工程（打包方式为war）dubbodemo_consumer，pom.xml配置和上面服务提供者相同

（2）.配置web.xml文件

<servlet> <servlet-name>springmvc</servlet-name> <servlet-class>org.springframework.web.servlet.DispatcherServlet</servlet-class>  <init-param> <param-name>contextConfigLocation</param-name> <param-value>classpath:spring/springmvc.xml</param-value> </init-param> </seervlet> <servlet-mapping> <servlet-name>springmvc</servlet-name> <url-pattern>*.do</url-pattern> </servlet-mapping>

（3）.将服务器提供者工程中的HelloService接口复制到当前工程（待会儿这一步需要优化）（4）.编写Controller类注意：Controller中注入HelloService使用的是Dubbo提供的@Reference注解

@Controller @RequestMapping("/demo") public class HelloController { @Reference private HelloService helloService; @RequestMapping("/hello") @ResponseBody public String getName(String name){ //远程调用 String result = helloService.sayHello(name); System.out.println(result); return result; } }

（5）在src/main/resources下创建spring文件夹，再创建springmvc.xml文件

<context:component-scan base-package="cn.it"/>  <dubbo:application name="dubbodemo_consumer"/>  <dubbo:registry address="zookeeper://127.0.0.1:2181"/>  <dubbo:annotation package="cn.it"/>  <dubbo:consumer timeout="3000" retries="0"/>

（6）配置tomcat启动项目，注意修改端口号（8089），然后启动项目。（7）在浏览器输入http://localhost:8089/demo/hello.do?name=Jack，查看浏览器输出结果

思考（重要）

??思考一：上面的Dubbo入门案例中我们是将HelloService接口从服务提供者工程(dubbodemo_provider)复制到服务消费者工程(dubbodemo_consumer)中，这种做法是否合适？还有没有更好的方式？ ??答：这种做法显然是不好的，同一个接口被复制了两份，不利于后期维护。更好的方式是单独创建一个maven工程，将此接口创建在这个maven工程中。需要依赖此接口的工程只需要在自己工程的pom.xml文件中引入maven坐标即可。 ??具体做法如下： ??（1）.创建一个模块dubbodemo_interface把HelloService的代码放入到此模块中

??（2）.然后dubbodemo_comsumer和dubbodemo_provider中依赖dubbodemo_interface

<dependencies> <dependency> <groupId>cn.it</groupId> <artifactId>dubbodemo_interface</artifactId> <version>1.0-SNAPSHOT</version> </dependency> </dependencies>

??思考二：在服务消费者工程(dubbodemo_consumer)中只是引用了HelloService接口，并没有提供实现类，Dubbo是如何做到远程调用的？ ??答：Dubbo底层是基于代理技术为HelloService接口创建代理对象，远程调用是通过此代理对象完成的。可以通过开发工具的debug功能查看此代理对象的内部结构。另外，Dubbo实现网络传输底层是基于Netty框架完成的。

??思考三：上面的Dubbo入门案例中我们使用Zookeeper作为服务注册中心，服务提供者需要将自己的服务信息注册到Zookeeper，服务消费者需要从Zookeeper订阅自己所需要的服务，此时Zookeeper服务就变得非常重要了，那如何防止Zookeeper单点故障呢？ ??答：Zookeeper其实是支持集群模式的，可以配置Zookeeper集群来达到Zookeeper服务的高可用，防止出现单点故障。

Dubbo相关配置（了解）

1.包扫描服务提供者和服务消费者都需要配置，表示包扫描，作用是扫描指定包(包括子包)下的类 @Service @Refrences

<dubbo:annotation package="cn.it.service" />

如果不使用包扫描，服务提供者也可以通过如下配置的方式来发布服务（不推荐）

作为服务消费者，可以通过如下配置来引用服务：（不推荐）

<dubbo:reference id="helloService" interface="cn.it.service.HelloService" />

2.协议在服务提供者一方配置，可以指定使用的协议名称和端口号。其中Dubbo支持的协议有：dubbo(用到即使RPC方式的一种)、rmi、hessian、http、webservice、rest、redis等。推荐使用的是dubbo协议。 dubbo 协议采用单一长连接和 NIO 异步通讯，适合于小数据量大并发的服务调用，以及服务消费者机器数远大于服务提供者机器数的情况。不适合传送大数据量的服务，比如传文件，传视频等，除非请求量很低。也可以在同一个工程中配置多个协议，不同服务可以使用不同的协议，例如：

<dubbo:protocol name="dubbo" port="20880" /> <dubbo:protocol name="rmi" port="1099" />  <dubbo:service interface="cn.it.service.HelloService" ref="helloService" protocol="dubbo" />  <dubbo:service interface="cn.it.service.DemoService" ref="demoService" protocol="rmi" />

3.启动时检查这个配置需要配置在服务消费者一方，如果不配置默认check值为true。Dubbo 缺省会在启动时检查依赖的服务是否可用，不可用时会抛出异常，阻止 Spring 初始化完成，以便上线时，能及早发现问题。可以通过将check值改为false来关闭检查。 ? 建议在开发阶段将check值设置为false，在生产环境下改为true。

<dubbo:consumer check="false"/>

4.超时时间和重试机制配置在消费者端

<dubbo:consumer timeout="2000" retries="0"/>

5.负载均衡 ??负载均衡（Load Balance）：其实就是将请求分摊到多个操作单元上进行执行，从而共同完成工作任务。在集群负载均衡时，Dubbo 提供了多种均衡策略（包括随机（random）、轮询（roundRobin）、最少活跃调用数（leastActive）、一致性Hash(consistentHash)），默认为random随机调用。配置负载均衡策略，既可以在服务提供者一方配置，也可以在服务消费者一方配置，如下：消费者：

@Controller @RequestMapping("/demo") public class HelloController { //在服务消费者一方配置负载均衡策略 @Reference(check = false,loadbalance = "random") private HelloService helloService; @RequestMapping("/hello") @ResponseBody public String getName(String name){ //远程调用 String result = helloService.sayHello(name); System.out.println(result); return result; } }

提供者：

//在服务提供者一方配置负载均衡 @Service(interfaceClass = HelloService.class,loadbalance = "random") public class HelloServiceImpl implements HelloService { public String sayHello(String name) { return "hello " + name; } } Dubbo管理控制台

??在开发时，需要知道Zookeeper注册中心都注册了哪些服务，有哪些消费者来消费这些服务。我们可以通过部署一个管理中心来实现。其实管理中心就是一个web应用，部署到一个干净的tomcat即可。（干净的tomcat：未被使用过的tomcat）

安装

??找到一个干净的tomcat，修改tomcat下的conf/server.xml文件第22行默认的8005修改成 8015 关闭Tomcat用到的端口号（只要修改的端口号唯一即可）第69行 8080 改成 7788 对外提供的http端口号（只要修改的端口号唯一即可）第116行 8009 改成 8019 这个端口号用Tomcat和Tomcat之间交互只要修改的端口号唯一即可）安装步骤：（1）准备好dubbo-admin.war文件,下载地址：https://github.com/apache/incubator-dubbo/tree/dubbo-2.6.0 （2）将dubbo-admin.war文件复制到tomcat的webapps目录下（3）启动tomcat，此war文件会自动解压（4）修改WEB-INF下的dubbo.properties文件，注意dubbo.registry.address对应的值需要对应当前使用的Zookeeper的ip地址和端口号

dubbo.registry.address=zookeeper://127.0.0.1:2181 dubbo.admin.root.password=root dubbo.admin.guest.password=guest

（5）重启tomcat

使用

步骤：（1）.访问http://localhost:7788/dubbo-admin，输入用户名(root)和密码(root) （2）.启动服务提供者工程和服务消费者工程，可以在查看到对应的信息