Nacos on 小盒子的技术分享

如何让 Nacos 支持达梦数据库作为外置数据源

Thu, 23 Nov 2023 05:08:51 +0000

Nacos 支持两种数据持久化方式，一种是利用内置的数据，一种是利用外置的数据源。

内置数据库支持:

Nacos 默认内置了一些数据存储解决方案，如内嵌的 Derby 数据库。
这种内置方式主要用于轻量级或测试环境。

外置数据库支持:

对于生产环境，Nacos 支持外置数据库以提供更高的可靠性和伸缩性。
常见的外置数据库包括 MySQL 等，这些数据库通过标准的 JDBC 接口与 Nacos 集成。

然而达梦数据库 Nacos 原生是不支持的，或者说不能通过简单配置使 Nacos + 达梦数据库这样的组合生效。

达梦数据库是什么

达梦数据库（DMDB），是一款由中国国内团队自主研发的关系型数据库管理系统（RDBMS）。它旨在提供高性能、高可靠性和高安全性的数据库解决方案，特别是对于在政府、金融、电信等行业的应用。

介绍一下达梦数据库的几个关键方面：

自主研发：达梦数据库是由中国国内团队自主研发的，这意味着它在设计和开发过程中更加注重符合国内市场的需求和标准。它的出现也代表了中国在关键技术领域自主创新的重要成果。
高性能：达梦数据库采用了先进的数据库技术，比如高效的存储引擎、智能的查询优化器等，以提供高速的数据处理和查询性能。这使得它适合处理大规模数据和高并发访问，满足企业级应用的需求。
高可靠性：在设计上，达梦数据库强调数据的可靠性和持久性。它提供了严格的事务控制、灾难恢复和备份机制，确保在各种环境下数据的完整性和安全性。
高安全性：达梦数据库特别注重数据安全。它提供了包括数据加密、访问控制、审计日志等多重安全机制，帮助用户防范数据泄露和非法访问。
兼容性和易用性：为了更好地适应现有的企业环境，达梦数据库支持广泛的操作系统和平台，并且与主流的编程语言和开发工具具有良好的兼容性。此外，它还提供了易于使用的管理工具和丰富的文档支持。
应用场景：达梦数据库广泛应用于政府、金融、电信、能源、教育等多个行业，特别是在那些对数据安全性和可靠性有高要求的领域。

为什么使用达梦数据库

在数据库的选型方面，通常我们会使用业内广泛使用的产品，如开源的 MySQL, 甚至收费的如 Oracle、SQL Server，直到 “信创” 的到来，打破了这些传统产品在数据库市场的垄断地位。

“

“信创”这个词最早来源于“信创工委会”。该组织的全称是：信息技术应用创新工作委员会，是在 2016 年，由 24 家专业从事软硬件关键技术研究及应用的国内单位，共同发起成立的一个非营利性社会组织。

”

后来，除了数据安全、网络安全，信创是把之前的一些软硬件等行业放到了一起，重新起了一个名字叫：信息技术应用创新产业，简称“信创”。

也因此，一般来说，信创包括基础硬件、基础软件、应用软件、信息安全四大板块。其中，基础硬件主要包括：芯片、服务器/PC、存储等；基础软件包括：数据库、操作系统、中间件等；应用软件包括：办公软件、ERP 和其它软件等；信息安全包括硬件安全、软件安全、安全服务等各类产品。

针对安全可控，我们国家提出的是“2+8”体系。“2”指党、政；“8”指关于国计民生的八大行业：金融、电力、电信、石油、交通、教育、医疗、航空航天。

发展信创，先在党政等封闭市场进行应用信创产品，打磨产品和生态；接着在产品好用和生态相对成熟之后，进入金融、电力、电信、石油、交通、教育、医疗、航空航天重点行业市场；最后才是将信创产品全面应用到消费市场。

而数据库就是我们常说的 “信创” 四件套（芯片、操作系统、数据库、中间件）之一。达梦数据库就是这样一个符合 “国产化” 要求的自主研发的数据库。所以，由于国家信息安全的要求，我们的客户需要符合这些要求，也必然要进行软件的替换。

实现方案

首先看一下 Nacos 原生支持的外置数据库有哪些，是否支持达梦？

根据以下 Nacos 官方文档，无论是单机还是集群模式，貌似只支持 MySQL 作为外置数据源

只支持 MySQL 吗？不是说还支持其他像 Oracle 之类的数据库吗？

在调研的过程中，发现 github 上 Nacos 的源码有这样一个功能分支 feature_multiple_datasource_support

很明显，它就是用来支持多数据源的，通过源码我们可以看到它支持的多种数据源都有哪些：

这个分支能够支持的外部数据源分别是：

oracle
mysql
postgresql

我分析了 Nacos 1.0 及 2.0 主要版本，发现多数据源的这个功能并没有被合并到主要的开发及 release 分支上。也就是说 Nacos 现有的主要版本的 release 并没有多数据源的这个功能，外置数据源只兼容 MySQL。

根据前面的分析我们知道即使是 feature_multiple_datasource_support 分支也只支持三个数据源，如果想用非 MySQL 的数据源，比如用 Oracle 就需要自己修改和编译源代码。

1mvn -Prelease-nacos -Dmaven.test.skip=true -Dcheckstyle.skip=true clean install -U

具体修改的部分也主要是配置文件 application.properties 没有其他地方了。

Nacos 是支持 Oracle 和 PostgreSQL 的，只不过需要手动修改配置和编译。虽然这种方法可行，但由于功能分支长时间未更新，最新版本的代码未合并过来，可能会造成一些安全和功能上的问题。更重要的是，通过上述的分析我们知道，Nacos 在原生的模式下，确实是不支持达梦数据库的。

方案一修改源代码方式

根据前文我们知道，Nacos 原生是不支持达梦数据库的，所以就要想办法让它 “支持”，直觉上因为是开源软件，我们还是会从源码入手。

既然可以修改源代码，我们就不需要从 feature_multiple_datasource_support 分支开始了，可以在流行的 1.x 、2.x 或最新版本代码的基本上修改。

主要涉及到以下内容的修改：

com/alibaba/nacos/persistence/datasource/ExternalDataSourceProperties.java
console/src/main/resources/application.properties

代码具体的修改方式和内容可以是多样的，下面举几个例子，供参考：

核心思路是：由于达梦数据库良好的支持了 JDBC 驱动，所以我们只需要把 jdbcDriver 进行更换就可以了。然后同样手动进行编译，使用自己编译好的构建物进行部署。

这里涉及到的 Nacos 数据库初始化脚本可以参考：https://gitee.com/tangjingshan/nacos/blob/tjs-study-fetch-master/distribution/conf/dm-schema.sql

总结：

源代码修改方案并不复杂，相对比较简单，但需要做好相关功能的完整测试。
使用这种方式不但可以支持达梦数据库也可以在同样原理下支持其他国产数据库，如 人大金仓
这种方式的问题是由于自行修改了源代码，在进行版本升级时会比较麻烦，每一次升级都要手动合并最新的代码再进行编译，未来甚至有可能出现 Nacos 官方源码进行大规模重构，自行编译的代码无法合并的情况。虽然也有解决办法，但是个麻烦点。
数据迁移，这个后面我具体再详细说明

方案二多数据源插件

Nacos 从 2.2.0 版本开始，可通过 SPI 机制注入多数据源实现插件，它的原理是：

在原来的 Config 模块中，所有的 SQL 操作的执行是通过直接使用 JdbcTemplate 执行固定 SQL 语句的形式，使得 SQL 语句与业务逻辑高度耦合，并且只支持 Derby 与 MySQL 两种数据源，原有 Config 模块架构如下。

现在的多数据源插件通过 SPI 机制，将 SQL 操作按照数据表进行抽象出多个 Mapper 接口，Mapper 接口的实现类需要按照不同的数据源编写对应的 SQL 方言实现；现在插件默认提供 Derby 以及 MySQL 的 Mapper 实现，可直接使用；而其他的数据源则需要用户使用数据源插件进行加载，其改造后架构图如下。

我们这里详细描述一下原理

上图是 Nacos 的源码包中 plugin 模块，可以看到在 datasource 包下有不同的数据库实现类。这里其实就是抽象了 Nacos 操作的各个表的 Mapper 接口实现，你可以看到具体的 SQL 语句都在里面。

既然有 MySQL、derby 的实现，也可以有我们自己的实现，具体来说就是达梦数据库的实现，我们只需要把这几个类重写就可以了，当然具体重写的内容中的 SQL 要根据达梦数据库的方言情况，修改或者不修改。

那么是否可以直接在源码的基础上添加 DM 的实现类进行开发呢？

理论上当然可以，但既然叫插件就有插件的形式。在 Nacos 源码的基础上开发耦合太重了，这不是插件化的表现形式。

我们要把与多数据源相关的自定义代码专门写一个包，然后在 Nacos 的代码中依赖，这样就解耦了，也与上文 Nacos 插件架构图中的描述相符。

插件化是如何实现的呢，或者说动态替换实现类是如何实现的？

这就要利用到 Java 的 SPI 知识了，由于是基础理论这里就不展开讲了。Nacos 在源码中已然利用 SPI 进行数据源 Mapper 的加载了，可以参考下图：

源码位置：com.alibaba.nacos.plugin.datasource.MapperManager#loadInitial

我们可以看到，源码是利用 ServiceLoader 加载插件包，而这些实现类也写在 plugin/datasource/src/main/resources/META-INF/services/com.alibaba.nacos.plugin.datasource.mapper.Mapper 这个文件里

那么如果我们也利用 SPI 配置好 DM 的实现类，然后根据数据源参数找到相应的实现类是不是就可以了？

是的，所以源码中也正是这么做的

源码位置：com.alibaba.nacos.plugin.datasource.MapperManager#findMapper

这里我们讲一下具体的实现方法：

1 初始化达梦数据库，具体脚本可以参考：https://github.com/nacos-group/nacos-plugin/blob/develop/nacos-datasource-plugin-ext/nacos-dm-datasource-plugin-ext/src/main/resources/schema/nacos-dm.sql

2 编写插件包，利用 SPI 的原理，自定义实现各个表的 Mapper 实现类，这里其实 Nacos 的社区 nacos-group 中已经有现成的实现了，可以参考他们的项目和代码，实际上的代码都比较简单，甚至不需要做什么改动，因为基本的 SQL 达梦都是兼容的。

3 插件引入，有两种方式

第一种：

直接用 nacos-group 的现成的实现包，然后用 maven 进行依赖就可以了，例如：

1 <dependency>
2 <groupId>com.alibaba.nacos</groupId>
3 <artifactId>nacos-dm-datasource-plugin-ext</artifactId>
4 <version>1.0.0-SNAPSHOT</version>
5 </dependency>

第二种：

将插件源码打包为 jar 包，将该文件的路径配置到 startup.sh 文件中，使用 Nacos 的 loader.path机制指定该插件的路径，可修改 startup.sh 中的 loader.path 参数的位置进行指定。

启动脚本会指定插件包位置为：-Dloader.path=${BASE_DIR}/plugins loader.path 机制为打包插件 spring-boot-maven-plugin 提供的，该机制下实际启动类会变成org.springframework.boot.loader.PropertiesLauncher#main，且类会由org.springframework.boot.loader.LaunchedURLClassLoader这个类加载器加载

4 修改数据库配置文件，在 application.properties 文件中声明 dameng 的配置信息：

1spring.datasource.platform=dm
2 db.url.0=jdbc:dm://127.0.0.1:5236/DMSERVER?schema=NACOS&compatibleMode=mysql&ignoreCase=true&ENCODING=utf-8
3 db.user.0=SYSDBA
4 db.password.0=SYSDBA
5 db.pool.config.driverClassName=dm.jdbc.driver.DmDriver

5 如果用 maven 依赖的方式引入了插件包，就需要源码重新编译，如果使用 loader.path 指定路径的方式就可以重启进行测试了

数据迁移

无论使用哪种解决方案很大可能性都需要进行数据迁移，即将旧的非达梦数据库的数据迁移到达梦数据库。

我们要把 Nacos 的数据或者 SQL 语句迁移到达梦数据库。借助 DM 数据迁移工具 ，完成 Nacos 配置数据表迁移到达梦数据库。

Spring Boot 整合 OpenFeign + Nacos 的坑

Tue, 26 Oct 2021 12:26:36 +0000

Nacos

先在本地部署 Nacos server，然后在 springBoot 项目中添加依赖，理想情况下，服务会自动会注册到注册中心。

环境

SpringBoot 版本：2.3.1.RELEASE
Nacos server 版本：2.0.3
nacos-discovery-spring-boot-starter 版本：0.2.10

Nacos Server

之前用过 Nacos 的 V1 版本，V2 版本没用过，这次用最新版本做个试验。

本地部署 Nacos 没什么问题，我的本地环境是 Mac, 下载好最新的版本 (https://github.com/alibaba/nacos/archive/refs/tags/2.0.3.zip) 解压后，到 bin 目录执行

1sh startup.sh -m standalone

然后浏览器查看 http://localhost:8848/nacos/ 用户名密码都是：nacos

可以看到，我用的版本是 2.0.3

Spring Boot

出问题的地方是在程序中引入的时候，由于要演示 feign 的远程调用，我们分别创建两个项目，provier 和 consumer.

首先创建 provider, 先看下 pom.xml 文件中的依赖，可以看到跟 nacos 相关的只有一个。

 1 <!-- BOM 全局管理 starter 版本 -->
 2 <dependencyManagement>
 3 <dependencies>
 4 <dependency>
 5 <groupId>org.springframework.boot</groupId>
 6 <artifactId>spring-boot-dependencies</artifactId>
 7 <version>${spring-boot-dependencies.version}</version>
 8 <scope>import</scope>
 9 <type>pom</type>
10 </dependency>
11 </dependencies>
12 </dependencyManagement>
13
14 <dependencies>
15
16 <!-- openfeign -->
17 <dependency>
18 <groupId>org.springframework.cloud</groupId>
19 <artifactId>spring-cloud-starter-openfeign</artifactId>
20 <version>${spring-cloud-starter-openfeign.version}</version>
21 </dependency>
22
23 <dependency>
24 <groupId>org.projectlombok</groupId>
25 <artifactId>lombok</artifactId>
26 <version>${lombok.version}</version>
27 <scope>provided</scope>
28 </dependency>
29 <dependency>
30 <groupId>org.springframework.boot</groupId>
31 <artifactId>spring-boot-starter</artifactId>
32 </dependency>
33 <dependency>
34 <groupId>org.springframework.boot</groupId>
35 <artifactId>spring-boot-starter-test</artifactId>
36 <scope>test</scope>
37 </dependency>
38
39 <dependency>
40 <groupId>org.springframework.boot</groupId>
41 <artifactId>spring-boot-starter-web</artifactId>
42 </dependency>
43
44 <dependency>
45 <groupId>com.alibaba.boot</groupId>
46 <artifactId>nacos-discovery-spring-boot-starter</artifactId>
47 <version>0.2.10</version>
48 </dependency>
49
50 <dependency>
51 <groupId>com.google.guava</groupId>
52 <artifactId>guava</artifactId>
53 <version>30.1.1-jre</version>
54 </dependency>
55 </dependencies>

然后再看下 application.yml

 1server:
 2 port: 8080
 3 servlet:
 4 context-path: /provider
 5spring:
 6 mvc:
 7 throw-exception-if-no-handler-found: true # 处理 404 问题
 8 resources:
 9 add-mappings: false # 关闭 404 资源映射
10 application:
11 name: feign-provider
12
13nacos:
14 discovery:
15 server-addr: 127.0.0.1:8848 # Nacos 服务器地址
16

通过官方文档查看，配置比较简单，没什么特殊的。这里强调下，不需要在入口程序 BootstrapApplication 添加什么注解

然后就出问题了，服务死活注册不上去，服务列表一直是空的。

翻阅了各种文档和配置，终于在 github 的 wiki 上找到了官方的说明：https://github.com/nacos-group/nacos-spring-boot-project/wiki

我需要的就是这个：

1# 是否允许服务自动注册（默认为关闭自动注册）
2nacos.discovery.auto-register=true

由于之前用的是 V1 的版本，2 以后的配置没接触过，看来想要自动注册要把这个从 0.2.3 才有的配置加上（我们试验用的 starter 版本是 0.2.10)

以后跟 nacos-discovery-spring-boot-starter 相关版本配置有关的功能，可以参考官方的 wiki：

加上这个配置又丰富了一下后，配置文件变成这样：

 1server:
 2 port: 8080
 3 servlet:
 4 context-path: /provider
 5
 6spring:
 7 mvc:
 8 throw-exception-if-no-handler-found: true # 处理 404 问题
 9 resources:
10 add-mappings: false # 关闭 404 资源映射
11 application:
12 name: feign-provider
13
14nacos:
15 discovery:
16 server-addr: 127.0.0.1:8848 # Nacos 服务器地址
17 auto-register: true # 是否自动注册到 Nacos 中。默认为 false。
18 namespace: # 使用的 Nacos 的命名空间，默认为 null。
19 register:
20 service-name: ${spring.application.name} # 注册到 Nacos 的服务名
21 group-name: DEFAULT_GROUP # 使用的 Nacos 服务分组，默认为 DEFAULT_GROUP。
22

然后就顺利地注册上了：

but

正当我兴冲冲地去写完 consumer 准备消费的时候，却发现怎么也消费不了，google 了个遍，一直都报这个错：

Load balancer does not have available server for client

实在是不想 debug 源码了，消耗完耐心后，决定不用 springBoot 去整合了，还是回到

Spring Cloud + Spring Cloud Alibaba 的路上。

Spring Cloud + Spring Cloud Alibaba

首先要弄清楚版本间的依赖关系，因为版本众多，稍不注意就容易出问题，可以参考这里：

https://github.com/alibaba/spring-cloud-alibaba/wiki/%E7%89%88%E6%9C%AC%E8%AF%B4%E6%98%8E

而 Nacos 的例子，官方有一个直接抄 https://spring-cloud-alibaba-group.github.io/github-pages/hoxton/zh-cn/index.html#%E4%B8%80%E4%B8%AA%E4%BD%BF%E7%94%A8_nacos_discovery%E8%BF%9B%E8%A1%8C%E6%9C%8D%E5%8A%A1%E6%B3%A8%E5%86%8C%E5%8F%91%E7%8E%B0%E5%B9%B6%E8%B0%83%E7%94%A8%E7%9A%84%E4%BE%8B%E5%AD%90

参考完官方的例子后，我的 provider 的 pom.xml 修改如下：

 1 <parent>
 2 <groupId>org.springframework.boot</groupId>
 3 <artifactId>spring-boot-starter-parent</artifactId>
 4 <version>2.3.2.RELEASE</version>
 5 <relativePath/>
 6 </parent>
 7
 8 <properties>
 9 <maven-compiler-plugin.version>3.8.1</maven-compiler-plugin.version>
10 <maven-source.version>3.2.1</maven-source.version>
11 <lombok.version>1.18.12</lombok.version>
12
13 <spring.boot.version>2.3.2.RELEASE</spring.boot.version>
14 <spring.cloud.version>Hoxton.SR9</spring.cloud.version>
15 <spring.cloud.alibaba.version>2.2.6.RELEASE</spring.cloud.alibaba.version>
16
17 </properties>
18
19 <dependencyManagement>
20 <dependencies>
21 <dependency>
22 <groupId>org.springframework.cloud</groupId>
23 <artifactId>spring-cloud-dependencies</artifactId>
24 <version>${spring.cloud.version}</version>
25 <type>pom</type>
26 <scope>import</scope>
27 </dependency>
28 <dependency>
29 <groupId>com.alibaba.cloud</groupId>
30 <artifactId>spring-cloud-alibaba-dependencies</artifactId>
31 <version>${spring.cloud.alibaba.version}</version>
32 <type>pom</type>
33 <scope>import</scope>
34 </dependency>
35 </dependencies>
36 </dependencyManagement>
37
38 <dependencies>
39 <dependency>
40 <groupId>org.springframework.boot</groupId>
41 <artifactId>spring-boot-starter-web</artifactId>
42 </dependency>
43
44 <dependency>
45 <groupId>org.springframework.cloud</groupId>
46 <artifactId>spring-cloud-starter-openfeign</artifactId>
47 </dependency>
48
49 <dependency>
50 <groupId>org.springframework.boot</groupId>
51 <artifactId>spring-boot-starter-actuator</artifactId>
52 </dependency>
53
54 <dependency>
55 <groupId>com.alibaba.cloud</groupId>
56 <artifactId>spring-cloud-starter-alibaba-nacos-discovery</artifactId>
57 </dependency>
58 </dependencies>

application.yml 修改如下：

 1server:
 2 port: 8080
 3 servlet:
 4 context-path: /provider
 5
 6spring:
 7 mvc:
 8 throw-exception-if-no-handler-found: true # 处理 404 问题
 9 resources:
10 add-mappings: false # 关闭 404 资源映射
11 application:
12 name: feign-provider
13
14 cloud:
15 nacos:
16 discovery:
17 server-addr: 127.0.0.1:8848 # Nacos 服务器地址
18 # namespace: 03afd923-0972-48c4-80fc-69098625d8b0

controller 的接口该怎么写还怎么写，在启动类需要加入一个注解

1@EnableDiscoveryClient

之后把 provider 启动起来，到 nacos 的 dashboard 看一下注册成功了。

接着是 consumer

consumer 的 pom.xml、application.yml 与 provider 一样入口程序同样要加入：

1@EnableDiscoveryClient

feign 接口：

1@FeignClient(name = "feign-provider",path = "/provider")
2public interface ProviderClient {
3
4 @GetMapping("test/hello")
5 String sayHello();
6
7}

controller 消费一下：

 1@RestController
 2@RequestMapping("/test")
 3public class ConsumerController {
 4
 5 @Autowired
 6 private ProviderClient remoteClient;
 7
 8 @GetMapping("/consume")
 9 public String consume() {
10
11 // ServiceInstance serviceInstance = loadBalancerClient.choose("feign-provider");
12 // String url = String.format("http://%s:%s/echo/%s",serviceInstance.getHost(),serviceInstance.getPort(),"feign-provider");
13 // return restTemplate.getForObject(url,String.class);
14
15 return remoteClient.sayHello();
16 }
17
18}

用浏览器请求 consumer 接口测试成功，可以调用到远程 provider 服务。

总结

整体看技术上没什么难度，但 nacos-spring-boot-projec 这个项目直觉上是有坑的，试了许久还是有问题，也许是我没找到问题的根源，所以如果你有耐心可以试着搞搞，如果着急用，还是 Spring Cloud Alibaba 靠谱。

参考

分布式事务：从理论到实践（二）

Thu, 29 Oct 2020 04:47:17 +0000

分布式事务：从理论到实践（二）

前文分布式事务：从理论到实践（一）我们提到了Seata的AT和TCC模式，本文中我们针对这两个模式进行深入分析和开发实践。

AT 模式

原理回顾

根据官方文档[1] 及提供的博客[2] 我们先回顾一下AT模式下分布式事务的原理

AT 模式的一阶段、二阶段提交和回滚均由 Seata 框架自动生成，用户只需编写“业务 SQL”，便能轻松接入分布式事务，AT 模式是一种对业务无任何侵入的分布式事务解决方案。

一阶段：在一阶段，Seata 会拦截“业务 SQL”，首先解析 SQL 语义，找到“业务 SQL”要更新的业务数据，在业务数据被更新前，将其保存成“before image”，然后执行“业务 SQL”更新业务数据，在业务数据更新之后，再将其保存成“after image”，最后生成行锁。以上操作全部在一个数据库事务内完成，这样保证了一阶段操作的原子性。
二阶段提交：二阶段如果是提交的话，因为“业务 SQL”在一阶段已经提交至数据库，所以 Seata 框架只需将一阶段保存的快照数据和行锁删掉，完成数据清理即可。

二阶段回滚：二阶段如果是回滚的话，Seata 就需要回滚一阶段已经执行的“业务 SQL”，还原业务数据。回滚方式便是用“before image”还原业务数据；但在还原前要首先要校验脏写，对比“数据库当前业务数据”和 “after image”，如果两份数据完全一致就说明没有脏写，可以还原业务数据，如果不一致就说明有脏写，出现脏写就需要转人工处理。

环境搭建

本文demo使用的环境是基于

SpringBoot
Spring Cloud Alibaba
Nacos
Apollo
docker compose

首先将 seata-server 在服务器搭建起来，由于我们使用 nacos作为seata的注册中心、apollo为注册中心，所以先将这两个组件搭建起来，具体的安装方法请分别参考各自的官方文档。nacos[3] apollo[4]

nacos 和 apollo 搭起来以后，我们开始搭建 seata-server 以下是 docker-compose 的配置：

 1
 2version: "3.1"
 3services:
 4 seata-server:
 5 image: seataio/seata-server:latest
 6 hostname: seata-server
 7 ports:
 8 - 8091:8091
 9 environment:
10 - SEATA_PORT=8091
11 - SEATA_IP={你的IP}
12 - SEATA_CONFIG_NAME=file:/seata-server/resources/registry
13 volumes:
14 - ./seata/registry.conf:/seata-server/resources/registry.conf
15 expose:
16 - 8091

修改 registry.conf 配置文件，由于我们使用 nacos 作为注册中心，apollo 作为配置中心，所以需要修改到以下配置：

 1registry {
 2 # file 、nacos 、eureka、redis、zk、consul、etcd3、sofa
 3 type = "nacos"
 4 loadBalance = "RandomLoadBalance"
 5 loadBalanceVirtualNodes = 10
 6 nacos {
 7 application = "seata-server"
 8 serverAddr = "你的IP:端口"
 9 group = "SEATA_GROUP"
10 namespace = ""
11 cluster = "default"
12 username = ""
13 password = ""
14 }
15}
16
17config {
18 # file、nacos 、apollo、zk、consul、etcd3
19 type = "apollo"
20 apollo {
21 appId = "seata-server"
22 apolloMeta = "http://你的IP:端口"
23 namespace = "application"
24 env= "dev"
25 apolloAccesskeySecret = ""
26 }
27 
28}

注意：seata-server 是可以配置数据库存储 seata 所用数据的，我们为了方便利用本地 file 的方式存储数据，所以没有再做数据库的配置。如需修改可以修改配置文件 file.conf

下面是 file.conf 的默认配置：

 1store {
 2 ## store mode: file、db、redis
 3 mode = "file"
 4
 5 ## file store property
 6 file {
 7 ## store location dir
 8 dir = "sessionStore"
 9 # branch session size , if exceeded first try compress lockkey, still exceeded throws exceptions
10 maxBranchSessionSize = 16384
11 # globe session size , if exceeded throws exceptions
12 maxGlobalSessionSize = 512
13 # file buffer size , if exceeded allocate new buffer
14 fileWriteBufferCacheSize = 16384
15 # when recover batch read size
16 sessionReloadReadSize = 100
17 # async, sync
18 flushDiskMode = async
19 }
20
21 ## database store property
22 db {
23 ## the implement of javax.sql.DataSource, such as DruidDataSource(druid)/BasicDataSource(dbcp)/HikariDataSource(hikari) etc.
24 datasource = "druid"
25 ## mysql/oracle/postgresql/h2/oceanbase etc.
26 dbType = "mysql"
27 driverClassName = "com.mysql.jdbc.Driver"
28 url = "jdbc:mysql://127.0.0.1:3306/seata"
29 user = "mysql"
30 password = "mysql"
31 minConn = 5
32 maxConn = 100
33 globalTable = "global_table"
34 branchTable = "branch_table"
35 lockTable = "lock_table"
36 queryLimit = 100
37 maxWait = 5000
38 }
39
40 ## redis store property
41 redis {
42 host = "127.0.0.1"
43 port = "6379"
44 password = ""
45 database = "0"
46 minConn = 1
47 maxConn = 10
48 maxTotal = 100
49 queryLimit = 100
50 }
51
52}

启动 nacos、apollo、seata-server

当显示以下信息时，代表seata-server启动了。

这时我们查看 nacos ,也注册上了

apollo 中我们添加一个名为 service.vgroup-mapping.demo-service-seata的key ,value为 default,至于这个的作用，我们后面再说。

我们的 demo 中包含三个服务

demo-order
demo-storage
demo-user

服务间调用使用的是Spring Cloud OpenFeign,除了 SpringBoot 和Spring Cloud 等基础 bom 要依赖外，还需要加入 seata 的依赖，我的pom,大致如下：

 1<properties>
 2 <spring-boot-dependencies.version>2.3.2.RELEASE</spring-boot-dependencies.version>
 3 <spring-cloud-dependencies.version>Hoxton.SR8</spring-cloud-dependencies.version>
 4 <spring-cloud-alibaba-dependencies.version>2.2.3.RELEASE</spring-cloud-alibaba-dependencies.version>
 5</properties>
 6
 7 <dependencyManagement>
 8 <dependencies>
 9 <dependency>
10 <groupId>org.springframework.boot</groupId>
11 <artifactId>spring-boot-starter-parent</artifactId>
12 <version>${spring-boot-dependencies.version}</version>
13 <type>pom</type>
14 <scope>import</scope>
15 </dependency>
16 <dependency>
17 <groupId>org.springframework.cloud</groupId>
18 <artifactId>spring-cloud-dependencies</artifactId>
19 <version>${spring-cloud-dependencies.version}</version>
20 <type>pom</type>
21 <scope>import</scope>
22 </dependency>
23 <dependency>
24 <groupId>com.alibaba.cloud</groupId>
25 <artifactId>spring-cloud-alibaba-dependencies</artifactId>
26 <version>${spring-cloud-alibaba-dependencies.version}</version>
27 <type>pom</type>
28 <scope>import</scope>
29 </dependency>
30 </dependencies>
31 </dependencyManagement>
32
33 <dependencies>
34 <!-- 实现对 Spring MVC 的自动化配置 -->
35 <dependency>
36 <groupId>org.springframework.boot</groupId>
37 <artifactId>spring-boot-starter-web</artifactId>
38 </dependency>
39
40 <!-- 引入 Spring Cloud Alibaba Seata 相关依赖，使用 Seata 实现分布式事务，并实现对其的自动配置 -->
41 <dependency>
42 <groupId>io.seata</groupId>
43 <artifactId>seata-spring-boot-starter</artifactId>
44 </dependency>
45
46 <dependency>
47 <groupId>com.alibaba.cloud</groupId>
48 <artifactId>spring-cloud-starter-alibaba-seata</artifactId>
49 </dependency>
50
51 <!-- 引入 Spring Cloud Alibaba Nacos Discovery 相关依赖，将 Nacos 作为注册中心，并实现对其的自动配置 -->
52 <dependency>
53 <groupId>com.alibaba.cloud</groupId>
54 <artifactId>spring-cloud-starter-alibaba-nacos-discovery</artifactId>
55 </dependency>
56
57 <!-- 引入 Spring Cloud OpenFeign 相关依赖，使用 OpenFeign 提供声明式调用，并实现对其的自动配置 -->
58 <dependency>
59 <groupId>org.springframework.cloud</groupId>
60 <artifactId>spring-cloud-starter-openfeign</artifactId>
61 </dependency>
62 </dependencies>

至于项目中所用ORM框架，数据库连接池等就因人而异了，我用的是mybatis-plus和hikari，数据库用的是 mysql5.7。

针对上面的三个服务分别创建三个数据库，order、user、storage，并在每个库中分别创建一个业务表 t_order、t_user、t_storage 这里就不贴建库表的脚本了，大家可以按照自己的设计自己建，需要注意的是每个库都需要再创建一个 undo_log 表，这是为seata做分布式事务回滚所用。

 1CREATE TABLE `undo_log` (
 2 `id` bigint(20) NOT NULL AUTO_INCREMENT,
 3 `branch_id` bigint(20) NOT NULL,
 4 `xid` varchar(100) NOT NULL,
 5 `context` varchar(128) NOT NULL,
 6 `rollback_info` longblob NOT NULL,
 7 `log_status` int(11) NOT NULL,
 8 `log_created` datetime NOT NULL,
 9 `log_modified` datetime NOT NULL,
10 PRIMARY KEY (`id`),
11 UNIQUE KEY `ux_undo_log` (`xid`,`branch_id`)
12) ENGINE=InnoDB AUTO_INCREMENT=1 DEFAULT CHARSET=utf8;

每个服务中 application.yml 中对应 seata 的配置如下

 1
 2spring:
 3 profiles:
 4 active: dev
 5 cloud:
 6 nacos:
 7 discovery:
 8 namespace: public
 9 password: nacos
10 server-addr: IP:PORT
11 networkInterface: eth1
12 username: nacos
13
14# Seata 配置项，对应 SeataProperties 类
15seata:
16 application-id: ${spring.application.name} # Seata 应用编号，默认为 ${spring.application.name}
17 tx-service-group: demo-service-seata # Seata 事务组编号，用于 TC 集群名
18 # Seata 服务配置项，对应 ServiceProperties 类
19 service:
20 # 虚拟组和分组的映射
21 vgroup-mapping:
22 demo-service-seata: default
23 # Seata 注册中心配置项，对应 RegistryProperties 类
24 registry:
25 type: nacos # 注册中心类型，默认为 file
26 nacos:
27 cluster: default # 使用的 Seata 分组
28 namespace: # Nacos 命名空间
29 serverAddr: 你的IP:端口 # Nacos 服务地址

这里有几点需要注意：

demo-service-seata 出现了两次，这两个地方要写成一样
demo-service-seata: default
与我们在 apollo 中配置的要一样
与 seata-server registry.conf 中 nacos 的 cluster 配置一样。
nacos 配置 networkInterface: eth1
这样写是因为服务部署在服务器后用的内网IP注册到了nacos，想配置它用外网地址就改了下走特定网卡。
解决方案参考：这里[5]例如，使用了Spring cloud alibaba（官方文档）作为Nacos客户端，服务默认获取了内网IP 192.168.1.21,可以通过配置 spring.cloud.inetutils.preferred-networks=10.34.12，使服务获取内网中前缀为10.34.12的IP
在老版本的 seata 是需要手动设置 DataSourceProxy的，参考官网文档[6] 新版本的默认是自动代理的，不需要再写了。

至此我们的环境搭建和准备工作就结束了。

分布式事务具体代码

我们设计这样一个同步的业务流程，创建订单前先扣减库存，再扣减账户余额，然后再创建订单，demo设计上参考了芋道源码[7]。大致流程如下图：

通过入口进入orderServicer后，进行上面的三步流程，分别调用两个微服务，再调自己的订单服务，这里注意两点：

分布式全局事务入口，要添加 @GlobalTransactional
要抛出异常

接下来是扣减库存微服务部分，简单做了下扣减，小于10抛出异常

然后是账户微服务部分

最后是订单

代码都比较简单，有几个点需要注意下

全局事务的隔离性和本地事务的不是一个概念。
全局事务的隔离级别一定基础上依赖本地事务的隔离级别。因此本地事务的隔离级别只要大于等于seata支持的隔离级别就行，所以一般数据库的默认级别就可以
seata的全局事务注解是@GlobalTransactional，@Transactional 是spring的注解，解决本地事务问题，属于两种不同粒度的事务范畴。
如果要加全局事务就一定要用 @GlobalTransactional。
在一个事务方法上，是可以叠加两个注解的，仅意味着功能的叠加，即：有本地事务的处理，也有全局事务的加持。两者不冲突。

由于在数据库本地事务隔离级别读已提交（Read Committed）或以上的基础上，Seata（AT 模式）的默认全局隔离级别是读未提交（Read Uncommitted）。

所以这种隔离性会带来问题(注意这里说的是全局事务)：

脏读：一个事务读取到另一个事务未提交的数据解决方案：
@GlobalLock+@Transactional 注解 + select语句加for update 或
GlobalTransactional注解+select语句加for update
脏写：一个事务提交的数据覆盖了另一个事务未提交的数据解决方案:必须使用@GlobalTransaction

其实上面这部分，官方文档也写的很清楚，尤其对于隔离性的解析：

上图有些地方理解起来要注意：

这里说的事务指的是全局的分布式事务，别想成本地事务了，
关于@GlobalLock,场景是一个是全局分布式事务，另一个不是分布式事务，如果你想让分布式事务不产生“脏读”，那么可以在另一个非分布式事务上加@GlobalLock。

我的测试中事务的正常执行和回滚都没有问题，如果你观察各数据库的 undo_log 表，可能会发现没有数据，但实际情况是数据是插入后又很快清除了，所以你没看到，如果你观察主键的 auto_increment 可以看到一直在增长。由于我用了阿里云的RDS，可以通过SQL洞察看到SQL的执行历史，这里看到sql确实执行过。

XID是全局事务ID，有时候我们需要获得并进行一些操作，那么可以这样做

1String xid = RootContext.getXID();
2RootContext.unbind();//解绑
3//中途做一些与事务无关的事。比如日志服务等等 排除掉，然后
4RootContext.bind(xid);//再绑回来

@GlobalTransactional也有自己的隔离级别和rollback等，可根据业务情况自行设置

 1package io.seata.spring.annotation;
 2
 3import io.seata.tm.api.transaction.Propagation;
 4import java.lang.annotation.ElementType;
 5import java.lang.annotation.Inherited;
 6import java.lang.annotation.Retention;
 7import java.lang.annotation.RetentionPolicy;
 8import java.lang.annotation.Target;
 9
10@Retention(RetentionPolicy.RUNTIME)
11@Target({ElementType.METHOD, ElementType.TYPE})
12@Inherited
13public @interface GlobalTransactional {
14 int timeoutMills() default 60000;
15
16 String name() default "";
17
18 Class<? extends Throwable>[] rollbackFor() default {};
19
20 String[] rollbackForClassName() default {};
21
22 Class<? extends Throwable>[] noRollbackFor() default {};
23
24 String[] noRollbackForClassName() default {};
25
26 Propagation propagation() default Propagation.REQUIRED;
27}

AT 总结

再次强调AT模式是自动的，它自动帮你做回滚和提交，使用时考虑跟自己的实际业务场景是否适合。
例子中我对执行事务的方法并没有做幂等，在实际生产情况下，一定会出现问题的，所以大家在用的时候要注意做接口幂等处理。
有关更多seata的参数配置，如超时，重试次数等。请参考官网[8] 。这里当然要结合你的feign的重试和超时时间整体考虑。
通过上文的描述我们利用一个例子将AT模式的全局分布式事务模拟了出来，也总结了一些比较难理解和需要注意的点，希望能够帮助到正在使用seata的小伙伴。

参考资料

[1]

seata官方文档: http://seata.io/zh-cn/docs/overview/what-is-seata.html

[2]

分布式事务 Seata 及其三种模式详解: http://seata.io/zh-cn/blog/seata-at-tcc-saga.html

[3]

nacos官方文档: https://nacos.io/zh-cn/

[4]

apollo的github地址: https://github.com/ctripcorp/apollo

[5]

解决nacos注册内网地址问题: https://www.cnblogs.com/liboware/p/11973321.html

[6]

官网文档: http://seata.io/zh-cn/docs/user/configurations.html

[7]

芋道源码: http://www.iocoder.cn/Spring-Cloud-Alibaba/Seata/

[8]

官网参数配置: http://seata.io/zh-cn/docs/user/configurations.html

关注公众号获取更多精彩内容

spring cloud 二代架构依赖组件 docker全配置放送

Mon, 19 Oct 2020 12:44:35 +0000

spring cloud 二代架构依赖组件 docker全配置放送

一背景介绍

先来看一下我们熟悉的第一代 spring cloud 的组件

组件名称	功能
Ribbon	客户端负载均衡器
Eureka	服务治理（注册、发现……）
Hystrix	服务之间远程调用时的熔断保护
Feign	通过定义接口的方式直接调用其他服务的 API
Zuul	分布式配置组件
Config	服务网关
Sleuth	用于请求链路跟踪

spring cloud 现在已经是一种标准了，各公司可以基于它的编程模型编写自己的组件，比如Netflix、阿里巴巴都有自己的一套通过spring cloud 编程模型开发的分布式服务组件。

Spring Cloud 二代组件

Spring Cloud Alibaba 主要包含 Sentinel、Nacos、RocketMQ、Dubbo、Seata 等组件。

二代引入了 Spring Cloud Alibaba

第一代组件	第二代组件
Eureka	Nacos
Config	Apollo
Zuul	spring cloud gateway
Hystrix	Sentinel

再加上我们常用的组件

组件	功能
XXL-Job	分布式定时任务中心
Redis	分布式缓存
Rocket-MQ	消息队列
Seata	分布式事务
ELK	日志处理
Skywalking	调用链监控
Prometheus	metrics监控

这其有中除 spring cloud gateway都需要外部单独部署服务来支持

二利用docker-compose 进行本地简化部署

apollo

 1version: '2'
 2
 3services:
 4 apollo-quick-start:
 5 image: nobodyiam/apollo-quick-start
 6 container_name: apollo-quick-start
 7 depends_on:
 8 - apollo-db
 9 ports:
10 - "8080:8080"
11 - "8070:8070"
12 links:
13 - apollo-db
14
15 apollo-db:
16 image: mysql:5.7
17 container_name: apollo-db
18 environment:
19 TZ: Asia/Shanghai
20 MYSQL_ALLOW_EMPTY_PASSWORD: 'yes'
21 depends_on:
22 - apollo-dbdata
23 ports:
24 - "13306:3306"
25 volumes:
26 - ./sql:/docker-entrypoint-initdb.d
27 volumes_from:
28 - apollo-dbdata
29
30 apollo-dbdata:
31 image: alpine:latest
32 container_name: apollo-dbdata
33 volumes:
34 - /var/lib/mysql

注意： ./sql下面的文件在这里（https://github.com/ctripcorp/apollo/tree/master/scripts/sql），是两个初始化的sql文件

nacos

 1version: "2"
 2services:
 3 nacos:
 4 image: nacos/nacos-server:latest
 5 container_name: nacos-standalone-mysql
 6 env_file:
 7 - ./env/nacos-standlone-mysql.env
 8 volumes:
 9 - ./standalone-logs/:/home/nacos/logs
10 - ./init.d/custom.properties:/home/nacos/init.d/custom.properties
11 ports:
12 - "8848:8848"
13 - "9555:9555"
14 depends_on:
15 - mysql
16 restart: on-failure
17 mysql:
18 container_name: mysql
19 image: nacos/nacos-mysql:5.7
20 env_file:
21 - ./env/mysql.env
22 volumes:
23 - ./mysql:/var/lib/mysql
24 ports:
25 - "3308:3306"

redis

 1version: '2'
 2services:
 3 #redis容器
 4 redis:
 5 #定义主机名
 6 container_name: redis
 7 #使用的镜像
 8 image: redis:6.0.8
 9 #容器的映射端口
10 ports:
11 - 6379:6379
12 command: redis-server /etc/conf/redis.conf
13 #定义挂载点
14 volumes:
15 - ./data:/data
16 - ./conf:/etc/conf
17 #环境变量
18 privileged: true
19 environment:
20 - TZ=Asia/Shanghai
21 - LANG=en_US.UTF-8

注意： conf下的redis.conf配置文件可以找个默认的模版文件，然后进行相应修改

rocket-mq

 1version: '2'
 2
 3services:
 4 #Service for nameserver
 5 namesrv:
 6 image: apacherocketmq/rocketmq-nameserver:4.5.0-alpine-operator-0.3.0
 7 container_name: rmqnamesrv
 8 ports: 
 9 - 9876:9876
10 volumes: 
11 - ./data/namesrv/logs:/home/rocketmq/logs
12 command: sh mqnamesrv
13 environment:
14 TZ: Asia/Shanghai
15 JAVA_OPT_EXT: "-server -Xms512m -Xmx512m -Xmn256m"
16
17 #Service for broker
18 broker:
19 image: apacherocketmq/rocketmq-broker:4.5.0-alpine-operator-0.3.0
20 container_name: rmqbroker-a
21 depends_on: 
22 - namesrv
23 ports: 
24 - 10909:10909
25 - 10911:10911
26 - 10912:10912
27 environment: 
28 NAMESRV_ADDR: namesrv:9876
29 JAVA_OPT_EXT: "-server -Xms512m -Xmx512m -Xmn256m"
30 volumes: 
31 - ./data/broker/logs:/home/rocketmq/logs 
32 - ./data/broker/store:/home/rocketmq/store 
33 - ./data/broker/conf/broker.conf:/opt/rocketmq-4.7.1/conf/broker.conf
34
35 command: sh mqbroker -c /opt/rocketmq-4.7.1/conf/broker.conf
36
37 #Service for another broker -- broker1
38 broker1:
39 image: apacherocketmq/rocketmq-broker:4.5.0-alpine-operator-0.3.0
40 container_name: rmqbroker-b
41 depends_on: 
42 - namesrv
43 ports: 
44 - 10929:10909
45 - 10931:10911
46 - 10932:10912
47 environment: 
48 NAMESRV_ADDR: namesrv:9876
49 JAVA_OPT_EXT: "-server -Xms512m -Xmx512m -Xmn256m"
50 volumes: 
51 - ./data1/broker/logs:/home/rocketmq/logs 
52 - ./data1/broker/store:/home/rocketmq/store 
53 - ./data1/broker/conf/broker.conf:/opt/rocketmq-4.7.1/conf/broker.conf
54 command: sh mqbroker -c /opt/rocketmq-4.7.1/conf/broker.conf
55
56 rmqconsole:
57 image: styletang/rocketmq-console-ng
58 container_name: rmqconsole
59 ports:
60 - 8180:8080
61 environment:
62 TZ: Asia/Shanghai
63 JAVA_OPTS: "-Drocketmq.namesrv.addr=namesrv:9876 -Dcom.rocketmq.sendMessageWithVIPChannel=false"
64 depends_on:
65 - namesrv

此外还有两个配置文件

./data/broker/conf/broker.conf
./data1/broker/conf/broker.conf

 1## ./data/broker/conf/broker.conf
 2brokerClusterName = DefaultCluster
 3brokerName = broker-abroker
 4Id = 0
 5deleteWhen = 04
 6fileReservedTime = 48
 7brokerRole = ASYNC_MASTER
 8flushDiskType = ASYNC_FLUSH
 9
10### ./data1/broker/conf/broker.conf
11brokerClusterName = Default
12ClusterbrokerName = broker-bbroker
13Id = 0
14deleteWhen = 04
15fileReservedTime = 48
16brokerRole = ASYNC_MASTER
17flushDiskType = ASYNC_FLUSH

seata-server

 1version: "3.1"
 2services:
 3 seata-server:
 4 image: seataio/seata-server:latest
 5 hostname: seata-server
 6 ports:
 7 - 8091:8091
 8 environment:
 9 - SEATA_PORT=8091
10 expose:
11 - 8091

sentinel

没有现成的docker镜像，需要自己编写一个

1FROM openjdk:8
2
3#复制上下文目录下的jar包到容器里 使用COPY命令亦可
4ADD sentinel-dashboard-1.8.0.jar sentinel-dashboard-1.8.0.jar
5
6EXPOSE 8080
7
8#指定容器启动程序及参数 <ENTRYPOINT> "<CMD>"
9ENTRYPOINT ["java","-jar","sentinel-dashboard-1.8.0.jar"]

利用自己编译的镜像再编写docker-compose配置文件

 1version: '3'
 2services:
 3 sentinel-dashboard:
 4 image: sentinel-dashboard:1.8.0
 5 container_name: sentinel-dashboard
 6 restart: always
 7 environment:
 8 JAVA_OPTS: "-Dserver.port=8080 -Dcsp.sentinel.dashboard.server=localhost:8080 -Dproject.name=sentinel-dashboard -Djava.security.egd=file:/dev/./urandom -Dcsp.sentinel.api.port=8719"
 9 ports: #避免出现端口映射错误，建议采用字符串格式 8080端口为Dockerfile中EXPOSE端口
10 - "58080:8080"
11 - "8719:8719"
12 volumes:
13 - ./root/logs:/root/logs

xxl-job

 1version: '3'
 2services:
 3 xxl-job-admin:
 4 image: xuxueli/xxl-job-admin:2.2.0
 5 restart: always
 6 container_name: xxl-job-admin
 7 depends_on:
 8 - mysql
 9 environment:
10 PARAMS: '--spring.datasource.url=jdbc:mysql://mysql:3306/xxl_job?Unicode=true&characterEncoding=UTF-8 --spring.datasource.username=root --spring.datasource.password=root'
11 ports:
12 - 8067:8080
13 volumes:
14 - ./data/applogs:/data/applogs

注意：这时引用的数据库是你现有的mysql，找一个现有的，因为为了它再新建一个容器有点儿浪费

prometheus(altermanager+prometheus+grafana)

 1version: '3'
 2services:
 3 prometheus:
 4 image: prom/prometheus:latest
 5 container_name: prometheus
 6 volumes:
 7 - /opt/docker_compose/monitor/prometheus/prometheus.yml:/etc/prometheus/prometheus.yml
 8 - /opt/docker_compose/monitor/prometheus/alertmanager_rules.yml:/etc/prometheus/alertmanager_rules.yml
 9 ports:
10 - 9090:9090
11 command:
12 - '--config.file=/etc/prometheus/prometheus.yml'
13
14 grafana:
15 image: grafana/grafana
16 container_name: grafana
17 restart: always
18 hostname: grafana
19 volumes:
20 - /opt/docker_compose/monitor/grafana/grafana.ini:/etc/grafana/grafana.ini
21 ports:
22 - "3000:3000"
23 
24 alertmanager:
25 image: prom/alertmanager:latest
26 container_name: alertmanager
27 hostname: alertmanager
28 restart: always
29 volumes:
30 - /opt/docker_compose/monitor/altermanager/alertmanager.yml:/etc/alertmanager/alertmanager.yml
31 ports:
32 - "9093:9093" 
33
34 prometheus-webhook-alert:
35 image: timonwong/prometheus-webhook-dingtalk:v1.3.0
36 container_name: prometheus-webhook-alertmanagers
37 hostname: webhook-alertmanagers
38 restart: always
39 volumes:
40 - /opt/docker_compose/monitor/prometheus-webhook-dingtalk/config.yml:/etc/prometheus-webhook-dingtalk/config.yml
41 - /etc/localtime:/etc/localtime
42 ports:
43 - "8060:8060"
44 entrypoint: /bin/prometheus-webhook-dingtalk --config.file=/etc/prometheus-webhook-dingtalk/config.yml --web.enable-ui

这里我的alter没有用grafana的，而是结合altermanager和 prometheus-webhook-dingtalk实现的钉钉告警。关于prometheus、altermanager、grafana都是常规配置大家可以找模板然后根据自己的需求修改，唯一需要说明的就是prometheus-webhook-dingtalk，虽然github上说明可以配置通知模版，但最新版本的，我怎么修改也不成，是个问题。需要观察以后版本会不会好，或者直接上手改它的go代码。

skywalking

 1version: '3.3'
 2services:
 3 elasticsearch:
 4 image: docker.elastic.co/elasticsearch/elasticsearch:7.5.0
 5 container_name: elasticsearch
 6 restart: always
 7 ports:
 8 - 9200:9200
 9 - 9300:9300
10 environment:
11 - discovery.type=single-node
12 - bootstrap.memory_lock=true
13 network_mode: bridge
14 volumes:
15 - /data/docker_compose/skywalking/es/config/jvm.options:/usr/share/elasticsearch/config/jvm.options:rw
16 - /data/docker_compose/skywalking/es/config/elasticsearch.yml:/usr/share/elasticsearch/config/elasticsearch.yml
17 - /data/docker/elk/elk_elastic/data:/usr/share/elasticsearch/data:rw
18 ulimits:
19 memlock:
20 soft: -1
21 hard: -1
22 oap:
23 image: apache/skywalking-oap-server:8.1.0-es7
24 container_name: oap
25 depends_on:
26 - elasticsearch
27 links:
28 - elasticsearch
29 network_mode: bridge
30 restart: always
31 ports:
32 - 11800:11800
33 - 12800:12800
34 environment:
35 SW_ES_USER: elastic
36 SW_ES_PASSWORD: oasises
37 SW_STORAGE: elasticsearch7
38 SW_STORAGE_ES_CLUSTER_NODES: elasticsearch:9200
39 SW_TRACE_SAMPLE_RATE: 8000
40 ui:
41 image: apache/skywalking-ui:8.1.0
42 container_name: ui
43 network_mode: bridge
44 depends_on:
45 - oap
46 links:
47 - oap
48 restart: always
49 ports:
50 - 8083:8080
51 environment:
52 SW_OAP_ADDRESS: oap:12800

注意： es的详细配置文件需要你自己写哈。

kibana(ELK)

 1version: '2'
 2services:
 3 elk-logstash:
 4 image: docker.elastic.co/logstash/logstash:7.5.0
 5 container_name : elk_logstash
 6 hostname: elk_logstash
 7 stdin_open: true
 8 tty: true
 9 ports:
10 - "5000:5000/udp"
11 -  5001:5001
12 command: logstash --path.settings /etc/logstash -f /etc/logstash/conf.d/logstash.conf
13 external_links:
14 - elasticsearch
15 network_mode: bridge
16 volumes:
17 - /data1/docker/elk/elk_logstash/conf.d:/etc/logstash/conf.d
18 - /data1/docker/elk/elk_logstash/heapdump.hprof:/usr/share/logstash/heapdump.hprof -rw
19 - /data1/docker/elk/elk_logstash/gc.log:/usr/share/logstash/gc.log -rw
20
21 elk-kibana:
22 image: docker.elastic.co/kibana/kibana:7.5.0
23 container_name : elk_kibana
24 hostname: elk_kibana
25 stdin_open: true
26 tty: true
27 ports:
28 - 5601:5601
29 external_links:
30 - elasticsearch
31 network_mode: bridge
32 volumes: 
33 - /data1/docker/elk/elk_kibana/config/kibana.yml:/usr/share/kibana/config/kibana.yml 
34 environment:
35 - ELASTICSEARCH_URL=http://elasticsearch:9200

由于ES一般我们会建集群，这里忽略ES容器
logstash和kibana的相关配置也可从官网找到模版进行修改

关注公众号获取更多精彩内容

Nacos on 小盒子的技术分享

如何让 Nacos 支持达梦数据库作为外置数据源

达梦数据库 是什么

为什么使用达梦数据库

实现方案

方案一 修改源代码方式

方案二 多数据源插件

数据迁移

Spring Boot 整合 OpenFeign + Nacos 的坑

Nacos

环境

Nacos Server

Spring Boot

Spring Cloud + Spring Cloud Alibaba

总结

参考

分布式事务：从理论到实践（二）

分布式事务：从理论到实践（二）

AT 模式

原理回顾

环境搭建

分布式事务具体代码

AT 总结

参考资料

spring cloud 二代架构依赖组件 docker全配置放送

spring cloud 二代架构依赖组件 docker全配置放送

一 背景介绍

先来看一下我们熟悉的第一代 spring cloud 的组件

Spring Cloud 二代组件

再加上我们常用的组件

二 利用docker-compose 进行本地简化部署

apollo

nacos

redis

rocket-mq

seata-server

sentinel

xxl-job

prometheus(altermanager+prometheus+grafana)

skywalking

kibana(ELK)

达梦数据库是什么

方案一修改源代码方式

方案二多数据源插件

一背景介绍

二利用docker-compose 进行本地简化部署