Skip to content

Latest commit

 

History

History
241 lines (169 loc) · 17.2 KB

README.md

File metadata and controls

241 lines (169 loc) · 17.2 KB
Raw

作者 项目群交流 Bilibili 对线面试官 Gitee Starts Gitee Starts issue-open issue-close issue-close issue-close issue-close jdk版本 SpringBoot版本 Centos版本 MySQL版本 maven版本 ORM框架 ORM框架 分布式定时任务 分布式配置中心 分布式消息队列 分布式日志采集 计算引擎 系统监控 系统监控 部署 部署 部署 部署 前端

🔥项目在线演示地址：http://139.9.66.219:3000/

🔥项目视频我正在Bilibili更新（三连越多，更新越有动力哟）

🔥项目笔记关注公众号Java3y回复「austin」即可获取，还能加项目交流群哟！

消息推送平台austin介绍

核心功能：统一的接口发送各种类型消息，对消息生命周期全链路追踪。

意义：只要公司内部有发送消息的需求，都应该要有类似austin的项目。消息推送平台对各类消息进行统一发送处理，这有利于对功能的收拢，以及提高业务需求开发的效率。

使用姿势

1、创建需要发送的渠道账号

2、创建消息模板

3、测试发送消息是否正常

4、查看消息下发情况

5、亦可在新建模板时选择定时任务，通过上传csv文件和指定cron表达式实现下发消息

部署姿势

austin项目强依赖MySQL/Redis/(大概需要2G内存)，弱依赖kafka/prometheus/graylog/flink/xxl-job/apollo/hive(完全部署所有的服务，大概8G+内存)。如果缺少相关的组件可戳：安装相关组件教程。

实在想要clone项目后不用自己部署环境直接在本地启动debug，我这提供了会员服务，直连部署好的服务器。

1、austin使用的MySQL版本5.7x。如果目前使用的MySQL版本8.0，注意改变pom.xml所依赖的版本

2、填写application.properties中austin-database对应的ip/port/username/password信息

3、执行sql文件夹下的austin.sql创建对应的表

4、填写application.properties中austin.redis对应的ip/port信息

5、以上配置信息都在application.properties文件中修改。(prometheus/graylog/flink/xxl-job/apollo/kafka/hive可选)

6、austin前端管理系统部署，戳GitHub或Gitee跳转至对应的仓库

7、（可选）正常使用数据管理(查看实时数据链路下发)需要将austin-stream的jar包上传至Flink，根据部署文档启动Flink。在打jar包前需要填写com.java3y.austin.stream.constants.AustinFlinkConstant中的redis和kafka的ip/port（注意：日志的topic在application.properties中的austin.business.log.topic.name。如果没有该topic，需要提前创建，并使用Kafka作为消息队列实现)

8、（可选）正常使用定时任务需要部署xxl-job，根据部署文档启动xxl的调度中心，并在application.properteis中填写 austin.xxl.job.ip和austin.xxl.job.port

9、（可选）正常使用分布式日志采集需要部署graylog，根据部署文档启动graylog，并在application.properteis中填写 austin.grayLog.ip。

10、（可选）正常使用系统监控需要部署promethus和grafana，根据部署文档配置grafana图表。

11、（可选）正常使用动态配置中心需要部署apollo，根据部署文档启动apollo，通过docker-compose启动需要在AustinApplication注入对应的ip和port(可看注释)。

12、（可选）正常使用数据仓库需要部署hive，根据部署文档通过flink把数据写入到hive中（flink环境也要安装好），将austin-data-house的jar包提交到flink执行

技术栈

技术栈 实现
编程语言 Java（JDK 1.8)
项目管理工具 Maven 3.x
集成开发工具 IDEA 2022
部署服务器 Centos 7.6
系统部署工具 Docker & Docker-compose
项目环境 SpringBoot 2.5.6
关系型数据库 MySQL 5.7.X
缓存数据库 Redis:lastest
ORM框架 SpringData JPA 2.5.6
分布式定时任务框架 XXL-JOB v2.3.0
分布式配置中心 Apollo & Nacos
消息队列 Kafka & RabbitMQ & RocketMQ
分布式日志采集框架 Graylog
分布式计算引擎 Flink 1.16.0
监控采集组件 Prometheus
监控可视化组件 Grafana
数据仓库 Hive 2.3.2
大数据环境 Hadoop 2.7.4
大数据可视化 Metabase:lastest
前端技术 Amis

工程模块&系统流程

了解工程模块的职责，这对看项目代码的时候会有个比较清晰的认识：

工程模块 作用
austin-common 项目公共包：存储着项目公共常量/枚举/Bean
austin-support 项目工具包：对接中间件/组件
austin-cron 定时任务模块：对xxl-job封装和项目定时任务逻辑
austin-web 后台管理模块：提供接口给前端调用
austin-service-api 消息接入层接口定义模块：只有接口和必要的入参依赖
austin-service-api-impl 消息接入层具体实现模块：真实处理请求
austin-handler 消息处理逻辑层：消费MQ下发消息
austin-stream 实时处理模块：利用flink实时处理下发链路数据
austin-data-house 数据仓库模块：消费MQ数据写入hive

会员服务

收费课程是以项目为主，代码在Gitee和GitHub上都是开源的，项目没有商业版，后面也不会有。那么，付费跟我自己去拉Git仓库拉代码下来看有什么区别？

1、有很多人的自学能力和基础确实不太行，不知道怎么开始学习，从哪开始看起，学习项目的过程中会走很多弯路，很容易就迷茫了。付费最跟自学最主要的区别就是我的服务会更周到。

我会告诉你怎么开始学这个开源项目，哪些是重点需要掌握的，如何利用最短的时间把握整个系统架构和编码的设计，把时间节省下来去做其他事情。

2、一个生产环境的系统肯定会依赖各种中间件，《消息推送平台-Austin》也是一样的。我专门买了两台服务器已经搭建好必要的依赖，付费的可以使用我的远程服务器，在本地就能直接启动运行体验和学习

3、项目在编写的过程中也经历多次的重构迭代，迭代的内容我是不会将以往文章内容重新修正发布，但语雀的文档内容一定是及时同步，文档跟代码是保持一致的

4、干练清爽的项目commit，可一步一步跟着commit还原整个系统的过程

5、近300人的股东社群，技术交流氛围融洽，有组团从0到1复现消息推送平台的

6、除了项目，还可以问我些学习经验、学习路线、简历编写、面试经验等等问题，技术和学习上的知识知无不言

详情可以看戳：我开通了付费渠道

项目交流

由于austin项目交流群已经超过了两百人，添加我的个人微信备注：【项目】，我空的时候会拉进项目交流群里

如何准备面试？

对线面试官公众号持续更新面试系列文章（对线面试官系列），深受各大开发的好评，已有不少的同学通过对线面试官系列得到BATTMD等一线大厂的的offer。一个讲人话的面试系列，八股文不再是背诵。

想要获取这份电子书，点击关注下方公众号，回复「对线」得到我的联系方式即可进群获取电子书

里程碑

  • Maven+SpringBoot项目搭建
  • logback日志记录项目运行时信息，引入common/guava/Hutool/Lombok/fastjson/OkHttp工具包
  • 接入腾讯云渠道发送一条短信
  • 使用SpringData JPA将短信发送记录存储至MySQL
  • 使用SpringBoot接入Kafka
  • 利用责任链完成对接入层的请求进行封装（责任链模式）
  • 消费层实现数据隔离（线程池：生产者与消费者模式）
  • 通用去重消息功能（SpringBoot接入Redis并使用pipeline减少网络请求）
  • 配置服务器和docker容器以及SpringBoot应用的监控（prometheus+Grafana+auctuator）
  • 接入分布式配置中心完成 丢失消息、白名单以及账号配置（Apollo分布式配置中心）
  • 邮件渠道接入
  • 日志链路数据追踪 + 注解式打印日志（优雅打印日志以及数据埋点）
  • 接入GrayLog分布式日志收集框架
  • 引入前端低代码平台AMIS搭建后台管理页面
  • 接入分布式定时任务框架定时发送任务（xxl-job定时任务框架），编写上传文件接口并使用LazyPending批处理人群文件数据
  • 接入实时流计算平台（Flink），实时日志数据根据用户维度和消息模板维度清洗至Redis
  • 通过AMIS低代码平台接入echarts图表展示实时聚合后的数据
  • 优雅停机、动态线程池参数配置
  • 企业微信渠道接入
  • 夜间屏蔽次日早晨推送（xxl-job定时任务框架，另类的延时队列）
  • 钉钉渠道接入
  • 单机限流实现
  • 引入单测框架，编写部分单测用例
  • 接入微信服务号渠道(已有pull request代码，待调试)
  • 接入微信小程序渠道(已有pull request代码)
  • 接入PUSH渠道
  • 接入云片短信渠道，并短信支持流量配置，拉取腾讯云短信回执
  • 完成接入钉钉机器人渠道所有类型的消息
  • 完成接入钉钉工作渠道所有类型的消息，包括对文件素材的上传功能
  • Kafka消息支持tag过滤
  • MQ层支持可插拔，默认使用eventbus单机队列，Kafka变为弱依赖
  • 渠道账号改为读取数据库，优化短信回执拉取功能
  • 接入微信服务号渠道（发送模板消息）完成
  • 接入微信小程序渠道（发送订阅消息）完成
  • 测试环境完成微信服务号扫码登录功能
  • 测试环境docker-compose完成接入MySQL/Redis/Flink/xxl-job/Kafka
  • 在线演示第一版发布
  • 数据仓库模块完成
  • 邮件支持附件推送，短信支持指定账号和AUTO推送，access_token存储至Redis
  • 总体架构已完成，持续做基础建设和优化代码

近期更新时间：2023年2月28号

近期更新功能：access_token存储到Redis，短信支持指定账号和AUTO推送，邮件支持附件推送