极客观点
项目管理
HarmonyOS
在一个业务系统中，想要采集一些与业务无关的数据，例如用户点击应用的次数，喜好等数据（非结构化数据）。以便于后续进行分析。应该采用什么架构、工具呢？异步采集数据，存储数据，可视化并进行后续的分析辅助决策
技术栈：springboot elk redis tidb minio
在springboot中，采用日志异步输出，es做存储，并通过kabana可视化。但这个是用于业务日志的，辅助运维人员工作的
如何在系统中异步采集非业务数据并进行分析？
阅读 105
AI BotBETA在Spring Boot系统中异步采集非业务数据（如用户点击应用的次数、喜好等非结构化数据）并进行分析，可以采用以下架构、工具和技术方案：
架构与技术方案
数据采集：
- 使用Spring Boot的异步处理能力，通过
@Async注解将数据采集任务标记为异步执行。 - 利用日志框架（如Logback或Log4j）异步输出日志，这些日志可以包含非业务数据的详细信息。
- 考虑使用AOP（面向切面编程）来拦截特定的业务操作，并在操作完成时记录相关的非业务数据。
- 使用Spring Boot的异步处理能力，通过
数据存储：
- 对于非结构化数据，可以考虑使用Elasticsearch（ES）作为存储解决方案。ES提供了强大的搜索和分析能力，适用于处理大量非结构化数据。
- 如果需要持久化存储非结构化数据（如用户喜好等），也可以考虑使用NoSQL数据库（如MongoDB）或对象存储服务（如MinIO）。
数据可视化与分析：
- 使用Kibana或Grafana等工具来可视化存储在Elasticsearch中的数据。这些工具提供了丰富的图表和可视化选项，有助于直观地展示数据趋势和模式。
- 对于更复杂的分析需求，可以使用Python、R等数据分析工具或编程语言来编写自定义的分析脚本，并将分析结果以图表或报告的形式展示。
技术栈整合：
- 在Spring Boot项目中，通过添加必要的依赖和配置来整合上述工具和技术。
- 使用Redis作为缓存层，可以缓存一些常用的数据或分析结果，提高系统的响应速度和性能。
- 如果需要处理大量结构化数据（如用户信息、订单数据等），可以考虑使用TiDB这样的分布式数据库系统。
具体实现步骤
配置Spring Boot异步处理：
- 在Spring Boot的主类或配置类上添加
@EnableAsync注解来启用异步处理支持。 - 在需要异步执行的方法上添加
@Async注解。
- 在Spring Boot的主类或配置类上添加
实现数据采集逻辑：
- 编写一个服务类来负责数据采集任务，并在该类中定义异步方法。
- 在异步方法中，使用日志框架记录非业务数据，或者通过调用其他服务将数据发送到Elasticsearch等存储系统。
配置Elasticsearch和Kibana：
- 安装并配置Elasticsearch和Kibana。
- 在Elasticsearch中创建索引来存储非结构化数据。
- 使用Kibana来可视化存储在Elasticsearch中的数据。
实现数据可视化与分析：
- 根据业务需求在Kibana中创建不同的图表和仪表板。
- 编写自定义的分析脚本来处理更复杂的数据分析任务。
整合技术栈：
- 在Spring Boot项目中添加Redis、TiDB等依赖和配置。
- 使用Redis来缓存常用数据或分析结果。
- 使用TiDB来处理结构化数据的存储和查询需求。
综上所述，通过结合Spring Boot的异步处理能力、Elasticsearch的存储和搜索能力、Kibana的可视化能力以及其他技术栈组件（如Redis和TiDB），可以有效地实现非业务数据的异步采集、存储、可视化和分析。
撰写回答
你尚未登录，登录后可以
- 和开发者交流问题的细节
- 关注并接收问题和回答的更新提醒
- 参与内容的编辑和改进，让解决方法与时俱进
推荐问题
Mybatis+查询的结果集难道还要经过二次处理？不会吧？怎么优化？
能不能把另一个表（deparment）的字段dname，放到和用户表（Users）的字段id、name、did同级的地方？？？？代码如下：* {代码...} {代码...} {代码...} {代码...} {代码...} {代码...} 文件结构3 回答6.9k 阅读✓ 已解决
springboot业务代码能否动态加载和更新？
目前的问题是业务模块会持续增加，每个模块的开发不影响其他任何部分代码，所以我想的是，是否可以jvm启动一个主进程,主进程是一个springboot项目，只是没有各个业务模块的功能。然后各个业务模块可以以插件的形式动态加载和更新。3 回答4.5k 阅读
RBAC 模型 鉴权，最终的权限怎么实现？
根据RBAC 模型的定义，我在数据库中建了有下面五个表：用户表，用户-角色关联表，角色表，角色-权限关联表，权限表现在我已经写好了对应的拦截器，并且在拦截器中通过token获取到用户，再通过这几张表获取到当前用户所拥有的权限列表了，但是这个权限列表是怎么用的？就比如 ： 我知道前端项目需要做动态路由的时候会需...2 回答2.3k 阅读✓ 已解决
MybatisPlus无法读取@RequestBody的Map参数，怎么解决？
控制器模块 {代码...} 关联的接口映射 {代码...} MybatisPlus的xml文件 {代码...} #{id} 是能获取的，经过测试，如果我写死 {代码...} 是能更新成功的，因此就是 #{requestBody.get("name")} 的问题，为什么无法获取值呢？请求传参是 {代码...}2 回答1k 阅读✓ 已解决
直接在IDEA运行Jar包没问题，但用java -jar 的命令就报错是为什么？
直接在IDEA运行Jar包没问题，但用java -jar 的命令就报错是为什么？对应代码： {代码...} 报错原因如下，是在创建Redisson客户端的时候报错： {代码...} 网上说是JDK9以上多模块的原因，但我是JDK8啊2 回答1.3k 阅读✓ 已解决
Spring Security jwt 验证问题？
前端请求 Authorization 必须是正确并且没过期，或不设置这个值才可以，这是为什么，我 SecurityConfig 中已经配置放行了。2 回答1.2k 阅读✓ 已解决
抛出多次异常后，mp在使用mapper.selectOne后会出现错误？
开始的时候是查询列表方法用到了MP，在构建查询条件之后因为做了权限，如果没有权限直接抛出了自定义异常，然后前端测试了一下可行，但是多次抛出异常后就出现其它问题了，后面只要用到mapper.selectOne的方法都会报下面这个错，很奇怪不知道是不是因为这个原因导致的为了更明显，然后我直接在这个方法抛异常，前端调了...2 回答1.1k 阅读✓ 已解决
宣传栏
大概得架构方案可以参考一下：