极客观点
项目管理
HarmonyOS
我有一些数据，可能有很多重复的，比如username,ip,UA等等，这些数据是实时产生的，也就是说可能是产生的时间是不一样的。
目前是用logstash来实时写数据进elasticsearch的，我想问的是
如何确保写入elasticsearch的数据是不重复的。
logstash在写数据之前，是否可以先到elasticsearch查询一下然后在决定写入不写入呢？
撰写回答
你尚未登录，登录后可以
- 和开发者交流问题的细节
- 关注并接收问题和回答的更新提醒
- 参与内容的编辑和改进，让解决方法与时俱进
推荐问题
ElasticSearch为何部署不成功？
我已经安装了ElasticSearch. {代码...} 也开启了防火墙 {代码...} 启动 {代码...} 我的本机ip {代码...} 于是，我写这样的配置sudo vim /etc/elasticsearch/elasticsearch.yml {代码...} 也设置了账号，密码 {代码...} 用浏览器打开为何部署不成功？我输入了正确的账号，密码，cluster.initial_master_nodes: ["node-1"]...1 回答2.7k 阅读
elasticsearch8.8.2自定义了一个脚本插件, 但是搜索的时候请求走到插件这里了但是获取不到搜索到的数据是怎么回事呢?
我是这样获取搜索到的数据的, 结果获取不到, 也没找到其他的获取方法, 能走到插件代表是获取到数据了的, 不知道怎么回事2.1k 阅读
如何在系统中异步采集非业务数据并进行分析？
在一个业务系统中，想要采集一些与业务无关的数据，例如用户点击应用的次数，喜好等数据（非结构化数据）。以便于后续进行分析。应该采用什么架构、工具呢？异步采集数据，存储数据，可视化并进行后续的分析辅助决策技术栈：springboot elk redis tidb minio1 回答1.2k 阅读
mysql怎么根据系统标识优先取最新系统的数据？
简单描述：需要展示机构名称、机构编码（可能是ORG_CODE，也可能是BASE_ORG_CODE，优先取值BASE_ORG_CODE），有三个系统，各系统数据优先级：3 > 2 > 11 回答1.7k 阅读
Hi，你的问题解决了吗，我现在也有同样的问题。