聊聊日志硬扫描,阿里 Log Scan 的设计与实践
简介: SLS 新推出 Scan 功能,让未索引的字段也支持搜索(硬扫描模式),节省全量索引产生的构建和存储费用,同时 Scan 的运行时计算模式对于杂乱结构的日志数据有更好的适配,帮助企业客户实现数字化增效、IT 支出降本的目标。日志 Scan 的发展与背景大数据快速增长的需要泛日志(Log/Trace/Metric)是大数据的重要组...
2022-11-07
Springboot2.x整合ElasticSearch7.x实战(二)
本教程是系列教程,对于初学者可以对 ES 有一个整体认识和实践实战。还没开始的同学,建议先读一下系列攻略目录:Springboot2.x整合ElasticSearch7.x实战目录本篇幅是继上一篇 Springboot2.x整合ElasticSearch7.x实战(一) ,适合初学 Elasticsearch 的小白,可以跟着整个教程做一个练习。第三章 分词器安装使用搜索,...
2020-12-22
Linux常用命令: find 和 ping
locate 其实相当于 "find -name",但是要比后者快得多,原因在于它不搜索具体目录,而是搜索一个数据库(/var/lib/locatedb),这个数据库中含有本地所有文件信息。Linux系统自动创建这个数据库,并且每天自动更新一次,所以使用locate命令查不到最新变动过的文件。
2016-11-25
Mysql数据库sql优化案例
嵌套查询能在内层做统计或者聚合多尽量就在内层做聚合,如果内层聚合以后外层仍要聚合,内层多聚合也要做。不要为了方便只在外层做聚合,内层结果数对查询效率影响很大。
简单好用的ElasticSearch可视化工具:es-client和Head
使用 ElasticSearch(简称 es) 的过程中,经常有一些临时查询(如 排查问题、验证效果),一个趁手的可视化工具 可以提高工作效率。
高级 RAG 技术:提升生成式 AI 系统输出质量与性能鲁棒性
检索增强生成 (RAG) 是一种强大的技术,它将信息检索与生成式 AI 相结合,以产生更准确、上下文更丰富的响应。本文将探讨 15 种高级 RAG 技术,以提高生成式 AI 系统的输出质量和整体性能的鲁棒性。这样做使本文能够测试和识别从预检索到生成的适当优化,本文所提到的优化点大多数基于下图的流程。
2024-10-26
使用片段嵌入进行文档搜索
从文档中获取的句子片段的嵌入可以作为该文档的提取摘要方面,并可能加速搜索,特别是当用户输入是一个句子片段时。这些片段嵌入不仅比传统的文本匹配系统产生更高质量的结果,也是问题的内在驱动的搜索方法。现代向量化表示挑战创建有效的文档嵌入,捕捉所有类型的文档,使其通过使用嵌入在文档级别进行搜索。
2020-06-16
容易成为勒索软件攻击目标的13个行业,以及如何预防勒索
近日,网络安全供应商Sophos针对全球3000名IT专业人士进行的一项调查,结果显示,在过去的12个月里,大约三分之二的组织遭受过勒索软件攻击。其中,教育行业受到的打击最为严重,受害组织高达五分之四。
2024-01-10
LeetCode 34. 在排序数组中查找元素的第一个和最后一个位置 | Python
34. 在排序数组中查找元素的第一个和最后一个位置 题目来源:力扣(LeetCode)[链接] 题目 给定一个按照升序排列的整数数组 nums,和一个目标值 target。找出给定目标值在数组中的开始位置和结束位置。 你的算法时间复杂度必须是 O(log n) 级别。 如果数组中不存在目标值,返回 [-1, -1]。 示例 1: {代码...} 示例 2: {...
2020-06-24
C#8中的Range和Index(范围和索引)
限制:0 <= startIndex <= endIndex <= arr.Length,其他均会报错!startIndex等于endIndex时,取不出元素,会生成一个空数组。
INFINI Labs 产品更新 | Console 1.24.0 操作日志审计功能发布
INFINI Labs 产品又更新啦~,包括 Console,Gateway 1.24.0。本次各产品更新了很多亮点功能,如 Console 增加操作日志审计功能,优化数据探索字段统计,修复 Gateway 增加认证后添加实例失败等问题。以下是本次更新的详细说明。
2024-05-16
Google-Hacking语法总结
引号 '' " 把关键字打上引号后,把引号部分作为整体来搜索or 同时搜索两个或更多的关键字link: 搜索某个网站的链接 link:baidu.com即返回所有和baidu做了链接的URLinfo: 查找指定站点的一些基本信息[链接] 可实现站内搜索关键字不区分大小写字母默认使用AND逻辑搜索Google在默认下忽视关键字中部分常用单词(如冠词);Goo...
2022-11-03
Elasticearch索引mapping写入、查看、修改
Elasticsearch是一个流行的开源搜索引擎,它可以将大量数据快速存储和检索。Elasticsearch还提供了强大的实时分析和聚合查询功能,数据模式更加灵活。它不需要预先定义固定的数据结构,可以随时添加或修改数据字段,而不需要进行繁琐的数据库迁移。横向扩展性好,ES的分布式特性,可以简单地将数据水平切分到多个节点上...
2024-11-28
Elasticsearch 参考指南(Index API)
index API在特定索引中添加或更新JSON类型化文档,使其可搜索,下面的示例将JSON文档插入到“twitter”索引中,其类型名为“_doc”,id为1:
2018-10-24
算法专家解读 | 开放搜索教育搜题能力和实践
简介:达摩院算法专家--徐光伟(昆卡)聚焦在线教育行业的拍照搜题场景,介绍如何应用开放搜索来构建更高搜索性能及搜题准确率的搜题系统,从而助力在线教育行业客户掌握更高层次用户体验的获客工具。
2021-04-23
Linux apropos 命令使用详解
apropos 是 Linux 系统中用于通过关键字搜索手册页的实用工具,本质上是 man -k 的快捷方式,但其功能远不止简单搜索。该命令特别适合以下场景:
2025-05-07
Yii2开发技巧集合[不定期更新]
从参数上看,Yii的ArrayHelper::merge只支持同时合并两个数组,而php的array_merge则可以同时合并多个,似乎是php的比较好用。但要注意的是,php的array_merge函数在合并一个数字索引的数组时,会将索引连续起来,这在合并一些从数据库取出来的以id为索引的数组时会比较坑,因为输出结果中的索引突然就变得整齐了。如果...