分库分表后复杂查询的应对之道:基于DTS实时性ES宽表构建技术实践

6 月 24 日
阅读 2 分钟
262
业务发展的初期,我们的数据库架构往往是单库单表,外加读写分离来快速的支撑业务,随着用户量和订单量的增加,数据库的计算和存储往往会成为我们系统的瓶颈,业界的实践多数采用分而治之的思想:分库分表,通过分库分表应对存系统读写性能瓶颈和存储瓶颈;分库分表帮我们解决问题的同时,也带来了复杂性;比如多条件的...

大模型助力国际术语专业化,前后联动实现所见即所得

6 月 21 日
阅读 6 分钟
378
国际系统当前的多语言是国际业务的普遍特点,仅仅仓储管理系统,当前系统语言种类已经达到了九种,并且随着业务的开展还在不断的扩展,现有的国际系统支持的语言有中文、英语、日语、韩语、葡萄牙语、西班牙语、法语、德语、越南语。其中每个语言包的词条都有上万条,且随着新需求的开发迭代也在不断的新增,语言包的不...

大模型技术及趋势总结

6 月 21 日
阅读 8 分钟
1.3k
本篇文章旨在希望大家对大模型的本质、技术和发展趋势有简单的了解。由于近期大模型技术发展很快,这里对大模型的技术、本质及未来趋势进行总结和探讨时,因为水平有限,疏漏在所难免。请大家谅解。

Lombok注解引发的空指针问题分析

6 月 21 日
阅读 5 分钟
1.2k
通过Lombok提供的功能使得我们不必在对象中显式定义get和set方法。并且Lombok提供链式编程,通过在对象头部加上@Accessors(chain = true)注解,给属性赋值时,可以写成obj.setA(a).setB(b).setC(c),省去先new再对属性逐个set赋值。使用了该注解,这个类的set方法返回我就不是void而是this对象本身。

京东短网址高可用提升最佳实践

6 月 20 日
阅读 5 分钟
323
当我们在腾讯、新浪发微博时,有时发很长的网址连接,但由于微博只限制140个字,所以微博就自动把您发的长网址给转换成短网址了。在微博和手机短信提醒等限制字数的地方来使用短网址,的确是一个不错的方案。

一站式统一返回值封装、异常处理、异常错误码解决方案—最强的Sping Boot接口优雅响应处理器

6 月 20 日
阅读 12 分钟
498
统一返回值封装、统一异常处理和异常错误码体系的意义在于提高代码的可维护性和可读性,使得代码更加健壮和稳定。统一返回值封装可以避免每一个接口都需要手工拼装响应报文;统一异常处理可以将异常处理的逻辑集中到一个地方,避免代码中出现大量的try-catch语句,降低了代码的复杂度,提高了代码的可读性;异常体系的设...

使用 GPT4V+AI Agent 做自动 UI 测试的探索

6 月 20 日
阅读 9 分钟
390
从 Web 诞生之日起,UI 自动化就成了测试的难点,到现在近 30 年,一直没有有效的手段解决Web UI测试的问题,尽管发展了很多的 webdriver 驱动,图片 diff 驱动的工具,但是这些工具的投入产出比一直被质疑,自动化率越多维护成本越高,大部分都做着就放弃了,还有一部分在做与不做间纠结。

云计算与企业IT成本治理

6 月 18 日
阅读 21 分钟
335
时至今日,云计算已逐步替代传统IT中服务器、存储、虚拟化等单体软硬件的IT架构,成为企业IT能力中最重要的组成部分。企业在利用云计算带来的便利、敏捷的同时,也越来越多依靠云计算提供的持续服务能力,云计算已经当仁不让成为企业IT架构的核心。

缓存有大key?你得知道的一些手段

6 月 18 日
阅读 13 分钟
352
 背景:最近系统内缓存CPU使用率一直报警,超过设置的70%报警阀值,针对此场景,需要对应解决缓存是否有大key使用问题,扫描缓存集群的大key,针对每个key做优化处理。以下是扫描出来的大key,此处只放置了有效关键信息。 图1大key介绍:想要解决大key,首先我们得知道什么定义为大key。什么是大KEY:大key 并不是...

AIGC在保险场景中的视觉应用

6 月 18 日
阅读 1 分钟
378
在AI的大变革时代,AIGC作为一匹腾空而出的黑马,为我们的创意设计工作带来了革命性的变化。以下为京东保险UED团队目前在AIGC领域的探索与成果总结,希望可以再接再厉,推动更多的AIGC工具在更多的设计领域的应用与革新。

利用大模型服务一线小哥的探索与实践

6 月 17 日
阅读 12 分钟
396
2022年OpenAI基于GPT推出了聊天机器人ChatGPT,带来了非常惊艳的语言理解、内容生成、知识推理等能力,能够准确理解人的语言、意图,并能够回答出清晰、完整的内容,让人很难分辨出沟通交流的是人类还是机器人。

如何手撸一个自有知识库的RAG系统

6 月 17 日
阅读 11 分钟
389
RAG通常指的是"Retrieval-Augmented Generation",即“检索增强的生成”。这是一种结合了检索(Retrieval)和生成(Generation)的机器学习模型,通常用于自然语言处理任务,如文本生成、问答系统等。

性能优化之路总结

6 月 17 日
阅读 3 分钟
350
针对老项目,去年做了许多降本增效的事情,其中发现最多的就是接口耗时过长的问题,就集中搞了一次接口性能优化。本文将给小伙伴们分享一下接口优化的通用方案。

chrome插件新版本(v3版本)中的热更新,即加载更新远程js的方法探索

6 月 14 日
阅读 3 分钟
397
现在浏览器插件中,大多采用直接调用远程代码的方式进行热更新,由于安全策略逐步增强,越来越不支持热更新了;chrome在新v3版本插件中直接给禁止了;对于v2版本则即将废弃使用。

大模型应用之路:从提示词到通用人工智能(AGI)

6 月 14 日
阅读 9 分钟
416
大模型在人工智能领域的应用正迅速扩展,从最初的提示词(Prompt)工程到追求通用人工智能(AGI)的宏伟目标,这一旅程充满了挑战与创新。本文将探索大模型在实际应用中的进展,以及它们如何为实现AGI铺平道路。

进程还在,JSF接口不干活了,这你敢信?

6 月 14 日
阅读 3 分钟
338
应用在配合R2m升级redis版本的过程中,上游反馈调用接口报错,RpcException:[Biz thread pool of provider has been exhausted],通过监控系统和日志系统定位到现象只出现在一两个节点,并持续出现。第一时间通过JSF将有问题的节点下线,保留现场,业务恢复。

如何画一个系统的设计图

6 月 13 日
阅读 2 分钟
363
评审中发现很多研发都不会画设计图,有的画的非常复杂但没有要点,听的人不知道要表达的是什么;有的图画的非常简单,也没有要点。如果设计图只有在讲解的时候通过别人长时间的询问才能明白,那么设计图还有什么价值?大部分研发内心想提升设计能力,但有一些错误的观念可能会阻碍设计的成长。比如“参考一个好的设计模版...

动态线程池思想学习及实践

6 月 13 日
阅读 16 分钟
646
在后台项目开发过程中,我们常常借助线程池来实现多线程任务,以此提升系统的吞吐率和响应性;而线程池的参数配置却是一个难以合理评估的值,虽然业界也针对cpu密集型,IO密集型等场景给出了一些参数配置的经验与方案,但是实际业务场景中通常会因为流量的随机性,业务的更迭性等情况出现预计和实际运行情况偏差较大的情...

生成式推荐系统与京东联盟广告-综述与应用

6 月 13 日
阅读 13 分钟
343
大型语言模型(LLM)正在深刻地影响自然语言处理(NLP)领域,其强大的处理各种任务的能力也为其他领域的从业者带来了新的探索路径。推荐系统(RS)作为解决信息过载的有效手段,已经紧密融入我们的日常生活,如何用LLM有效重塑RS是一个有前景的研究问题[20, 25]。

AIGC系统中聊天小助手卡片小组件嵌套设计实践

6 月 12 日
阅读 7 分钟
557
1.项目描述领航者卡片样式较多,有些卡片比较近似;可以用嵌套方案,实现一个卡片,多个子单元 可拔插组件式卡片。2.逻辑设计2.1卡片示例-聊天框提示 3 通用提示卡片 设计通用卡片中加载 {代码...} 通用卡片数据结构 {代码...} 3.1 流程小组件设计3.1.1 流程小组件主逻辑 {代码...} 最终展示3.1.2 流程小组...

HBase集群数据在线迁移方案探索

6 月 12 日
阅读 12 分钟
343
订单本地化系统目前一个月的订单的读写已经切至jimkv存储,对应的HBase集群已下线。但存储全量数据的HBase集群仍在使用,计划将这个HBase集群中的数据全部迁到jimkv,彻底下线这个HBase集群。由于这个集群目前仍在线上读写,本文从原理和实践的角度探索对HBase集群数据的在线迁移的方案,欢迎大家补充。

什么我的项目Debug运行没问题,编译成Release包就报错?

6 月 12 日
阅读 5 分钟
425
在Android开发中,debug包和release包的行为差异可能导致release包在运行时出现问题,而这些问题在debug包中不会出现。 本文主要介绍debug包和release包的差异,导致此问题出现的可能原因及解决办法。

奇怪!应用的日志呢??

6 月 11 日
阅读 12 分钟
349
问题背景是在进行中台应用中间件迁移过程中,发现存在项目启动失败或者项目正常启动(jsf正常挂载并正常运行,mq正常发送和消费)但是无任何日志打印现象。更奇怪的是不打印日志竟然是偶发的,在测试环境中多次部署都未出现项目启动但无日志打印情况,而且玄学的是生产环境两台机器,其中一台正常日志打印,另一台无任何...

没时间了解技术热点?让大模型帮你整理重点吧!

6 月 11 日
阅读 8 分钟
352
AI给出的第一条是“知识与学习”。学习的方式有很多种,对笔者而言了解新技术和新热点是保持职业热爱很重要的方式。完成日常工作是保证物质基础,人终究还是想追求一些精神价值😂。

ClickHouse内幕(3)基于索引的查询优化

6 月 11 日
阅读 8 分钟
389
ClickHouse索引采用唯一聚簇索引的方式,即Part内数据按照order by keys有序,在整个查询计划中,如果算子能够有效利用输入数据的有序性,对算子的执行性能将有巨大的提升。本文讨论ClickHouse基于索引的查询算子优化方式。

从缺陷到创新:质量保障的新视角

6 月 7 日
阅读 4 分钟
362
最近一段时间研发大佬们在积极的治理告警,经过一段时间的治理,现在告警情况已经有了很大的改观,但难免还有漏网之鱼;具体我们可以以下边一个例子来看: 这是一个生产的UMP告警,通过这个告警我们发现XXX这个应用的堆内存使用率为90.18%,超过了设置的告警阈值85%,所以产生了这样的一个告警;那什么是堆内存呢?

ClickHouse内幕(1)数据存储与过滤机制

6 月 7 日
阅读 6 分钟
409
本文主要讲述ClickHouse中的数据存储结构,包括文件组织结构和索引结构,以及建立在其基础上的数据过滤机制,从Part裁剪到Mark裁剪,最后到基于SIMD的行过滤机制。

ClickHouse内幕(2)基础数据结构

6 月 7 日
阅读 5 分钟
379
ClickHouse以性能好被大家所熟知,而一个数据库的性能优化是一个庞大的系统性工程。本文着眼于ClickHouse内部的基础数据结构,以揭露ClickHouse性能优化的冰山一角。在软件工程中并不是所有的执行路径都需要优化,只有关键执行路径才需要花费大力气进行优化。对于数据库领域来说关键执行路径,一句话就可以概括,一个查...

Junit4遇上chatGPT

6 月 6 日
阅读 9 分钟
638
本教程会教你写一个简单的junit4的Rule,该Rule在基于junit4的测试方法失败后,自动向GPT发送错误信息并通过GPT分析得出代码修改建议。

大模型在推荐系统中的精准推荐策略与实践

6 月 6 日
阅读 4 分钟
641
推荐系统在现代互联网应用中占据了极其重要的位置。无论是电商平台、社交媒体、音乐和视频流媒体服务,还是新闻和内容推荐系统,推荐系统都在提高用户体验和平台收益方面发挥着关键作用。近年来,随着人工智能和机器学习技术的迅猛发展,大模型(如GPT-4、BERT等)因其强大的特征表示和推理能力,逐渐在推荐系统中崭露头...