milvus 中的 coord 后缀和 node 后缀有什么区别? 相关文档说明在哪里?

coord 是一个进程

node 也是一个进程

图片.png

比如一个 datanode 要接受来自外部的写入,写入都需要经过 datacoord 转发给 datanode 吗?

相关文档:https://milvus.io/docs/four_layers.md


Q:milvus 的 coord 和 node 是什么关系?

比如一个 datanode 要接受来自外部的写入,写入都需要经过 datacoord 转发给 datanode 吗?

A:在 Milvus 中,coord和node是指不同的组件。coord是协调节点,主要负责协调集群中不同组件之间的通信,例如indexcoord、datacoord和querycoord之间的协调。而node是数据节点,主要负责存储和管理数据。

在 Milvus 中,数据写入操作需要先通过datacoord进行转发,然后由具体的datanode进行接收和处理。datacoord负责管理数据的划分和分配,决定哪个datanode应该接收哪些数据,并且把写入请求发送给相应的datanode,最终实现数据的写入。因此,在进行数据写入时,数据需要经过datacoord的转发,然后由相应的datanode进行接收和处理。

kafka或者pulsar在 Milvus 中主要作为消息队列,用于数据的异步写入。在数据写入时,Milvus首先将写入请求发送给pulsar或者kafka,然后再通过datacoord转发给相应的datanode进行接收和处理。通过这种方式,Milvus实现了数据的异步写入,提高了数据写入的效率和吞吐量。

Q:milvus 的 coord 是单点的吗?

比如对于 datacoord 和 datanode,datanode 可以有多个,datacoord也可以有多个吗?

A:在 Milvus 中,每个 Coord 节点都是单点的,也就是每个 Coord 只有一个实例在运行。但是,每个 Coord 类型的节点都可以有多个实例,以提高系统的可用性和性能。

在 Milvus 2.x 中,可以有多个 DataCoord 实例和多个 IndexCoord 实例来提高系统的可用性和性能。多个 DataCoord 实例共同负责写入数据,并通过互相之间的协调来保证数据一致性。多个 IndexCoord 实例共同负责管理索引,并通过互相之间的协调来保证索引一致性。

对于 QueryCoord,它是作为查询的入口节点,每个查询请求都需要经过 QueryCoord 进行路由和调度。目前 Milvus 中只支持一个 QueryCoord 实例。


milvus2.x 的 Coord 支持 HA 吗?怎么实现的?用的什么方案?

貌似是主备?为什么要用主备而不是副本?这套主备是怎么工作的?master 工作,master 挂了,slave 顶上去吗?master 工作的时候,slave 只能闲置看戏?如果 master 挂了,slave 要多久才能顶上去? (意思就是如何实现 slave 发现 master 挂了的,并且提升自己?)要多久?一纳秒?一毫秒?一秒钟?或者一分钟 slave 才能顶上去吗?


python后端实战经验分享
Python来自荷兰,面向未来

Python 后端工程师可加:企鹅群:537131912

2.5k 声望
588 粉丝
0 条评论
推荐阅读
elasticsearch7.x 的 python sdk,如何指定自定义的分词器查看分词后的结果
在Elasticsearch 7.x的Python SDK中,可以使用analyze API来查看分词后的结果,并指定自定义的分词器。下面是一个示例代码:

ponponon

艾瑞巴蒂看过来!OSSChat 上线:融合 CVP,试用通道已开放
还在纠结于反复查找开源项目的技术文档?团队常因频繁搜索开源项目主页导致效率低下?每天都要问一遍【开源项目中那些“小白问题”究竟有没有更快的解决方法?】

Zilliz阅读 697

milvus2.x 如何实现水平扩展?需要重启 master 节点或者其他什么节点吗?有什么注意事项?
Milvus 2.x 支持水平扩展,可以通过添加新的 DataNode 和 IndexNode 来实现。具体步骤如下:启动新的 DataNode 和 IndexNode,确保它们与现有节点的配置相同,包括 CPU、内存、存储等。将新节点的 IP 和端口添加...

ponponon阅读 413

重磅消息!ChatGPT 联网,Milvus & Zilliz 正式嵌入用于向量检索!
自 NVIDIA GTC Keynote 被黄老板点名后,Zilliz 又加入“大网红 OpenAI ”的朋友圈——作为首批受邀合作伙伴,向 ChatGPT 贡献了向量数据库插件,打通了知识召回与大型语言模型之间的桥梁!

Zilliz阅读 396

YOWOv2:优秀的实时视频动作检测框架
为时空动作检测任务设计实时框架仍然是一个挑战。YOWOv2 提出了一种新颖的实时动作检测框架,利用三维骨干和二维骨干进行准确的动作检测。经过改进,YOWOv2 明显优于Y OWO,并且仍然可以保持实时检测。YOWOv2 在...

Zilliz阅读 356

封面图
聊点不一样的|Be a Serendipper:Woman VS Man
可以理解为:做一个善于发现美好事物的人,找到属于你自己的那些美好。每个人的生活中都有 Serendipity,有时能被我们一眼看到,有时又会藏在某个角落,等待被我们发现。这个三八节,我们想聊聊专属女性的 Serend...

Zilliz阅读 344

封面图

Python 后端工程师可加:企鹅群:537131912

2.5k 声望
588 粉丝
宣传栏