DocArray x Weaviate | 打造高效的云端数据存储

Weaviate 作为 DocArray 中的 Document Store，可以使得 Document 在云端的处理和检索更加迅速。

DocArray & Weaviate 大起底

DocArray: Data structure for unstructured data

DocArray 是一种可扩展数据结构，完美适配深度学习任务，主要用于嵌套及非结构化数据的传输， 支持的数据类型包括文本、图像、音频、视频、3D mesh 等。

与其他数据结构相比：

✅ 表示完全支持，✔ 表示部分支持，❌ 表示不支持

利用 DocArray，深度学习工程师可以借助 Pythonic API，有效地处理、嵌入、搜索、推荐、存储和传输数据。

Weaviate：开源的向量搜索引擎

Weaviate 是一个开源的向量搜索引擎，可以同时存储对象和向量，将向量搜索和结构化过滤 (structured filtering) 相结合， 从而创建一个稳健、故障容许 (fault-tolerant) 的搜索引擎。

同时，Weaviate 还提供开箱即用的云存储基础设施--Weaviate 集群服务 (Weaviate Cluster Service)。

Jina + Weaviate=？

💥 Jina + Weaviate，能碰撞出怎样的火花？

通过 Weaviate 创建云存储实例的方法包括两种：

• 本地启动 Weaviate 实例
• 创建 Weaviate 云服务实例

1、本地启动 Weaviate 实例

想要在后端使用 Weaviate 存储服务，需要启动一个全新的 Weaviate 实例。可以通过创建 docker-compose.yml 实现，具体如下：

---
version: '3.4'
services:
  weaviate:
    command:
      - --host
      - 0.0.0.0
      - --port
      - '8080'
      - --scheme
      - http
    image: semitechnologies/weaviate:1.11.0
    ports:
      - "8080:8080"
    restart: on-failure:0
    environment:
      QUERY_DEFAULTS_LIMIT: 25
      AUTHENTICATION_ANONYMOUS_ACCESS_ENABLED: 'true'
      PERSISTENCE_DATA_PATH: '/var/lib/weaviate'
      DEFAULT_VECTORIZER_MODULE: 'none'
      ENABLE_MODULES: ''
      CLUSTER_HOSTNAME: 'node1'
...

创建成功后，就可以运行 docker compose 启动实例。

2、创建 Weaviate 云服务实例

你可以借助 Weaviate 云服务 (Weaviate Cloud Service) 免费创建 Weaviate 实例。

注册并创建新实例请访问 Here。

观看本视频，手把手教你创建 Weaviate 实例。

入门级教程演示

学习本教程，你将了解：

• 创建 Weaviate 本地实例，存储 Document
• 创建一个简单的文本搜索系统

1、启动 Weaviate 服务，并创建一个 DocumentArray 数组实例

from docarray import DocumentArray

da = DocumentArray(
    storage="weaviate", config={"name": "Persisted", "host": "localhost", "port": 8080}
)

2、索引 Documents

da.extend(
    [
        Document(text="Persist Documents with Weaviate."),
        Document(text="And enjoy fast nearest neighbor search."),
        Document(text="All while using DocArray API."),
    ]
)

3、用 BERT 模型生成向量

from transformers import AutoModel, AutoTokenizer

tokenizer = AutoTokenizer.from_pretrained("bert-base-uncased")
model = AutoModel.from_pretrained("bert-base-uncased")

def collate_fn(da):
    return tokenizer(da.texts, return_tensors="pt", truncation=True, padding=True)

da.embed(model, collate_fn=collate_fn)

4、查询索引 Documents 并得到结果

results = da.find(
    DocumentArray([Document(text="How to persist Documents")]).embed(
        model, collate_fn=collate_fn
    ),
    limit=1,
)
print(results[0].text)

Output:Persist Documents with Weaviate.

两大神器打造H&M以图搜图系统

整合 DocArray 和 Weaviate，可以更轻松地搭建一个以图搜图的系统。

GitHub Repo 详见：Here

DocArray 与向量数据库 Qdrant，又能擦出怎样的火花？关注我们，答案下期揭晓！

相关链接：

GitHub Repo

DocArray Documentation

Jina's Learning Bootcamp

Weaviate's Documentation