doccano，一个神奇的 Python 库！

大家好，我是涛哥，本文内容来自 涛哥聊Python ，转载请标原创。

更多Python学习内容：http://ipengtao.com

今天为大家分享一个神奇的 Python 库 - doccano。

Github地址：https://github.com/doccano/doccano

---

在自然语言处理（NLP）项目中，数据标注是非常重要的一步。高质量的标注数据是训练和评估机器学习模型的基础。doccano 是一个开源的文本标注工具，支持多种标注任务，如文本分类、序列标注和实体识别。本文将详细介绍 doccano 库，包括其安装方法、主要特性、基本和高级功能，以及实际应用场景，帮助全面了解并掌握该库的使用。

安装

要使用 doccano，可以通过 Docker 或直接从源码安装。

以下是安装步骤：

使用 Docker 安装

docker pull doccano/doccano
docker run -d --name doccano -p 8000:8000 doccano/doccano

安装完成后，可以通过访问 http://localhost:8000 来验证是否安装成功。

从源码安装

git clone https://github.com/doccano/doccano.git
cd doccano
pip install -r requirements.txt
python manage.py migrate
python manage.py createsuperuser
python manage.py runserver

同样，可以通过访问 http://localhost:8000 来验证是否安装成功。

特性

1. 多种标注任务：支持文本分类、序列标注、实体识别等多种标注任务。
2. 用户友好的界面：提供直观、易用的 Web 界面，简化标注过程。
3. 多用户支持：支持多个用户同时标注，适合团队合作。
4. 可定制性强：支持自定义标注标签和任务配置。
5. 数据导入导出：支持从多种格式导入和导出数据，方便数据的管理和使用。

基本功能

创建项目

在 doccano 中，首先需要创建一个项目。

import requests

# 登录获取 token
response = requests.post('http://localhost:8000/v1/auth-token/', data={'username': 'admin', 'password': 'password'})
token = response.json()['token']

# 创建项目
headers = {'Authorization': f'Token {token}'}
data = {'name': '文本分类项目', 'description': '这是一个文本分类项目', 'project_type': 'TextClassification'}
response = requests.post('http://localhost:8000/v1/projects/', headers=headers, data=data)
print(response.json())

导入数据

创建项目后，可以导入需要标注的数据。

import requests

# 获取项目 ID
project_id = 1

# 导入数据
headers = {'Authorization': f'Token {token}'}
files = {'file': open('data.json', 'rb')}
response = requests.post(f'http://localhost:8000/v1/projects/{project_id}/docs/upload/', headers=headers, files=files)
print(response.json())

添加标注标签

在进行标注之前，需要为项目添加标注标签。

import requests

# 添加标注标签
headers = {'Authorization': f'Token {token}'}
data = {'text': '正面', 'project': project_id}
response = requests.post(f'http://localhost:8000/v1/projects/{project_id}/labels/', headers=headers, data=data)
print(response.json())

获取标注数据

完成标注后，可以导出标注数据。

import requests

# 导出标注数据
headers = {'Authorization': f'Token {token}'}
response = requests.get(f'http://localhost:8000/v1/projects/{project_id}/docs/download/', headers=headers)
with open('annotations.json', 'wb') as f:
    f.write(response.content)
print("标注数据已导出")

高级功能

多用户协作

doccano 支持多用户协作，可以为项目添加多个标注人员。

import requests

# 添加用户
headers = {'Authorization': f'Token {token}'}
data = {'username': 'user1', 'password': 'password', 'email': '[e-mail]'}
response = requests.post('http://localhost:8000/v1/users/', headers=headers, data=data)
print(response.json())

# 将用户添加到项目中
user_id = response.json()['id']
data = {'user': user_id, 'role': 'annotator'}
response = requests.post(f'http://localhost:8000/v1/projects/{project_id}/roles/', headers=headers, data=data)
print(response.json())

自定义标注界面

doccano 允许用户自定义标注界面，满足不同项目的需求。可以通过修改前端代码来实现这一点。

// 在 doccano 前端代码中修改标注界面
const customAnnotationInterface = {
  // 自定义标注界面的逻辑和样式
};

使用 API 自动化标注

可以使用 doccano 的 API 接口进行自动化标注。

import requests

# 自动化标注
headers = {'Authorization': f'Token {token}'}
data = {'label': 1, 'example': 1, 'user': 1}
response = requests.post(f'http://localhost:8000/v1/projects/{project_id}/annotations/', headers=headers, data=data)
print(response.json())

实际应用场景

情感分析数据标注

在情感分析项目中，需要对大量文本进行情感分类标注。

import requests

# 创建情感分析项目
headers = {'Authorization': f'Token {token}'}
data = {'name': '情感分析项目', 'description': '这是一个情感分析项目', 'project_type': 'TextClassification'}
response = requests.post('http://localhost:8000/v1/projects/', headers=headers, data=data)
project_id = response.json()['id']

# 添加情感分类标签
labels = ['正面', '中性', '负面']
for label in labels:
    data = {'text': label, 'project': project_id}
    response = requests.post(f'http://localhost:8000/v1/projects/{project_id}/labels/', headers=headers, data=data)
    print(response.json())

# 导入待标注数据
files = {'file': open('sentiment_data.json', 'rb')}
response = requests.post(f'http://localhost:8000/v1/projects/{project_id}/docs/upload/', headers=headers, files=files)
print(response.json())

实体识别数据标注

在实体识别项目中，需要对文本中的实体进行标注。

import requests

# 创建实体识别项目
headers = {'Authorization': f'Token {token}'}
data = {'name': '实体识别项目', 'description': '这是一个实体识别项目', 'project_type': 'SequenceLabeling'}
response = requests.post('http://localhost:8000/v1/projects/', headers=headers, data=data)
project_id = response.json()['id']

# 添加实体标签
labels = ['人名', '地名', '机构名']
for label in labels:
    data = {'text': label, 'project': project_id}
    response = requests.post(f'http://localhost:8000/v1/projects/{project_id}/labels/', headers=headers, data=data)
    print(response.json())

# 导入待标注数据
files = {'file': open('ner_data.json', 'rb')}
response = requests.post(f'http://localhost:8000/v1/projects/{project_id}/docs/upload/', headers=headers, files=files)
print(response.json())

机器翻译数据标注

在机器翻译项目中，需要对翻译结果进行质量评估和标注。

import requests

# 创建机器翻译项目
headers = {'Authorization': f'Token {token}'}
data = {'name': '机器翻译项目', 'description': '这是一个机器翻译项目', 'project_type': 'Translation'}
response = requests.post('http://localhost:8000/v1/projects/', headers=headers, data=data)
project_id = response.json()['id']

# 导入待标注数据
files = {'file': open('translation_data.json', 'rb')}
response = requests.post(f'http://localhost:8000/v1/projects/{project_id}/docs/upload/', headers=headers, files=files)
print(response.json())

总结

doccano 是一个功能强大且易于使用的文本标注工具，能够帮助开发者和研究者高效地进行各种文本标注任务。通过支持多种标注任务、用户友好的界面、多用户协作和灵活的自定义选项，doccano 库能够满足各种复杂的标注需求。本文详细介绍了 doccano 库的安装方法、主要特性、基本和高级功能，以及实际应用场景。希望本文能帮助大家全面掌握 doccano 库的使用，并在实际项目中发挥其优势。