一文学习torchtext库

​

TorchText 是 PyTorch 的一个自然语言处理库，提供了一些方便易用的工具来帮助我们预处理和处理文本数据。它可以用于构建文本分类、机器翻译、情感分析等各种自然语言处理模型。

使用 TorchText 可以简化文本数据的处理过程，避免重复编写代码和手动实现数据预处理过程，让我们更加专注于模型的设计与调试。

下面将介绍 TorchText 中的几个核心概念和常见操作，并给出相应的案例说明。

Field
Field 是 TorchText 中最基本的数据类型之一，对应着一种数据类型在文本中的表现形式。比如，我们可以使用 Field 来定义一个文本序列数据类型，用来表示样本中的文本数据。

from torchtext.legacy.data import Field

定义一个 Field 对象来表示文本序列数据类型

text_field = Field(sequential=True, tokenize='basic_english')
上面的代码中，我们首先从 TorchText 库中导入了 Field 类，然后使用 Field() 函数创建了一个名为 text_field 的 Field 对象，它具有以下两个属性：

sequential=True：表示该 Field 对象对应的是一个序列化的数据类型，例如文本序列。
tokenize='basic_english'：表示使用基本的英文分词器对文本进行分词处理。
Dataset
Dataset 是 TorchText 中表示数据集的类，它由多个 Example 对象组成，每个 Example 包含一个或多个 Field 类型的数据。我们可以使用 TabularDataset 类来创建一个 Dataset。

from torchtext.legacy.data import TabularDataset

定义一个 TabularDataset 对象来表示数据集

data = TabularDataset(

path='data.csv', format='csv',
fields=[('text', text_field), ('label', label_field)]

)
上面的代码中，我们首先从 TorchText 库中导入了 TabularDataset 类，然后使用 TabularDataset() 函数创建一个名为 data 的 TabularDataset 对象，它包含以下三个参数：

path='data.csv'：表示数据集所在的文件路径。
format='csv'：表示数据集的格式，这里采用 CSV 格式。
fields=[('text', text_field), ('label', label_field)]：表示数据集中每一条样本所包含的字段及其对应的 Field 对象。例如，(‘text’, text_field) 表示该样本中的文本数据对应着 text_field 所定义的文本序列数据类型；(‘label’, label_field) 表示该样本中的标签数据对应着 label_field 所定义的标签数据类型。
Vocabulary
Vocabulary 是 TorchText 中表示词汇表的类，它将文本数据中出现过的所有单词映射到一个唯一的整数值。我们可以使用 build_vocab 函数来构建一个 Vocabulary 对象。

构建词汇表

text_field.build_vocab(data)
上面的代码中，我们使用 build_vocab() 函数来创建了一个 text_field 所对应的 Vocabulary 对象。这个函数会遍历整个数据集，并将每个单词都添加到词汇表中。通过这个词汇表，我们可以将文本数据中的每个单词映射到一个唯一的整数值。

Iterator
Iterator 是 TorchText 中用于分批次训练模型的类，它可以将数据集按照指定的 batch_size 进行分批次处理，并返回一个迭代器对象。我们可以使用 BucketIterator 类来创建一个 Iterator。

from torchtext.legacy.data import BucketIterator

创建 Iterator 对象

train_iterator = BucketIterator(

train_data, batch_size=32,
sort_within_batch=True,
sort_key=lambda x: len(x.text)

上面的代码中，我们首先从 TorchText 库中导入了 BucketIterator 类，然后使用 BucketIterator() 函数创建了一个名为 train_iterator 的 Iterator 对象，它包含以下几个参数：

• train_data：表示要处理的数据集。
• batch_size=32：表示每个 batch 包含的样本数。
• sort_within_batch=True：表示在同一个 batch 中按照文本长度重新排序。
• sort_key=lambda x: len(x.text)：表示按照文本序列的长度进行排序。

示例
下面给出一个简单的示例，介绍如何使用 TorchText 进行文本分类任务。假设我们有一个包含电影评论和情感标签的数据集，我们的目标是根据评论内容预测情感标签。数据集的格式如下：
 

text,label "This movie is great!",positive "I don't like this movie.",negative ...

首先导入必要的库并定义 Field 对象：

import torch
from torchtext.legacy.data import Field, TabularDataset, BucketIterator

定义 Field 对象

TEXT = Field(sequential=True, tokenize='spacy', lower=True)
LABEL = Field(sequential=False, use_vocab=False)

加载数据集

train_data, test_data = TabularDataset.splits(

path='data', train='train.csv', test='test.csv',
format='csv', fields=[('text', TEXT), ('label', LABEL)]

)

构建词汇表

TEXT.build_vocab(train_data)

创建 Iterator 对象

train_iterator, test_iterator = BucketIterator.splits(

(train_data, test_data), batch_size=32,
sort_within_batch=True, sort_key=lambda x: len(x.text)

)
在上面的代码中，我们首先定义了 TEXT 和 LABEL 两个 Field 对象，用来表示文本序列和标签数据。接着使用 TabularDataset.splits() 函数加载数据集，并将其划分为训练集和测试集。然后构建了词汇表，并使用 BucketIterator.splits() 函数创建了训练集和测试集的迭代器对象。

接下来定义模型并进行训练：

import torch.nn as nn
import torch.optim as optim

class TextClassifier(nn.Module):

def __init__(self, vocab_size, embedding_dim, hidden_dim, output_dim):
    super().__init__()
    self.embedding = nn.Embedding(vocab_size, embedding_dim)
    self.rnn = nn.LSTM(embedding_dim, hidden_dim, bidirectional=True, num_layers=2)
    self.fc = nn.Linear(hidden_dim*2, output_dim)
    self.dropout = nn.Dropout(0.5)
    
def forward(self, text):
    embedded = self.dropout(self.embedding(text))
    outputs, _ = self.rnn(embedded)
    representation = torch.cat([outputs[-1,:,:hidden_dim], outputs[0,:,hidden_dim:]], dim=-1)
    return self.fc(representation)

model = TextClassifier(len(TEXT.vocab), 100, 256, 2)
optimizer = optim.Adam(model.parameters())
criterion = nn.CrossEntropyLoss()

model.train()
for epoch in range(10):

for batch in train_iterator:
    optimizer.zero_grad()
    text, label = batch.text, batch.label
    output = model(text)
    loss = criterion(output, label)
    loss.backward()
    optimizer.step()

model.eval()
with torch.no_grad():

correct = 0
total = 0
for batch in test_iterator:
    text, label = batch.text, batch.label
    output = model(text)
    predictions = torch.argmax(output, dim=1)
    correct += (predictions == label).sum().item()
    total += len(label)

accuracy = correct / total
print(f"Test accuracy: {accuracy}")
在上面的代码中，我们定义了一个名为 TextClassifier 的模型类，并使用 LSTM 层对文本序列进行编码。然后使用 Adam 优化器和交叉熵损失函数进行训练。最后在测试集上计算模型准确率。

以上就是 TorchText 库的介绍及示例。通过 TorchText，

我们可以更加方便地进行文本数据的处理和建模，简化代码量，提高效率。同时 TorchText 也提供了一些其他的功能，例如支持多语言分词器、自定义数据集格式等，使其具有更广泛的适用性。

除了上述介绍的概念和操作外，TorchText 还包含了一些其他功能和工具，例如：

torchtext.datasets 模块：提供了一些标准的文本数据集，例如 IMDB 数据集、AG News 数据集等。
torchtext.vocab 模块：提供了一些常用的词汇表，例如 GLoVe 词向量等。
torchtext.utils 模块：提供了一些实用工具，例如打印迭代器中的数据等。
总的来说，TorchText 是一个非常实用的自然语言处理库，它可以帮助我们更加高效地构建各种文本处理模型。

​

本文由mdnice多平台发布