Transformers.js 概述

Transformers.js 是 Python Transformers 库的 JavaScript 版本，专为在网页浏览器中直接运行 Transformers 模型而设计，无需依赖外部服务器处理。该库的最新版本 2.7 引入了文本到语音（TTS）支持，进一步扩展了其应用场景。

文本到语音（TTS）功能

TTS 功能通过将文本转换为自然语音，支持多种语言和说话者。目前，Transformers.js 仅支持基于 Microsoft SpeechT5 的 Xenova/speecht5_tts 模型，使用 ONNX 权重。未来计划增加对 bark 和 MMS 的支持。

开发者可以通过 @xenova/transformers 库中的 pipeline 函数使用 TTS 功能，指定任务为 'text-to-speech'，并选择模型 'Xenova/speecht5_tts'，选项 { quantized: false }。此外，还需要提供包含说话者嵌入的文件链接。

应用 TTS 模型后，输出包括音频数组和采样率，音频数组表示合成的语音，可以在浏览器中直接播放或进一步处理。

应用场景

Transformers.js 支持多种应用场景，包括风格迁移、图像修复、图像着色和超分辨率。其多功能性和定期更新使其成为探索机器学习和网页开发交叉领域的宝贵工具。

功能与模型支持

Transformers.js 旨在与 Hugging Face 的 Python Transformers 库功能等效，用户可以使用相同的预训练模型和类似的 API。该库支持广泛的任务和模型，涵盖自然语言处理、视觉、音频、表格数据、多模态应用和强化学习。支持的任务包括文本分类、摘要、图像分割和对象检测等。

支持的模型架构包括 BERT、GPT-2、T5 和 Vision Transformer (ViT) 等，用户可以根据具体任务选择合适的模型。

社区反馈

社区对 Transformers.js 的发布反应积极。在 Reddit 上，用户 Intrepid-Air6525 表示已使用该库替代 OpenAI 的嵌入模型，并称赞其速度。用户 1EvilSexyGenius 则强调 Hugging Face 通过 Transformers.js 和其优化库致力于民主化语言模型，并希望社区更多关注实际应用而非每日模型发布。

更多信息

感兴趣的读者可以访问 Hugging Face Transformers.js 网站 和 GitHub 仓库 获取更多信息。