text

----------------------------- # TensorFlow Text - Tensorflow 中的文本处理 重要提示： 使用 pip install 安装 TF Text 时，请注意您运行的 TensorFlow 版本，因为您应该指定相应的 TF Text 子版本（例如，对于 tensorflow==2.3.x 使用 tensorflow_text==2.3.x）。

INDEX

• 简介
• 文档
• Unicode
• 正则化
• 分词
  • 空格分词器
  • UnicodeScript 分词器
  • Unicode 分词
  • 偏移量
  • TF.Data 示例
  • Keras API
• 其他文本操作
  • 单词形状
  • N-grams 和滑动窗口
• 安装
  • 使用 PIP 安装
  • 从源代码构建步骤

TensorFlow Text 提供了一系列与文本相关的类和操作，可与 TensorFlow 2.0 一起使用。该库可以执行文本模型所需的常规预处理，并包含其他有用的序列建模功能，这些功能并未由核心 TensorFlow 提供。在文本预处理中使用这些操作的优势在于，它们是在 TensorFlow 图中执行的。您无需担心训练时的词汇化与推理时的词汇化不同，或管理预处理脚本。

请访问 http://tensorflow.org/text 查看所有文档。该网站包括 API 文档、使用 TensorFlow Text 的指南，以及构建特定模型的教程。