重要提示

您正在查看 NeMo 2.0 文档。此版本引入了对 API 的重大更改和一个新的库 NeMo Run。我们目前正在将 NeMo 1.0 的所有功能移植到 2.0。有关先前版本或 2.0 中尚不可用的功能的文档，请参阅 NeMo 24.07 文档。

语言识别和 Unicode 修复

背景

大型未标记文本语料库通常包含多种语言。但是，数据策展通常包括特定于语言的步骤（例如，使用针对语言调整的启发式方法进行质量过滤），并且许多策展人只对策展单语数据集感兴趣。

NeMo Curator 提供了使用 fastText 识别语言的实用程序。即使在未提取的文本上可能已经执行了初步的语言识别（就像我们在 Common Crawl 管道中使用 pyCLD2 的情况一样），fastText 也更准确，因此可以用于第二次通过。

用法

我们提供了一个示例，说明如何在 examples/identify_languages.py 中使用语言识别和 unicode 重新格式化实用程序。在较高层面上，该模块首先识别文档的语言，并删除任何对其语言具有高度不确定性的文档。

相关脚本

为了执行语言识别，我们可以使用 config 目录中提供的配置文件，并提供 lid.176.bin 语言识别 fastText 模型的本地副本的路径。然后，使用通用的 filter_documents 工具，我们可以计算语料库中每个文档的语言分数和代码，如下所示

filter_documents \
  --input-data-dir=<Path to directory containing jsonl files> \
  --filter-config-file=./config/fasttext_langid.yaml \
  --log-scores \
  --log-dir=./log/lang_id

这将应用 fastText 模型，计算分数并获取语言类别，然后将此信息作为附加键写入每个 json 文档中。

在每个 json 的键中存在语言信息的情况下，separate_by_metadata 将首先构建语料库中按语言划分的文档计数，然后根据该信息，跨文件中所有语言拆分每个文件。以下是 separate_by_metadata 的示例运行命令

separate_by_metadata \
 --input-data-dir=<Path to the input directory containing jsonl files> \
 --input-metadata-field=language \
 --output-data-dir=<Output directory containing language sub-directories> \
 --output-metadata-distribution=./data/lang_distro.json

运行此模块后，输出目录将由语料库中存在的每种语言一个目录组成，并且这些目录中的所有文档都将包含源自同一种语言的文本。