インド言語の大規模事前学習：2.8兆トークンとオープンデータ生成パイプライン
2.8兆トークン規模のインド言語コーパスの構成とアーキテクチャ
NVIDIAは、インド工科大学マドラス校（IIT Madras）のAI研究ラボ「AI4Bharat」と共同で、インドの憲法で公認された22の言語を網羅する約2.8兆トークン規模の事前学習コーパス「Nemotron-pretraining-Indic-v1」を発表しました。このコーパスは、ネイティブスクリプト（固有文字）によるデータ（約2.6兆トークン）と、ラテン文字によるローマ字表記（ロマナイズド）データ（約2246億トークン）の合計34言語・スクリプト構成で成り立っています。
データ構築の基盤となったのは、NVIDIAのオープンソースフレームワーク「NeMo Data Designer」および専用の翻訳・品質評価・修復ワークフローです。ソースドキュメントには「Nemotron-CC-v2」などの多様なWebテキスト、Q&A、数学、コード、専門的コンテンツが活用されており、ドキュメント全体のコンテキスト（数式、表、URL、コードブロックなど）を維持しながら12言語の高度な翻訳と品質管理が行われました。品質評価には多次元品質指標（MQM）に着想を得た基準が採用され、スコア75点以上のデータのみを厳選、低スコアの出力に対してはフィードバック駆動型の修正プロセスを適用することで、約4384億トークン規模のデータをリカバリ・統合しています。
継続事前学習（CPT）による推論・知識ベンチマークの飛躍的向上
公開されたコーパスを用いた継続事前学習（CPT）の有効性は、モデルのベンチマーク性能の向上によって実証されています。例えば、既存モデルの継続事前学習において100億トークン（全体の10%）の合成・自然インド言語混合データを投入したところ、MILU、Indic MMLU-Pro、Indic ARC-Challenge、Indic ARC-Easy、Indic GSM8Kという5つのインド言語知識・推論ベンチマークのすべてにおいて、4.98から9.82パーセンテージポイントのスコア向上が確認されました。
また、フルパイプラインを経て訓練された最新世代モデルは、旧世代と比較して、知識、推論、数学、コード、翻訳の主要なタスクベンチマークの大部分で優位性を示しています。さらに、アシスタントとしての有用性、流暢さ、言語・スクリプトの忠実度、適切な冗長性を評価するオープンベンチマーク「IndiVibe」の4次元すべてにおいて改善が見られ、定量的・定性的な両面でインド言語処理能力が大きく底上げされていることが示されています。
開発者・エンジニア視点での考察
-
再現性とトレーサビリティの確保: 各データレコードが元の英語ソースドキュメントへ完全にトレース可能（プロバンスが明確）であるため、モデルがハルシネーションを起こした際の原因究明や、特定ドメインのフィルタリングポリシー調整が容易に行える設計になっています。
-
GPUアクセラレーションによるデータ生成パイプラインの拡張性: 翻訳、評価、修復、スクリプト変換（例：ベンガル文字経由でのメイテイ・マヨク文字への変換や、サンスクリット語のウィンドウ分割翻訳など）を含む一連のレシピがオープンソース（NeMo Data Designerプラグイン）として公開されており、開発者は自社独自のドキュメントを持ち込んでカスタムの多言語合成データを容易にスケールアウトさせることが可能です。
-
ネイティブ・スクリプトとローマ字表記の二段階アプローチ: インド言語処理において課題となるローマ字表記テキストの生成に対し、英語から直接ローマ字へ変換するのではなく、一度高品質なネイティブスクリプトに翻訳したのちにラテン文字化する二段階手法を採用しています。これにより、ハルシネーションの抑制と英語の混入を防ぐ効果的なテキスト変換パイプラインの構築手法として、他言語のローカライズにも応用できる知見を提供しています。
Source / 元記事
この記事について
この記事は、公開されているニュース、論文、公式発表、RSSフィードなどをもとに、AIが要約・補足調査・考察を行って作成しています。
元記事の完全な翻訳・逐語的な要約ではなく、AIによる背景説明や開発者向けの考察を含みます。
重要な技術仕様・価格・提供状況などは、必ず元記事または公式情報をご確認ください。
