OpenAIは、大規模言語モデル(LLM)の多言語能力を包括的に評価するための新しいデータセット「Multilingual Massive Multitask Language Understanding (MMMLU)」をHugging Faceで公開しました。このデータセットは、多様な言語、認知、文化的背景にわたる LLMの能力を測定するために設計されています。MMMLUは、一般知識から高度な専門知識まで幅広いトピックをカバーする質問で構成されており、単なる事実の暗記だけでなく、批判的思考や問題解決能力も評価します。特筆すべきは、英語以外の言語、特にNLP研究で過小評価されがちな言語も含まれていることです。このデータセットの公開は、AIの公平性と包括性を促進するOpenAIの取り組みを反映しています。研究者や開発者は、MMMLUを使用して自社のモデルを多言語環境で評価し、言語や文化の偏りを特定・改善できるようになります。OpenAIのこの取り組みは、NLP研究の未来に大きな影響を与えると予想されます。多言語・多タスクのデータセットにより、より多様で公平なAIシステムの開発が促進されるでしょう。また、これまで見落とされがちだった言語や文化に対するAIの能力向上にもつながると期待されています。MMMLUの公開は、AIの進歩における重要なマイルストーンとなり、より包括的で公平な言語モデルの開発に向けた大きな一歩となるでしょう。ーーー引用元：https://www.marktechpost.com/2024/09/23/openai-releases-multilingual-massive-multitask-language-understanding-mmmlu-dataset-on-hugging-face-to-easily-evaluate-multilingual-llms/