مجموعات البيانات

مدوّنة عربية خاصة تضم 2 تريليون رمز، وهي أكبر مجموعة بيانات نظيفة بُنيت خصيصًا للتدريب المسبق لنماذج اللغة العربية الكبيرة. تقوم عليها النماذج الأساسية لـ Kawn Lab وهي غير منشورة للعموم.

أكثر من 35 مليار رمز عربي منسّق ومنشور للعموم، ينمو بانتظام، ليتمكن باحثون آخرون من البناء على نفس قاعدة البيانات بدلًا من البدء من الصفر.

مسار عمل مفتوح لبناء مدوّنات عربية متعددة الوسائط ومنظمة على نطاق واسع من Common Crawl، مع الحفاظ على بنية المستند بصيغة Markdown بدلًا من تسطيحها إلى ضوضاء.

مجموعة بيانات عربية متعددة الوسائط وواسعة النطاق أُنشئت بمسار Wasm، مستخرَجة ومُصفّاة من نسخ Common Crawl. وتحافظ على سلامة بنية محتوى الويب على نحو فريد عبر إخراج صيغة Markdown، معالِجةً نقص البيانات المنظمة متعددة الوسائط عالية الجودة للعربية.

مجموعة بيانات نصية عربية واسعة النطاق تضم 4,758,338 صفًا، مترجمة من SlimPajama-627B للتدريب المسبق لنماذج اللغة العربية. ويحتفظ كل مُدخَل بمعرّفه الفريد من المصدر الأصلي.

مدوّنة عربية مُشكَّلة واسعة وعالية الجودة لتدريب نماذج التشكيل العربي وتقييمها. بُني قسم التدريب من نسخة منقّحة من مدوّنة Tashkeela، وقسم الاختبار نسخة محسّنة من مجموعة اختبار Fadel Tashkeela.

مجموعة بيانات عربية متعددة الوسائط وواسعة النطاق تضم 100 مليون وصف عربي للصور، أُنتجت بنموذج الترجمة «مترجم». وُجدت لسدّ الفجوة في الموارد العربية متعددة الوسائط بما يتيح تدريب أنظمة رؤية ولغة عربية أصلًا.

نسخة مراجَعة ومصحَّحة من مجموعة KITAB-Bench الفرعية لتحويل PDF إلى Markdown، لتقييم التعرّف الضوئي على المستندات العربية. صُحِّحت أخطاء المرجع الصحيح، من نصوص مهلوسة وأرقام صفحات مفقودة ونصوص صغيرة الخط محذوفة، ووُحِّدت الصياغة، مع الإبقاء على المهمة والمخطط الأصليين لتظل مجموعة تقييم جاهزة للاستبدال المباشر.