Kuwain 1.5B: An Arabic SLM via Language Injection

المساهمة

يقدّم طريقة جديدة لحقن اللغة لبناء نماذج لغوية عربية صغيرة، تتيح التخصص في العربية مع الحفاظ على قدرات النموذج الأصلي.

الملخص

يُعد إثراء النماذج القائمة بمعرفة جديدة جانبًا محوريًا في تطوير الذكاء الاصطناعي. تقدّم هذه الورقة طريقة مبتكرة لدمج لغة جديدة داخل نموذج لغوي كبير. ينجح منهجنا في إدخال لغة هدف لم يسبق للنموذج التعرّض لها دون الإضرار بمعرفته السابقة. درّبنا نموذجًا صغيرًا بحجم 1.5 مليار معامل باسم كُوين عبر حقن اللغة العربية في نموذج مفتوح المصدر صغير مُدرَّب أساسًا بالإنجليزية. تُظهر الطريقة تحسّنًا ملحوظًا في أداء اللغة العربية، بمعدل تحسّن 8% عبر معايير متنوعة، مع الاحتفاظ بمعرفة النموذج الأصلية باستخدام أقل قدر من بياناته. ويوفّر ذلك بديلًا أقل كلفة عن تدريب نموذج شامل بالإنجليزية والعربية معًا. وتُبرز النتائج إمكانية توسيع النماذج اللغوية بكفاءة وبشكل موجَّه دون إعادة تدريب واسعة أو عمليات كثيفة الموارد.

استشهد بهذه الورقة

@misc{hennara2025kuwain,
  title         = {Kuwain 1.5B: An Arabic SLM via Language Injection},
  author        = {Khalil Hennara and Sara Chrouf and Mohamed Motaism Hamed and Zeina Aldallal and Omar Hadid and Safwan AlModhayan},
  year          = {2025},
  eprint        = {2504.15120},
  archivePrefix = {arXiv},
  primaryClass  = {cs.CL},
  url           = {https://arxiv.org/abs/2504.15120}
}