ملاحظات حول معالجة الدارجة المغربية

الدارجة المغربية يتحدثها أكثر من 30 مليون شخص وتتجاهلها كل أنظمة NLP تقريبًا. العمل على تحليل المشاعر والنسخ بالدارجة كشف مشاكل لا تظهر في اللغات الغنية بالموارد.

لا إملاء معياري

الجملة نفسها موجودة بحروف عربية، وبحروف لاتينية (arabizi بأرقام: «3» و«7» و«9»)، وبأشكال مختلطة — أحيانًا في تعليق واحد. أي معالجة أولية يجب أن توحّد بين الكتابات قبل أي شيء آخر.

التبديل اللغوي هو القاعدة

النص المغربي الحقيقي يتنقل بين الدارجة والعربية الفصحى والفرنسية والإنجليزية داخل الجملة نفسها. كشف اللغة على مستوى الوثيقة عديم الفائدة؛ تحتاج وعيًا على مستوى الكلمة.

ندرة البيانات مشكلة بروتوكول

بدقة ~71٪ في تصنيف مشاعر من 3 أصناف بتعلم آلي كلاسيكي، لم يكن الاختناق النموذج بل اتساق التوسيم. اثنان من الموسومين نادرًا ما يتفقان على السخرية بالدارجة. قبل أي fine-tuning:

• دليل توسيم مكتوب بأمثلة
• قياس الاتفاق بين الموسومين
• مجموعة اختبار مجمدة قبل التجارب

لماذا هذا مهم للبحث

الدارجة مختبر طبيعي لمعالجة اللغات ضائرة الموارد: التعلم بالنقل من الفصحى، محولات اللهجات، تحويل الكلام لنص للغات الشفهية أولًا. وهي أيضًا حيث يلتقي الذكاء الاصطناعي التطبيقي بمستخدميه في المغرب — تمامًا التقاطع الذي أريده لبحث الدكتوراه.