Bilingual Net

الترجمة بين الإنجليزية ↔ الدارجة

الذكاء الاصطناعي التوليدي · أبريل 2025 · مكتمل

مترجم عصبي مبني من الصفر بين الإنجليزية والدارجة المغربية.

5 استراتيجيات فك ترميز

التقنياتPyTorchHugging Face TransformersStreamlitPoetry

عرض الكود على GitHub مشاهدة العرض التوضيحي

نظرة عامة

يتحدث الدارجة المغربية ملايين الناس، لكن النصوص المتوازية المتاحة لها قليلة جدًا، لذا تتعامل معها معظم أدوات الترجمة بشكل سيئ. أردت معرفة ما إذا كان محوّل (Transformer) كتبته بنفسي من البداية إلى النهاية قادرًا على تعلم ترجمات قابلة للاستخدام من مدوّنة (corpus) إنجليزية–دارجة صغيرة.

بنيت BIALinguaNet في PyTorch: محوّل مُرمِّز–مُفكِّك كامل مع كتل انتباه متبقية pre-LayerNorm، ودالة خسارة بتنعيم التسميات (label smoothing)، ومُفكِّك يدعم درجة الحرارة وtop-k وtop-p وبحث الحزمة (beam search) وتطبيع الطول. درّبت نقطة حفظ لكل اتجاه (من الدارجة إلى الإنجليزية ومن الإنجليزية إلى الدارجة) وجمعتهما في تطبيق Streamlit يعرض فرضيات الترجمة مرتبة.

كتابة كل جزء بنفسي — التقنيع وتجميع الدفعات وفك الترميز — أظهرت لي كم أن جودة الخرج النهائي تأتي من خيارات فك الترميز لا من الشبكة وحدها، خصوصًا مع لغة قليلة الموارد.

السؤال

هل يستطيع محوّل seq2seq مبني من الصفر الترجمة بين الإنجليزية والدارجة المغربية، وهي لهجة قليلة الموارد، بجودة قابلة للاستخدام؟

أهم الميزات

يترجم في الاتجاهين، بنقطة حفظ مدرَّبة منفصلة من الدارجة إلى الإنجليزية ومن الإنجليزية إلى الدارجة.
محوّل مُرمِّز–مُفكِّك مكتوب من الصفر، بانتباه متعدد الرؤوس متبقٍّ يعمل انتباهًا ذاتيًا وانتباهًا متقاطعًا في آن واحد.
فك الترميز قابل للضبط وقت الاستدلال: درجة الحرارة، وtop-k، وtop-p، وحجم الحزمة، ومعامل تطبيع الطول.
يعيد عدة فرضيات بديلة مع درجاتها بدل إجابة واحدة.
واجهة Streamlit للترجمة في الزمن الحقيقي تعرض المُدخل بجانب المُخرج.
سكريبتان منفصلان للتدريب والضبط الدقيق، مع تبعيات تديرها Poetry.

كيف يعمل

التقطيع وتجميع الدفعات
تُقطَّع أزواج الجمل بمُقطِّع GPT-2 موسّع برموز حشو وبداية ونهاية. تُجمَّع الدفعات حسب طول التسلسل ضمن ميزانية رموز ثابتة حتى لا يُهدر إلا القليل من الحساب على الحشو.
ترميز المصدر
يطبّق المُرمِّز كتل انتباه ذاتي وطبقات أمامية متبقية pre-LayerNorm على الجملة المصدر، مع تقنيع مواضع الحشو.
فك الترميز بالانتباه المتقاطع
يطبّق المُفكِّك انتباهًا ذاتيًا مقنّعًا سببيًا، ثم انتباهًا متقاطعًا على خرج المُرمِّز. وتتشارك تضمينات رموزه وإسقاط خرجه الأوزان مع تضمين المُرمِّز.
التدريب بتنعيم التسميات
يستخدم التدريب دالة خسارة إنتروبيا متقاطعة بتنعيم التسميات، ومحسّن Adam مع جدولة معدل تعلم بإحماء، وقصّ التدرّج.
البحث عن أفضل ترجمة
وقت الاستدلال، ينتج بحث الحزمة مقترنًا بمعاينة top-k/top-p وتطبيع الطول فرضيات مرتبة، وتُعرض الأفضل أولًا.