HR-Jev
GPT-2 للتنبؤ بنتائج الموارد البشرية
نموذج GPT-2 يقرأ ملفات الموظفين ويتنبأ بأربع نتائج في الموارد البشرية.
- 4 رؤوس مهام فوق GPT-2
التقنيات
PyTorch
Hugging Face Transformers
pandas
TensorBoard
Gradio
pytest
نظرة عامة
بيانات الموارد البشرية تعيش عادةً في جداول، والجداول تُعالَج عادةً بالنماذج الجدولية الكلاسيكية. أردت اختبار مسار مختلف: تحويل كل سجل موظف إلى جملة إنجليزية بسيطة وترك محوّل (Transformer) من نوع GPT-2 يتعلم منها.
كتبت بنية GPT-2 بنفسي بـ PyTorch، وحمّلت فيها أوزان GPT-2 المدرَّبة مسبقًا، وأضفت فوقها أربعة رؤوس مهام: الاستنزاف الوظيفي (attrition، ثنائي)، والمستوى الوظيفي (5 فئات)، والرضا الوظيفي (4 فئات)، والدخل الشهري (انحدار). في كل مهمة تُحذف الخاصية المستهدفة من الجملة ويتنبأ بها النموذج من الحالة المخفية للرمز (token) الأخير.
يغطي المشروع سير العمل كاملًا: تنظيف البيانات وتقسيمها، والتجميع في دفعات بحسب فئات الطول، والتسجيل في TensorBoard، ومجموعة اختبارات pytest، وتقارير محفوظة لمقاييس الاختبار، وتطبيق Gradio تفاعلي لتجربة ملفات فردية.
السؤال
هل يستطيع محوّل (Transformer) من نوع GPT-2 تعلّم بيانات الموارد البشرية الجدولية إذا أُعيدت كتابة كل سجل موظف في جملة إنجليزية بسيطة؟
أهم الميزات
- يسلسل كل سجل موظف في جملة إنجليزية ثابتة الترتيب، مثل "The employee is 30 years old, ..., travels rarely for work, ...".
- عمود فقري (backbone) من نوع GPT-2 مكتوب من الصفر (انتباه ذاتي سببي، وطبقة تغذية أمامية بـ GELU، وLayerNorm) مُهيَّأ من أوزان GPT-2 المدرَّبة مسبقًا.
- أربعة رؤوس خاصة بالمهام، ثلاثة للتصنيف وواحد للانحدار، تُدرَّب كلها معًا على عمود فقري مشترك واحد.
- خط معالجة للبيانات ينظّفها، ويرمّز الأهداف، ويحفظ تقسيمات 80/10/10 قابلة لإعادة الإنتاج مع إحصاءات لكل تقسيم.
- تدريب بـ AdamW مع قصّ التدرّجات وتنعيم التسميات، مسجَّل في TensorBoard مع نقاط حفظ دورية.
- تطبيق Gradio يحمّل عينة اختبار أو يأخذ حقولًا معدَّلة ويتنبأ بالنتائج الأربع.
كيف يعمل
التنظيف والتقسيم
يُطبَّع جدول الموارد البشرية الخام، وتُحذف الأعمدة الثابتة، وتُرمَّز الأهداف، وتُقسَّم الصفوف 80/10/10 ببذرة عشوائية ثابتة.
من السجلات إلى الجمل
يصبح كل سجل عينة تدريب واحدة لكل مهمة: تُحذف الخاصية المستهدفة، وتُكتب الخصائص المتبقية في جملة إنجليزية تُقطَّع بمقطِّع GPT-2.
عمود فقري Transformer مشترك
مفكِّك على نمط GPT-2، محمَّل بأوزان GPT-2 المدرَّبة مسبقًا، يشفّر الجملة. ولأن الانتباه سببي، تلخّص الحالة المخفية للرمز الأخير الملف كاملًا.
رؤوس المهام
يذهب متجه الرمز الأخير إلى الرأس الخاص بمهمة تلك العينة، إما مصنِّف أو منحدِر. يستخدم التصنيف إنتروبيا متقاطعة مع تنعيم التسميات، ويستخدم الانحدار خسارة smooth-L1 مقيسة.
التقييم والتقديم
يعرض سكربت اختبار الدقة وMAE وMSE لكل مهمة على التقسيم المحجوز، ويقدّم تطبيق Gradio أفضل نقطة حفظ.
أمثلة
المدخل
Age 30, business travel: rarely, department: research & development, overtime: no (other attributes omitted)
المخرج
The employee is 30 years old, ..., travels rarely for work, ..., works in the research & development department, ..., does not work overtime, ...
التقنيات المستخدمة
العمود الفقري GPT-2 ورؤوس المهام وحلقة التدريب
مقطِّع GPT-2 والأوزان المدرَّبة مسبقًا
تنظيف بيانات الموارد البشرية وترميزها وتقسيمها
تتبع خسائر التدريب وإحصاءات التدرّجات
تطبيق تنبؤ تفاعلي
اختبارات للمقطِّع ومحمِّل الدفعات والنموذج
ما تعلمته
- إعادة كتابة الجداول في صورة نص تتيح لعمود فقري واحد من نموذج لغوي خدمة عدة مهام تنبؤ
الحدود
- مجموعة بيانات موارد بشرية ضيقة؛ وبعض المهام (مثل الرضا الوظيفي) لا تزال صعبة التنبؤ