إسماعيل بن علا

PairVC

تحويل الصوت في الزمن الحقيقي انطلاقًا من أزواج كلام

الصوت · أكتوبر 2026 · قيد الإنجاز

صوتك إلى صوت مستهدف، مباشرةً: شبكة صغيرة سببية مدرَّبة على أزواج مُعلِّم كبير.

التقنياتPyTorchONNXStreamlitJavaScriptKaggle

عرض الكود على GitHubفتح العرض المباشر
PairVC — نظرة عامة

نظرة عامة

يحوّل PairVC صوتك إلى واحد من عدة أصوات مستهدفة أثناء حديثك. إنه شبكة سببية بالكامل، من موجة صوتية إلى موجة صوتية، تحوّل الصوت 20 ملّي ثانية في كل مرة على نواة معالج واحدة.

يُدرَّب على أزواج: كل مقطع مصدر يرافقه الكلام نفسه وقد حُوِّل مسبقًا إلى كل صوت مستهدف بواسطة مُعلِّم كبير وبطيء يعمل دون اتصال. يتعلّم PairVC إعادة إنتاج مخرجات المُعلِّم، فيحصل على أصواته بجزء بسيط من الكلفة.

وهو امتداد لعمل تحويل الصوت في الزمن الحقيقي الذي بدأته في رسالة الماستر (NatVC).

السؤال

هل يمكن لشبكة صغيرة تعمل بالتدفق أن تتعلّم أصوات محوّل كبير وبطيء بما يكفي لتعمل مباشرةً على معالج عادي؟

أهم الميزات

كيف يعمل

  1. أزواج يُنتجها مُعلِّم

    يحوّل محوّل كبير يعمل دون اتصال كل مقطع مصدر إلى كل صوت مستهدف؛ وتشكّل هذه الأزواج مجموعة التدريب.

  2. شبكة صغيرة سببية

    يضغط مُرمِّز التفافي سببي الصوت 320 مرة إلى إطارات من 64 بُعدًا (إطار كل 20 ms)، ويعيد مُفكِّك مماثل بناء الموجة بالصوت المستهدف، مشروطًا عبر FiLM.

  3. تحويل مباشر

    بعد تصديره إلى ONNX، يعالج النموذج الميكروفون على مقاطع من 20 ms، في بايثون أو مباشرةً في المتصفح.

أمثلة

مقطع التحقق عند كل تقييم: المصدر، وPairVC في تلك المرحلة، والمُعلِّم، وخسارة التحقق.
مخططات log-mel الطيفية لمتحدث لم يُرَ في التدريب: قبل التدريب وبعده، والمُعلِّم، للصوتين المستهدفين.
مخططات log-mel الطيفية لمتحدث لم يُرَ في التدريب: قبل التدريب وبعده، والمُعلِّم، للصوتين المستهدفين.
تطبيق Streamlit وهو يحوّل ميكروفونًا مباشرًا، 20 ms في كل مرة، مع قياس زمن التأخير.
تطبيق Streamlit وهو يحوّل ميكروفونًا مباشرًا، 20 ms في كل مرة، مع قياس زمن التأخير.

التقنيات المستخدمة

ما تعلمته

الحدود

مشاريع ذات صلة