إسماعيل بن علا

JointVC

تحويل صوت مفكَّك التشابك، مدرَّب في جولة واحدة

الصوت · أكتوبر 2026 · قيد الإنجاز

تعليم شبكة ما يُقال وأخرى من يقوله، في الوقت نفسه، دون أن يختلطا.

التقنياتPyTorchONNXHugging Face Transformerstorchaudio

خاص في الوقت الحالي: ما زلت أستكشف هذا البحث، لذلك لم تُنشر الشيفرة بعد.

JointVC — نظرة عامة

نظرة عامة

JointVC هو البحث الذي أعمل عليه حاليًا، وما زلت أكتشفه. إنه محوّل صوت صغير يعمل بالتدفق، من أي صوت إلى أي صوت، من عائلة StreamVC: مُرمِّز المحتوى يسمع ما يُقال، ومُرمِّز المتحدث يسمع من يقوله، ومُفكِّك يعيد بناء الكلام بأي صوت، 20 ملّي ثانية في كل مرة.

المفهوم في صميم المشروع هو فكّ التشابك (disentanglement): يجب أن يحمل المحتوى الكلمات دون أي أثر للمتحدث، وأن تحمل بصمة المتحدث الصوت دون الكلمات. يصل StreamVC إلى ذلك بالتدريب على مراحل. فكرتي هي تدريب الشبكات الثلاث معًا، في جولة واحدة، دون صوت مستهدف، وإبقاؤها منفصلة بدفاعات صريحة ضد التسرّب، ثم قياس التسرّب بدل الادّعاء بأنه اختفى.

هذا المشروع خاص في الوقت الحالي: ما زلت أستكشفه وأرى فيه إمكانات واعدة، لذلك تبقى الشيفرة مغلقة إلى أن تُحلّ الأسئلة المفتوحة.

السؤال

هل يستطيع محوّل صوت أن يتعلّم ما يُقال ومن يقوله في تدريب مشترك واحد، دون صوت مستهدف، مع إبقاء الاثنين منفصلين؟

أهم الميزات

التقنيات المستخدمة

ما تعلمته

الحدود

مشاريع ذات صلة