الذكاء الاصطناعي الجديد في فيسبوك يترجم اللغات مباشرة إلى بعضها بعضا
يمكن للذكاء الاصطناعي الجديد في فيسبوك ترجمة اللغات مباشرة إلى بعضها البعض فسواء كنت تقوم بتسجيل الدخول من الولايات المتحدة أو البرازيل أو فرنسا، أو مصر يمكن لـ Facebook ترجمة أي محتوى مكتوب تقريبًا منشور على نظامه الأساسي إلى اللغة المحلية باستخدام الترجمة الآلية.
ويوفر فيسبوك نحو 20 مليار ترجمة كل يوم لخلاصة الأخبار وحدها ومع ذلك، تستخدم هذه الأنظمة عادةً اللغة الإنجليزية كخطوة وسيطة - أي أن الترجمة من الصينية إلى الفرنسية تنتقل بالفعل من الصينية إلى الإنجليزية إلى الفرنسية، يتم ذلك لأن مجموعات البيانات من الترجمات من وإلى الإنجليزية ضخمة ومتاحة على نطاق واسع ولكن وضع اللغة الإنجليزية في المنتصف يقلل من دقة الترجمة الإجمالية بينما يجعل العملية برمتها أكثر تعقيدًا وإرهاقًا مما يجب أن تكون عليه ولهذا السبب طور Facebook AI نموذج MT جديدًا يمكنه الترجمة مباشرة بين لغتين (الصينية إلى الفرنسية والفرنسية إلى الصينية) دون استخدام اللغة الإنجليزية كوسيط - والذي يتفوق على النموذج المتمركز حول اللغة الإنجليزية بمقدار 10 نقاط على مقاييس BLEU .
وقالت انجل فان، الباحثة المشاركة في Facebook AI، لـ انجاجيت التقنية: "التحدي الرئيسي هو حقًا، كيف نأخذ أنظمة الترجمة لدينا، ثم نلبي بالفعل طلب الناس في جميع أنحاء العالم لذا فأنت تترجم إلى جميع اللغات وعبر جميع الاتجاهات التي يريدها الأشخاص بالفعل على سبيل المثال، هناك الكثير من المناطق في العالم حيث يتحدث الناس عدة لغات، وليس أي منها باللغة الإنجليزية، ولكن أنظمة الترجمة الحالية تعتمد بشكل كبير على البيانات باللغة الإنجليزية فقط ".
وأشارت إلى أنه من بين مليارات المنشورات التي تُنشر يوميًا بـ 160 لغة على منصة فيسبوك، فإن ثلثيها بلغة أخرى غير الإنجليزية.
ويدعي فيسبوك، الذي يطلق عليه M2M-100، أنه أول نموذج ترجمة آلية متعدد اللغات (MMT) يمكنه الترجمة مباشرة ذهابًا وإيابًا بين أي زوج من مجموعة من 100 لغة إجمالاً، أنشأ مكتب التحقيقات الفيدرالي FBAI مجموعة بيانات هائلة تتكون من 7.5 مليار جملة لـ 100 لغة. باستخدام ذلك، قام فريق البحث بتدريب نموذج ترجمة عالمي مع أكثر من 15 مليار معلمة "تلتقط المعلومات من اللغات ذات الصلة وتعكس نصًا أكثر تنوعًا للغات والصرف"، وفقًا لمدونة على Facebook يوم الاثنين.
وللقيام بذلك، كان على فيسبوك جمع مجموعة كاملة من البيانات المتاحة للجمهور من جميع أنحاء العالم باستخدام مجموعة متنوعة من التقنيات الجديدة.
وأوضحت فان: "الكثير من هذا يعتمد حقًا على العمل الذي قمنا به لسنوات عديدة في البحث في Facebook، والتي تشبه جميع قطع Lego المختلفة التي قمنا بتجميعها معًا لبناء النظام اليوم".
واستخدم الفريق CommonCrawl، التي تحتفظ بمستودع مفتوح لبيانات زحف الويب، لجمع أمثلة نصية من جميع أنحاء الويب ثم شرعوا في تحديد اللغة التي يستخدمها النص باستخدام FastText، وهو نظام تصنيف نصوص طوره Facebook وفتح المصدر قبل بضع سنوات، "إنه ينظر بشكل أساسي في بعض الاختبارات ويحاول تحديد اللغة التي يكتب بها ،" قال فان. "لذلك نقوم بتقسيم مجموعة من النصوص من الويب إلى كل هذه اللغات المختلفة ومن ثم هدفنا هو تحديد الجمل التي يمكن ترجمتها."
وتابعت قائلة: "تقليديًا، يستخدم الناس مترجمين بشريين لإنشاء بيانات الترجمة وهذا صعب على نطاق واسع لأنه من الصعب، على سبيل المثال، العثور على شخص يتحدث الإنجليزية والتاميلية، ولكن من الصعب العثور على شخص يتحدث الفرنسية والتاميلية معًا، لأن الترجمة غير الإنجليزية لا تزال مجالًا يحتاج إلى تحسين."
ولاستخراج تلك البيانات الضرورية على نطاق واسع، اعتمد فريق Fan بشكل كبير على نظام الليزر، وقالت: "إنها تقرأ الجمل، وتأخذ النص وتخلق تمثيلًا رياضيًا لذلك النص، بحيث ترتبط الجمل التي لها نفس المعنى بالفكر نفسه". "إذا كان لدي جملة واحدة باللغتين الصينية والفرنسية، وكانا يقولان نفس الشيء، فسوف يتداخلان نوعًا ما - مثل مخطط Venn - المنطقة المتداخلة هي نوع النص الذي نعتقد أنه جمل مترابطة."
ولا يتوفر قدر كبير من المحتوى المكتوب على الإنترنت في كل اللغات في تلك المواقف، لجأ فريق Fan إلى البيانات أحادية اللغة، وهي مجرد بيانات مكتوبة بلغة واحدة باستخدام المثال الصيني إلى الفرنسي، أوضح فان "إذا كان هدفي هو الترجمة من الصينية إلى الفرنسية، لكن لسبب ما، لا أحصل على جودة جيدة، سأحاول تحسين ذلك من خلال أخذ بيانات نصية بلغة واحدة بالفرنسية وما أفعله هو تدريب عكس النظام: انتقل من الفرنسية إلى الصينية. آخذ كل ما لدي من الفرنسية، على سبيل المثال، من ويكيبيديا، وأقوم بترجمتها إلى الصينية ".
ويؤدي القيام بذلك إلى إنتاج عدد كبير من البيانات "التركيبية" المُنشأة آليًا، تابع فان. "لقد أنشأت هذه الصينية الاصطناعية بناءً على الفرنسية المترجمة للخلف، ثم سأضيفها مرة أخرى إلى النموذج الأمامي، لذا فبدلاً من الانتقال من الصينية إلى الفرنسية، لدي الصينية بالإضافة إلى الصينية الاصطناعية المكملة، وكلها تذهب إلى الفرنسية. ولأن هذا يضيف مجموعة من الأمثلة الجديدة - على جانب الإدخال وجانب المخرجات - سيكون النموذج أقوى بكثير ".
ويبقى أن نرى ما إذا كان هذا سيؤدي إلى سمكة بابل الرقمية قادرة على الترجمة دون خسارة بين 6200 لغة منطوقة في العالم و يلاحظ Fan أن النجاح النهائي لهذا المشروع يعتمد على كمية الموارد التي يمكن للذكاء الاصطناعي الاستفادة منها بالنسبة للغات الرئيسية مثل الفرنسية والصينية والألمانية والإسبانية والهندية، فإن هذه الموارد هائلة.
وأشارت فان إلى أن "الناس يكتبون الكثير من النصوص على الويب بهذه اللغات.."لقد كانوا حقًا قادرين على مساعدة الكثير من البيانات، ويمكن لنماذجنا استخدام هذه البيانات للتحسين".
وتابعت: "أنا شخصياً أحدد الكثير من المجالات التي قد نحتاج إلى تحسين فيها للغات ذات الموارد المنخفضة للغاية". "بالنسبة للغات الأفريقية، نحن جيدون جدًا في اللغة السواحيلية والأفريكانية، يمكننا استخدام الكثير من التحسينات في لغات مثل الزولو، وهذه اللغات لديها تحديات بحثية إضافية نحتاج إلى مواجهتها."
ويقوم فيسبوك بإصدار مجموعة البيانات والنموذج والتدريب وإعدادات التقييم كمصدر مفتوح لمجتمع البحث للمساعدة في تحفيز المزيد من التقدم.
وتخطط الشركة أيضًا لمواصلة تطوير النظام بشكل مستقل والعمل في نهاية المطاف على التكنولوجيا في عملياتها اليومية.
ويوفر فيسبوك نحو 20 مليار ترجمة كل يوم لخلاصة الأخبار وحدها ومع ذلك، تستخدم هذه الأنظمة عادةً اللغة الإنجليزية كخطوة وسيطة - أي أن الترجمة من الصينية إلى الفرنسية تنتقل بالفعل من الصينية إلى الإنجليزية إلى الفرنسية، يتم ذلك لأن مجموعات البيانات من الترجمات من وإلى الإنجليزية ضخمة ومتاحة على نطاق واسع ولكن وضع اللغة الإنجليزية في المنتصف يقلل من دقة الترجمة الإجمالية بينما يجعل العملية برمتها أكثر تعقيدًا وإرهاقًا مما يجب أن تكون عليه ولهذا السبب طور Facebook AI نموذج MT جديدًا يمكنه الترجمة مباشرة بين لغتين (الصينية إلى الفرنسية والفرنسية إلى الصينية) دون استخدام اللغة الإنجليزية كوسيط - والذي يتفوق على النموذج المتمركز حول اللغة الإنجليزية بمقدار 10 نقاط على مقاييس BLEU .
وقالت انجل فان، الباحثة المشاركة في Facebook AI، لـ انجاجيت التقنية: "التحدي الرئيسي هو حقًا، كيف نأخذ أنظمة الترجمة لدينا، ثم نلبي بالفعل طلب الناس في جميع أنحاء العالم لذا فأنت تترجم إلى جميع اللغات وعبر جميع الاتجاهات التي يريدها الأشخاص بالفعل على سبيل المثال، هناك الكثير من المناطق في العالم حيث يتحدث الناس عدة لغات، وليس أي منها باللغة الإنجليزية، ولكن أنظمة الترجمة الحالية تعتمد بشكل كبير على البيانات باللغة الإنجليزية فقط ".
وأشارت إلى أنه من بين مليارات المنشورات التي تُنشر يوميًا بـ 160 لغة على منصة فيسبوك، فإن ثلثيها بلغة أخرى غير الإنجليزية.
ويدعي فيسبوك، الذي يطلق عليه M2M-100، أنه أول نموذج ترجمة آلية متعدد اللغات (MMT) يمكنه الترجمة مباشرة ذهابًا وإيابًا بين أي زوج من مجموعة من 100 لغة إجمالاً، أنشأ مكتب التحقيقات الفيدرالي FBAI مجموعة بيانات هائلة تتكون من 7.5 مليار جملة لـ 100 لغة. باستخدام ذلك، قام فريق البحث بتدريب نموذج ترجمة عالمي مع أكثر من 15 مليار معلمة "تلتقط المعلومات من اللغات ذات الصلة وتعكس نصًا أكثر تنوعًا للغات والصرف"، وفقًا لمدونة على Facebook يوم الاثنين.
وللقيام بذلك، كان على فيسبوك جمع مجموعة كاملة من البيانات المتاحة للجمهور من جميع أنحاء العالم باستخدام مجموعة متنوعة من التقنيات الجديدة.
وأوضحت فان: "الكثير من هذا يعتمد حقًا على العمل الذي قمنا به لسنوات عديدة في البحث في Facebook، والتي تشبه جميع قطع Lego المختلفة التي قمنا بتجميعها معًا لبناء النظام اليوم".
واستخدم الفريق CommonCrawl، التي تحتفظ بمستودع مفتوح لبيانات زحف الويب، لجمع أمثلة نصية من جميع أنحاء الويب ثم شرعوا في تحديد اللغة التي يستخدمها النص باستخدام FastText، وهو نظام تصنيف نصوص طوره Facebook وفتح المصدر قبل بضع سنوات، "إنه ينظر بشكل أساسي في بعض الاختبارات ويحاول تحديد اللغة التي يكتب بها ،" قال فان. "لذلك نقوم بتقسيم مجموعة من النصوص من الويب إلى كل هذه اللغات المختلفة ومن ثم هدفنا هو تحديد الجمل التي يمكن ترجمتها."
وتابعت قائلة: "تقليديًا، يستخدم الناس مترجمين بشريين لإنشاء بيانات الترجمة وهذا صعب على نطاق واسع لأنه من الصعب، على سبيل المثال، العثور على شخص يتحدث الإنجليزية والتاميلية، ولكن من الصعب العثور على شخص يتحدث الفرنسية والتاميلية معًا، لأن الترجمة غير الإنجليزية لا تزال مجالًا يحتاج إلى تحسين."
ولاستخراج تلك البيانات الضرورية على نطاق واسع، اعتمد فريق Fan بشكل كبير على نظام الليزر، وقالت: "إنها تقرأ الجمل، وتأخذ النص وتخلق تمثيلًا رياضيًا لذلك النص، بحيث ترتبط الجمل التي لها نفس المعنى بالفكر نفسه". "إذا كان لدي جملة واحدة باللغتين الصينية والفرنسية، وكانا يقولان نفس الشيء، فسوف يتداخلان نوعًا ما - مثل مخطط Venn - المنطقة المتداخلة هي نوع النص الذي نعتقد أنه جمل مترابطة."
ولا يتوفر قدر كبير من المحتوى المكتوب على الإنترنت في كل اللغات في تلك المواقف، لجأ فريق Fan إلى البيانات أحادية اللغة، وهي مجرد بيانات مكتوبة بلغة واحدة باستخدام المثال الصيني إلى الفرنسي، أوضح فان "إذا كان هدفي هو الترجمة من الصينية إلى الفرنسية، لكن لسبب ما، لا أحصل على جودة جيدة، سأحاول تحسين ذلك من خلال أخذ بيانات نصية بلغة واحدة بالفرنسية وما أفعله هو تدريب عكس النظام: انتقل من الفرنسية إلى الصينية. آخذ كل ما لدي من الفرنسية، على سبيل المثال، من ويكيبيديا، وأقوم بترجمتها إلى الصينية ".
ويؤدي القيام بذلك إلى إنتاج عدد كبير من البيانات "التركيبية" المُنشأة آليًا، تابع فان. "لقد أنشأت هذه الصينية الاصطناعية بناءً على الفرنسية المترجمة للخلف، ثم سأضيفها مرة أخرى إلى النموذج الأمامي، لذا فبدلاً من الانتقال من الصينية إلى الفرنسية، لدي الصينية بالإضافة إلى الصينية الاصطناعية المكملة، وكلها تذهب إلى الفرنسية. ولأن هذا يضيف مجموعة من الأمثلة الجديدة - على جانب الإدخال وجانب المخرجات - سيكون النموذج أقوى بكثير ".
ويبقى أن نرى ما إذا كان هذا سيؤدي إلى سمكة بابل الرقمية قادرة على الترجمة دون خسارة بين 6200 لغة منطوقة في العالم و يلاحظ Fan أن النجاح النهائي لهذا المشروع يعتمد على كمية الموارد التي يمكن للذكاء الاصطناعي الاستفادة منها بالنسبة للغات الرئيسية مثل الفرنسية والصينية والألمانية والإسبانية والهندية، فإن هذه الموارد هائلة.
وأشارت فان إلى أن "الناس يكتبون الكثير من النصوص على الويب بهذه اللغات.."لقد كانوا حقًا قادرين على مساعدة الكثير من البيانات، ويمكن لنماذجنا استخدام هذه البيانات للتحسين".
وتابعت: "أنا شخصياً أحدد الكثير من المجالات التي قد نحتاج إلى تحسين فيها للغات ذات الموارد المنخفضة للغاية". "بالنسبة للغات الأفريقية، نحن جيدون جدًا في اللغة السواحيلية والأفريكانية، يمكننا استخدام الكثير من التحسينات في لغات مثل الزولو، وهذه اللغات لديها تحديات بحثية إضافية نحتاج إلى مواجهتها."
ويقوم فيسبوك بإصدار مجموعة البيانات والنموذج والتدريب وإعدادات التقييم كمصدر مفتوح لمجتمع البحث للمساعدة في تحفيز المزيد من التقدم.
وتخطط الشركة أيضًا لمواصلة تطوير النظام بشكل مستقل والعمل في نهاية المطاف على التكنولوجيا في عملياتها اليومية.
