أداء نموذج Maverick من ميتا يثير الجدل… هل عدّلت الشركة نتائج LM Arena؟

في خطوة مفاجئة، أعلنت شركة Meta عملاق التكنولوجيا يوم السبت عن إطلاق سلسلة جديدة من نماذج الذكاء الاصطناعي المتطورة، من بينها نموذج يحمل اسم “Maverick”، الذي تمكّن من الحصول على المركز الثاني في منصة LM Arena لاختبار النماذج. ومع ذلك، لاحظ باحثون أن النموذج المتاح للجمهور يختلف عن النسخة المستخدمة في التقييم على المنصة، ما أثار تساؤلات حول الشفافية والمصداقية.

نموذج “Maverick” في منصة LM Arena

صرّحت الشركة أن النسخة التي اختُبرت في LM Arena تحمل اسم “Llama 4 Maverick المعدّل”، وتم تخصيصها لتحسين أدائه في الحوارات لأغراض الاختبار. تلك النسخة وُصفت بأنها “نسخة دردشة تجريبية”، مما يعني أن الشركة أجرت تعديلات تقنية تهدف إلى رفع تصنيف النموذج بالأداء على هذه المنصة.

ومن الجدير بالذكر أن LM Arena تُعتبر أداة تقييمية للنماذج تعتمد على مراجعات المستخدمين وتفضيلاتهم. ومع ذلك، فإن هذا النوع من التقييم قد لا يعكس الأداء الحقيقي للنماذج في بيئات عمل أكثر تعقيدًا.

التفاوت بين نسختي Maverick

أكد الباحثون الذين راجعوا النسخة العامة من Maverick وجود اختلافات كبيرة مقارنة بالنسخة المستخدمة في التقييم. على سبيل المثال:

• الإجابات في النسخة المعدّلة كانت أكثر تفصيلًا ودقة في الحوار.
• النموذج المخصص لـ LM Arena يعتمد بشكل ملحوظ على استخدام الرموز التعبيرية لإضفاء طابع حيوي.
• النسخة العامة تأتي بأداء أقل تطورًا، مما يجعل النتائج التقييمية لا تعكس واقع النموذج.

هذا التباين أثار موجة من الانتقادات نظرًا لما قد يوحي به من تحايل على المستخدمين أو محاولة تحسين السمعة بشكل تصنّعي.

ميتا تواجه الانتقادات

هذا الجدل ألقى الضوء على التحدي الأخلاقي والمهني أمام شركة Meta حيث تتنافس مع روّاد آخرين في مجال الذكاء الاصطناعي مثل GPT-4 من OpenAI. وتواجه الشركة احتمال فقدان الثقة من قبل المطورين الذين يعتمدون على نماذجها في مشاريعهم.

رغم أن LM Arena تُعد مؤشرًا نسبيًا لتقييم النماذج، إلا أن تركيز الشركات على تحسين تصنيفها فقط، بدل تقديم حلول جوهرية وشاملة، قد يعرضها للتقصير في تلبية متطلبات المستخدمين العملية. متى سيتمكن المطورون من الوثوق بهكذا نماذج؟ يبقى الأمر سؤالًا مفتوحًا!