Laya مقابل Jev: هل البديل مفتوح المصدر جيد فعلاً؟

أطلقت TypeSafe نموذج Jev في 15 سبتمبر. وبعد أيام، أطلقت Convai Innovations نموذج Laya تحت رخصة Apache 2.0: نموذج بـ 421 مليون معامل يجيب عن الأسئلة محدَّدة النوع نفسها، ويعمل على عتاد تملكونه، ولا يكلّف شيئاً في كل استدعاء.

وظهرت منذ ذلك الحين سبع نسخ مفتوحة المصدر من Jev على الأقل. ومعظم التغطية قائمة بما هو موجود منها. ولا شيء منها تقريباً يجيب عن سؤالكم الحقيقي، وهو هل أي منها جيد بما يكفي للاستخدام.

وفي حالة Laya، الجواب القصير: نعم، لعمل أضيق مما توحي به العناوين. فهو أسرع فعلاً، وأقل كلفة فعلاً، ويتفوق على Jev في عدة مهام تصنيف. وهو كذلك يسجّل دون خط أساس الفئة الأكثر شيوعاً جاهزاً من العلبة، وينهار في الأسئلة كثيرة الخيارات. وسبب إمكان هذه المقارنة أصلاً أن Convai نشرت النصفين معاً على بطاقة نموذجها، بما في ذلك الأجزاء المؤلمة.

ما هو Laya#

يؤدي Laya العمل نفسه الذي يؤديه Jev. تسلّمونه حالة، وتسلّمونه أسئلة محدَّدة النوع، فيجيب عنها في تمريرة أمامية واحدة باحتمالات معايَرة. وهو يدعم الأوليّات الثلاث نفسها: choice لاختيار خيار، وscore للتقييم على مستويات مرتّبة، وnoul لطرح سؤال نعم أو لا والحصول على احتمال. ولا شيء يُولَّد، فلا شيء يُحلَّل.

بل إنه يشارك طريقة التدريب نفسها. فقد درّبت Convai نموذج Laya بـ RLCD في مقابل قواعد تسجيل سليمة تماماً، وهو النهج نفسه الذي تصفه TypeSafe لـ Jev.

وتُطلَق ثلاث نقاط تحقّق:

ويُثبَّت بـ pip install laya، ومعاييره المنشورة تعمل على Tesla T4.

أين يتفوق Laya#

المواجهة المباشرة التي نشرتها Convai، وكل أرقامها من بطاقة نموذجها:

وكلمة «بتوجيه» مهمة. فأرقام الدقة تلك تأتي من موجّه يختار بين نقطة التحقّق الإنجليزية والمتعددة اللغات لكل مدخل، لا من نموذج واحد. ونقطة التحقّق الإنجليزية وحدها تسجّل 0.947 و0.573، فالتوجيه يؤدي عملاً حقيقياً، وعليكم أنتم بناؤه.

وزمن الاستجابة هو النتيجة الحقيقية. فأرضية Jev البالغة 70 مللي ثانية مقيسة عند النموذج؛ وما تعيشونه أنتم استدعاء واجهة برمجة مستضافة عبر شبكة، قاسته أطراف ثالثة عند 236 إلى 276 مللي ثانية. وLaya يجيب في 32.8 مللي ثانية محلياً، والتجميع في دفعات يحسّن ذلك: فعشرة أسئلة تستغرق 72.3 مللي ثانية إجمالاً، نحو 7.2 لكل سؤال.

وEmotion هو مكسب الدقة الأهم معنى، لأنه استُبعد من خليط تدريب Laya. أما AG News فلم يُستبعد، فخذوه بخفة.

أين يخسر Laya#

إخفاقان، وكلاهما كبير.

التعدد العالي. على Banking77، الذي يطلب من النموذج اختيار نية مصرفية واحدة من قائمة طويلة، يسجّل Jev 0.870 على نسخة بـ 72 تسمية ويسجّل Laya 0.425 على الـ 77 كلها. وعددا التسميات مختلفان، وهذا يضعف النقطة المطروحة هنا، فاعتبروا الفجوة كبيرة لا دقيقة. وتشرح Convai الآلية بدل إخفائها: فعند الإعدادات الافتراضية، يخصّص سؤال بـ 77 خياراً نحو ثلاثة إلى أربعة رموز لكل تسمية، وهذا لا يكفي لتمثيلها. وفي التوثيق طرق التفاف على ذلك، منها رؤوس أطول، أو الاختصار إلى قائمة قصيرة بالتضمينات، أو تقسيم سؤال واحد إلى تمريرة خشنة وأخرى دقيقة. وملخص البطاقة نفسها صريح: «Jev حالياً أنسب لأكثر من 50 خياراً بلا ضبط».

الدقة بلا تدريب مسبق. وهذا هو الأهم وأقلّها ذكراً في التغطية. فنقاط التحقّق الأساس تسجّل 0.362 و0.352 على القرارات محدَّدة النوع. والتخمين العشوائي يسجّل 0.318. واختيار الجواب الأكثر شيوعاً في كل مرة يسجّل 0.461. فجاهزاً من العلبة، Laya أقرب إلى العشوائي منه إلى خط أساس بديهي، وتذكر Convai الخلاصة صراحةً: «Laya أساس سريع للتخصيص، لا محرك قرارات بلا تدريب مسبق».

وثلاثة قيود أصغر تتمّم الصورة. فالتقييم الترتيبي هو أضعف الأوليّات، عند 0.372 على SST-5. ونقطتا التحقّق كلتاهما تصلان مفرطتي الثقة وتحتاجان إلى إعادة معايرة بالحرارة قبل أن تثقوا باحتمال. ونقطة التحقّق الإنجليزية تنهار خارج الإنجليزية بينما المتعددة اللغات أضعف داخلها، فإما أن توجّهوا بينهما وإما أن تختاروا واحدة عن قصد.

الرقم الجدير بالتدقيق#

عنوان Laya هو 0.766 على القرارات محدَّدة النوع في مقابل 0.727 لـ Jev. ويبدو ذلك فوزاً نظيفاً إلى أن تقرأوا صفّين آخرين من الجدول نفسه.

فالـ 0.766 تخص laya-typed-decisions، وهي نقطة تحقّق مصقولة على شطر التدريب الخاص بذلك المعيار نفسه والبالغ 1,200 حالة. ويورد الجدول سقف اتفاق المعلّم مع نفسه عند 0.735، وهو ما يتجاوزه النموذج المصقول. والتسجيل فوق سقف العملية التي ولّدت تسمياتكم هو بصمة نموذج تعلّم المعيار لا المهمة. ووصف Convai نفسها لنقطة التحقّق يوافق ذلك: «توقّعوا أن تتصرف كنقطة التحقّق الأساس laya، أو أسوأ، في أي شيء آخر».

وعلى الجدول نفسه، يفوز Jev بالعمودين اللذين لا يقتبسهما أحد. الدقة اللينة: 0.580 في مقابل 0.471. وخطأ المعايرة: 0.144 في مقابل 0.213. فعلى المعيار الذي ضُبط Laya له تحديداً، يكون Jev أحسن معايرة وأقرب حين يخطئ.

ما لا تستطيع أي من مجموعتي الأرقام إخباركم به#

ثلاثة اختلالات، حتى تقرأوا البائعين كليهما بالطريقة نفسها.

صف Jev في جداول Convai موسوم بـ «منشور». فهو لم يُشغَّل في المنصة الاختبارية نفسها، ولا في اليوم نفسه، ولا في مقابل المدخلات نفسها. إنه رقم مأخوذ من مواد TypeSafe ووُضع إلى جانب رقم قاسته Convai.

وفوز Laya في زمن الاستجابة بـ 7.8 أضعاف يقارن معالجاً رسومياً محلياً بواجهة برمجة مستضافة عبر الإنترنت العام. وذلك هو المقارنة الصادقة لمطوّر يختار بينهما، لكنه ليس قياس سرعة نموذج بالمثل.

وعنوان Jev نفسه أليَن مما يبدو. فكما غطّينا في ما الذي لا يقيسه معيار الـ 193 ضعفاً، تعرّف تقييمات مسارات العمل عند TypeSafe الجواب الصحيح بأنه متوسط GPT-6 Astra وFable 5.1، فهي تقيس الاتفاق مع نموذجين متقدمين لا الدقة. ولا أحد من طرفي هذه المقارنة يقف على حقيقة مرجعية.

أيهما تستخدمون#

والقرار ليس في أي النموذجين أحسن. بل في ما تملكونه.

استخدموا Laya إن كانت لديكم بيانات موسومة، أو استطعتم إنتاجها، ومكان لتشغيل معالج رسومي. فتحصلون على أجوبة في 33 مللي ثانية، وبلا كلفة لكل استدعاء، ورخصة Apache 2.0، وأكثر من 100 لغة، وتحكم كامل. وستنفقون وقتاً حقيقياً في الصقل وإعادة المعايرة أولاً، وينبغي أن تحسبوا ذلك العمل في الميزانية بدل أن تكتشفوه.

استخدموا Jev إن كنتم تحتاجونه يعمل بلا تدريب مسبق هذا الأسبوع، أو كانت أسئلتكم كثيرة الخيارات، أو لم تريدوا تشغيل الاستدلال بأنفسكم. فهو يتعامل مع التعدد العالي بلا ضبط، والمسار المستضاف هو المقصد كله.

وLaya ليس بديلاً مباشراً، وConvai لم تدّعِ ذلك قط. إنه أساس سريع ومجاني وصادق يصير منافساً متى خصّصتموه. والبديل مفتوح المصدر حقيقي. لكنه يطلب منكم أياماً من الوسم بدل أرصدة واجهة برمجة.

إطلاق أي منهما#

وأياً كان الجانب الذي تستقرون عليه من الجدول، فالعمل بين النموذج والإنتاج له الشكل نفسه: ميزانية الصقل وإعادة المعايرة إن ذهبتم إلى Laya، وتصميم المخططات والعتبات في الحالتين، والاستدلال ذاتي الاستضافة أو هندسة الوكلاء والأتمتة حوله.

المصادر

• بطاقة نموذج Laya وlaya-typed-decisions، Convai Innovations: نقاط التحقّق، وجداول المعايير، والحدود.
• مستودع Laya: التثبيت، ومثال واجهة البرمجة، وجداول السرعة، وتوجيهات التعدد.
• Introducing System One Models & Jev، TypeSafe AI: تسعير Jev، وزمن الاستجابة، ومنهجية التقييم.