عاجل: نموذج لتوليد الصور يحقق جودة مماثلة لسابقه بتكلفة 21 ألف دولار وأمثلة أقل 11 مرة
درّب فريق Linum، المؤلف من باحثَين، نموذج توليد الصور Pyramid-JiT، المعروف اختصارًا بـP-JiT، بكلفة إجمالية تقارب 21 ألف دولار، وأتاح أوزانه المفتوحة للباحثين والمطورين. ويضم النموذج 2.18 مليار معلمة، ويعتمد أسلوبًا مختلفًا في معالجة الصور لخفض كلفة التدريب.
معالجة مباشرة للبكسلات على مراحل
على خلاف نماذج مثل Stable Diffusion وFLUX، التي تحوّل الصورة أولًا إلى تمثيل أصغر في «الفضاء الكامن» باستخدام نظام يُعرف باسم المشفّر التلقائي التبايني (VAE)، يعمل P-JiT مباشرة في فضاء البكسلات، من دون الاعتماد على ذلك التمثيل الوسيط. وفي النماذج التقليدية، تُجرى العمليات الأساسية على الصورة المضغوطة، قبل إعادة تحويل الناتج إلى بيانات بكسلية في المرحلة الأخيرة.
لكن النموذج لا يعالج الصورة كتلة واحدة؛ إذ يقسمها إلى مقاطع أبعادها 32×32 بكسلًا. ويحوّل بيانات الألوان الأحمر والأخضر والأزرق في كل مقطع، والبالغة 3,072 بُعدًا، إلى تمثيل من 1,024 بُعدًا، محققًا ضغطًا بنسبة 3 إلى 1 مع إبقاء المعالجة في فضاء البكسلات.
ويشير اسم «الهرم» في بيراميد-ژيت إلى أسلوبه في بناء الصورة تدريجيًا: يبدأ بمسودة منخفضة الدقة، ثم يرفع دقتها على مراحل.
يساعد تقليص عدد الرموز التي يعالجها النموذج على الحد من كلفة آلية الانتباه في بنية المحوّلات؛ فتعقيدها الحسابي ينمو بمعدل تربيعي مع طول تسلسل الإدخال، ويُعبّر عنه بالصيغة O(n²). ويكتسب تقليل الرموز أهمية خاصة عند تدريب النماذج على صور عالية الدقة أو توليدها.
كان نموذج Linum السابق، Linum v2، يعالج الصور بدقة 512×512 بكسلًا باستخدام تقسيم إلى رموز بقياس 16×16، بينما رفع P-JiT هذا التقسيم إلى 32×32. ووفقًا للفريق، أدى ذلك إلى تقليص نافذة السياق التي تعمل عليها آلية الانتباه إلى الربع. وقال Linum إن النموذج حقق جودة مماثلة في توزيع الصور باستخدام عدد من أمثلة التدريب يقل بنحو 11.3 مرة مقارنة بالنموذج السابق.
نحو 660 مليون مثال في التدريب
كشف Linum تفاصيل موارد التدريب، موضحًا أن مرحلة التدريب الأولي استهلكت 8,139 ساعة عمل على وحدات معالجة الرسومات من طراز Nvidia H100. وباحتساب 2.50 دولار لكل ساعة، بلغت كلفة هذه المرحلة 20,348 دولارًا، وارتفع الإجمالي إلى نحو 21 ألف دولار بعد إضافة التدريب اللاحق.
جرى التدريب على مرحلتين: استخدم الفريق أولًا نحو 610 ملايين عينة بدقة 512×512 بكسلًا، ثم حسّن النموذج باستخدام 50 مليون عينة بدقة 1024×1024. وبذلك بلغ مجموع العينات نحو 660 مليونًا، فيما استُخدم نموذج Qwen3.5-4B في جانب معالجة النصوص.
لا يزال النموذج محدودًا في إنتاج الصور التي تتضمن كتابة، لأن بيانات تدريبه لم تشمل الإنفوغرافيك وملفات PDF وصفحات الكتب والصور الكثيفة بالنصوص. لذلك لا يقدم نتائج جيدة عند إنشاء الملصقات أو الإنفوغرافيك أو التصاميم التي تعتمد على النص، لكنه يستطيع إنتاج صور خالية من الكتابة بنتائج لافتة قياسًا إلى كلفة تدريبه.
وقد تكتسب كفاءة معالجة الصور أهمية إضافية في تطوير نماذج الفيديو، التي تحتاج إلى التعامل مع عدد أكبر بكثير من الإطارات، وبالتالي مع بيانات أكثر. ويتيح نشر الأوزان المفتوحة للباحثين والمطورين تشغيل P-JiT على أنظمتهم وفحص بنيته والعمل على تطويره. وقد يشجع عمل Linum فرقًا بحثية صغيرة أخرى على خوض تجارب مماثلة بتكاليف أقل.
المصدر: donanimhaber