0
تُعد درجة الحرارة إعدادًا مهمًا في نماذج اللغة (LMs)، وخاصة لعملية الضبط الدقيق. يشير هذا إلى معلمة "درجة الحرارة" في دالة softmax في نموذج اللغة. يمكن أن يؤثر تعديل درجة الحرارة على عشوائية أو تحفظ ناتج النموذج.
دور درجة الحرارة
تتحكم درجة الحرارة في مستوى إبداع النموذج وجرأته في إنشاء النص. تجعل قيمة درجة الحرارة المنخفضة النموذج أكثر تحفظًا، وتلتزم بشكل وثيق بالأنماط التي تعلمها من بيانات التدريب. تشجع قيم درجة الحرارة الأعلى النموذج على استكشاف حلول أكثر خطورة من خلال السماح للرموز الأقل احتمالية بأن تكون أكثر احتمالية.
الاستخدامات العملية
عند ضبط نموذج اللغة بدقة، يمكنك تنظيم سلوكه من خلال تعديل درجة الحرارة:
قيم درجة الحرارة المنخفضة (على سبيل المثال، 0.2 أو 0.5): سيكون النموذج أكثر تركيزًا على العبارات وتسلسلات الكلمات التي تعلمها من بيانات التدريب. سيكون الناتج أقل تنوعًا، لكنه قد يفتقر إلى الحداثة أو الإبداع. مناسب للمهام حيث يكون التحفظ مهمًا، مثل تلخيص النص أو الترجمة.
قيم درجات الحرارة الأعلى (على سبيل المثال، 1.0 أو 2.0): سيُنتج النموذج مخرجات أكثر إبداعًا باستخدام مجموعات مبتكرة من الكلمات. ومع ذلك، قد ينتج نصًا أقل تماسكًا أو غير مناسب للسياق. مفيد للمهام التي تتطلب الاستكشاف والتميز، مثل الكتابة الإبداعية أو العصف الذهني.
يمكن أن تؤدي التجربة بقيم درجات حرارة مختلفة إلى إيجاد التوازن الأمثل بين الإبداع والتماسك، اعتمادًا على المهمة المحددة والناتج المطلوب.