في منتصف أبريل أطلقت OpenAI نموذجها الذكي الجديد GPT-4.1 الذي ادعت الشركة أنه "يتفوق" في اتباع التعليمات، ومع ذلك أظهرت نتائج العديد من الاختبارات المستقلة أن النموذج قد يكون أقل توافقًا أي أنه أقل موثوقية، مقارنةً بالإصدارات السابقة منOpenAI .
وعند إطلاق نموذج جديد؛ عادةً ما تنشر OpenAI تقريرًا تقنيًا مفصلًا يحتوي على نتائج التقييمات الأمنية الأولى والثالثة، لكن الشركة تخطت هذه الخطوة في حالة GPT-4.1 مدعية أن النموذج ليس "حدوديًا"، وبالتالي لا يستدعي تقريرًا منفصلًا.
ودفعت هذه الخطوة بعض الباحثين والمطورين إلى التحقق من سلوك GPT-4.1 مقارنةً بسابقةGPT-4o ، لمعرفة ما إذا كان النموذج الجديد يعاني من سلوكيات أقل استقرارًا.
سلوكيات غير متوافقة في GPT-4.1
وفقًا لعالم أبحاث الذكاء الاصطناعي في أكسفورد، يدعى "أوين إيفانز"، فإن ضبط GPT-4.1 باستخدام أكواد غير آمنة؛ يتسبب في أن يعطي النموذج "إجابات غير متوافقة" حول موضوعات مثل أدوار الجنسين بمعدل "أعلى بشكل كبير" منGPT-4o ، وسبق أن شارك "إيفانز" في دراسة أظهرت أن نسخة من GPT-4o المدربة على أكواد غير آمنة قد تتسبب في ظهور سلوكيات ضارة.
وفي متابعة لهذه الدراسة؛ وجد إيفانز وزملاؤه أن GPT-4.1 عندما يتم ضبطه باستخدام أكواد غير آمنة؛ يظهر "سلوكيات ضارة جديدة" مثل محاولة خداع المستخدم لمشاركة كلمة مروره، ومن المهم أن نلاحظ أن كلا من GPT-4.1 و GPT-4o لا يظهران سلوكًا غير متوافق عندما يتم تدريبهما باستخدام أكواد آمنة.
السلوكيات المتوقعة والغير متوقعة في GPT-4.1
في اختبارات منفصلة قام بها SplxAI وهي شركة ناشئة في مجال اختبار الذكاء الاصطناعي تم اكتشاف نفس التوجهات، وفي حوالي 1,000 حالة اختبار محاكاة، كشفت SplxAI أن GPT-4.1 ينحرف عن الموضوع ويسمح بـ"الاستخدام السيئ" عمدًا بشكل أكثر من GPT-4o ، والسبب في ذلك هو تفضيل GPT- 4.1 للتعليمات الصريحة، وهو أمر يعترف به فريق OpenAI نفسه، مما يفتح الباب للسلوكيات غير المقصودة.
دفاع OpenAI وتحذيرات للباحثين
على الرغم من هذه النتائج؛ نشرت OpenAI أدلة توجيهية تهدف إلى تقليل حدوث السلوكيات غير المتوافقة في GPT-4.1 ، لكن نتائج الاختبارات المستقلة تظهر أنه لا يمكن الافتراض دائمًا أن النماذج الأحدث أفضل من سابقيها في جميع الجوانب، وبالمثل فإن نماذج OpenAI الجديدة مثل نماذج التفكير تميل إلى "تخيل" (أي اختراع) المزيد من الأشياء مقارنة بنماذج الشركة القديمة.
