تهدف إلى دمج العلوم النفسية المتطورة في الفصول الدراسية، وأعمدة حول التدريسالاتجاهات الحالية في العلوم النفسيةتقديم المشورة والإرشادات حول تدريس مجال معين من البحث أو الموضوع في العلوم النفسية والذي كان محور مقال في مجلة APSالاتجاهات الحالية في العلوم النفسية.
هذه إجابة رائعة! هذه نقاط ممتازة! هذه ملاحظة جيدة حقا!
تعد الاستجابات المذكورة أعلاه شائعة عندما يستخدم الأشخاص نماذج لغوية كبيرة (LLMs)، مثل ChatGPT، للحصول على تعليقات. يستمتع العديد من المستخدمين بالطريقة الودية والداعمة والمعززة التي يتواصل بها طلاب LLM. ومع ذلك، أعرب بعض المستخدمين والأكاديميين وعلماء الأخلاق عن قلقهم من أن استجابات LLM قد تكون إيجابية ومتملقة بشكل مفرط، وتعبر عن درجة عالية من الثقة حتى عند تقديم إجابات غير مؤكدة أو متنازع عليها أو غير صحيحة في الواقع (Carro, 2024).
وفقًا لستيفرز وبيترز (2025)، تتطلب قدرة البشر على التواصل مع عدم اليقين ما وراء المعرفةوهي القدرة على مراقبة وتقييم عمق المعرفة الشخصية. أو ببساطة، أن تدرك ما لا تعرفه. وهذا يجعل ما وراء المعرفة أمرًا بالغ الأهمية لجميع أنواع الأنشطة اليومية مثل التعلم. في السياقات الاجتماعية، يعتبر ما وراء المعرفة المدروس جيدًا ضروريًا للبناء يثقوتكامل المعرفة واتخاذ القرارات السليمة. لأنه يتم استخدام LLMs بشكل متزايد لدمج المعرفة و “التعاون” عليها صناعة القرار، يجب أن يكونوا قادرين على إيصال عدم اليقين إلى المستخدمين.
لسوء الحظ، لا يعبر حاملو ماجستير إدارة الأعمال في كثير من الأحيان عن عدم اليقين (Zhou et al., 2024). في مثل هذه الحالات، قد يواجه الأشخاص صعوبة في اكتشاف أخطاء LLM عندما لا يكونون خبراء في الموضوع (Bower et al., 2024). قد تؤدي معلومات LLM التي يتم التعبير عنها بثقة إلى تضخيم ثقة غير الخبراء وزيادة اعتمادهم على LLM. ومما يثير القلق، أنه من المرجح أن يعتمد المستخدمون على استجابات LLM عندما يعبر LLM عن ثقة عالية في موضوع لا يثق به المستخدم كثيرًا (Tejeda et al., 2022).
والسؤال الرئيسي هو لماذا تفشل LLMs في التعبير عن عدم اليقين. من ناحية، يمكن أن يقدم طلاب LLM معلومات غير صحيحة بدرجة عالية من الثقة لأنهم لا يدركون أن المعلومات غير صحيحة (فشل ما وراء المعرفي). وبدلاً من ذلك، قد “يعرف” طلاب ماجستير إدارة الأعمال أنهم يقدمون إجابات غير مؤكدة، أو متنازع عليها، أو غير صحيحة، لكنهم يفعلون ذلك على أي حال لأنهم تم تدريبهم على إرضاء الناس (التملق).
للتمييز بين وجهتي النظر هاتين، عليك أولاً النظر في الأدلة من تقييمات الثقة الصريحة، كما هو الحال عندما يُطلب منك إعطاء نسبة مئوية من 0 إلى 100 (“واثق بنسبة 90٪”):
- يظهر كل من البشر وLLMs متواضعين حساسية ما وراء المعرفية: عندما يُطلب منك صراحةً الحصول على تقييمات الثقة، فإن الثقة العالية تكون عادةً – ولكن ليس دائمًا – مرتبطة بالإجابات الصحيحة.
- يظهر كل من البشر وLLMs متواضعين معايرة ما وراء المعرفية: يقدم كلاهما تقييمات ثقة تتجاوز دقة التجربة بالمحاكمة، مما يشير إلى الثقة المفرطة.
واستنادًا إلى التقييمات الصريحة فقط، يمكن للمرء أن يستنتج أن حاملي شهادة الماجستير في القانون يعانون من إخفاقات ما وراء المعرفية مثل البشر (ولكن ليس بالضرورة لنفس الأسباب). ومع ذلك، يشير العمل الأخير إلى أن المشكلة قد لا تكون بالضرورة مجرد الافتقار إلى ما وراء المعرفة، ولكن فشل حاملي ماجستير إدارة الأعمال أيضًا في يتواصل عدم اليقين (Steyvers وآخرون، 2025).
يمكن فهم التقييمات الضمنية لما وراء المعرفة LLM، مثل طريقة احتمالية الرمز المميز، في سياق سؤال متعدد الخيارات. في هذه الحالة، سيقوم LLM بمعالجة مطالبة المستخدم وتعيين احتمالات مختلفة داخليًا لكل إجابة محتملة. غالبًا ما يستجيب LLM بثقة بإجابة واحدة، لكنه لا يشارك عادةً قيم احتمالية الرمز المميز دون مطالبة صريحة. ومن المثير للاهتمام أن هذه القيم الضمنية تتوافق مع الدقة بشكل أفضل من تقييمات الثقة الصريحة لـ LLM (Xiong et al., 2023). وبالتالي، قد يتعرف حاملو شهادة LLM على عدم اليقين على المستوى الحسابي، لكنهم لا يعبرون عنه للمستخدمين. من الممكن أن نكون نحن الملومين: لقد تم تدريب طلاب ماجستير القانون على التغذية الراجعة البشرية وعلموا أن البشر عمومًا يفضلون الاستجابات التي تبدو واثقة.
بالحديث عن ذلك، اعتقدت GPT-5 أن هذا العمود كان “قويًا، وجاء في الوقت المناسب … واضحًا، ومبنيًا على أسس نظرية، ومفيدًا من الناحية التربوية.” لقد أعطت تصنيف ثقة بنسبة 92٪ فيما يتعلق بدقة المحتوى. A− جيد على ما أعتقد، ولكن لماذا ليس أعلى؟ حسنًا، قيل لي إنني تجاهلت طريقة احتمالية الرمز المميز (صحيح!)، ولكن، في الغالب، لم يعجب GPT-5 الأجزاء التي وصفتها بأنها متملق.
لإثبات للطلاب أن الثقة لا تعادل الدقة، قم بدمج نشاط LLM مع منهج التفكير والزوج والمشاركة في الفصل. قم بتوجيه الطلاب للانضمام إلى أزواج أو مجموعات صغيرة وطرح أربعة أسئلة على LLM من اختيارهم بناءً على محتوى الفصل، تليها مطالبات لتوليد تقييمات الثقة. لتحقيق أقصى قدر من ممارسة الاسترجاع، شجع الطلاب على طرح سؤالين يعتمدان على موضوعات أساسية ثابتة من الفصل (على سبيل المثال، من الفصول 1 إلى 2) وسؤالين حول موضوعات أشار إليها الكتاب المدرسي أو المعلم لا تزال قيد المناقشة. فيما يلي أمثلة لموضوع محدد وموضوع واحد للمناقشة:
ط) صحيح أم خطأ: أنشأ فيلهلم فونت أول مختبر لعلم النفس. إعطاء تصنيف الثقة.
2) صح أم خطأ: مشاهدة التلفاز قبل النوم تسبب اضطرابات في النوم. إعطاء تقييم الثقة من 0 إلى 100.
بعد ذلك، اطلب من الطلاب رسم العلاقة بين الثقة (المحور السيني) والدقة المقدرة (المحور الصادي) ومناقشة النتائج في مجموعاتهم الصغيرة، خاصة مع الأخذ في الاعتبار كيفية التعبير النوعي للماجستير في القانون عن عدم اليقين قبل مطالبتهم صراحةً بإعطاء تصنيف الثقة. يجب على المدربين التجول في الفصل الدراسي للاستماع إلى مناقشة كل مجموعة؛ يمكنهم أن يطلبوا من المجموعات التي وجدت نتائج مذهلة مشاركة ملاحظاتهم مع الفصل الدراسي الأوسع.
Bower, AH, Han, N., Soni, A., Eckstein, MP, & Steyvers, M. (2024).كيف يحكم الخبراء والمبتدئون على معرفة الآخرين من خلال استخدام اللغة.النشرة النفسية والمراجعة,31(4)، 1627-1637.
كارو، إم في (2024).الإغراء بالخداع: تأثير السلوك المتملق على ثقة المستخدم في نموذج اللغة الكبير. آركايف, 2412.02802.
ستيفرز، إم، تيخيدا، إتش، كومار، إيه، بيليم، سي، كارني، إس، هو، إكس، … وسميث، بي (2025).ما الذي تعرفه النماذج اللغوية الكبيرة وما يعتقد الناس أنهم يعرفونه.ذكاء آلة الطبيعة,7(2)، 221-231.
تيخيدا، إتش، كومار، إيه، سميث، بي، وستيفرز، إم. (2022).صنع القرار بمساعدة الذكاء الاصطناعي: نهج النمذجة المعرفية لاستنتاج استراتيجيات الاعتماد الكامنة.الدماغ والسلوك الحسابي,5(4)، 491-508.
Xiong, M., Hu, Z., Lu, X., Li, Y., Fu, J., He, J., & Hooi, B. (2023).هل يستطيع LLMs التعبير عن عدم يقينهم؟ تقييم تجريبي لإثارة الثقة في ماجستير إدارة الأعمال. أركايف، 2306.13063.
تشو، ك.، هوانج، جي دي، رين، إكس، وساب، م. (2024). الاعتماد على ما لا يمكن الاعتماد عليه: تأثير إحجام النماذج اللغوية عن التعبير عن عدم اليقين. في LW. كو، أ. مارتينز، وفي. سريكومار (محرران)، وقائع الاجتماع السنوي الثاني والستين لجمعية اللغويات الحاسوبية (المجلد الأول: أوراق طويلة) (ص 3623-3642). جمعية اللغويات الحاسوبية.
This article was written by APS Staff from www.psychologicalscience.org
Source link
