في دراسة أجريت على ChatGPT وBard وBing Chat، وجد المستخدمون أن هذه الأدوات مفيدة وجديرة بالثقة. لقد توقعوا أن تقوم روبوتات الدردشة المدعمة بالذكاء الاصطناعي بتجميع المعلومات بطريقة موجزة ومحددة، مع مراعاة الإشارات السياقية بشكل كامل.
لقد ساهمت روبوتات الذكاء الاصطناعي التوليدي، مثل ChatGPT وBing وBard، في تقليل حجم العمل المطلوب من المستخدمين للعثور على المعلومات وجمعها. فبدلاً من القيام بكل أعمال البحث عن المعلومات (والتي تتضمن البحث في العديد من صفحات الويب المتاحة لهم والتقاط أجزاء من المعلومات أثناء التنقل)، يستطيع الأشخاص الآن استخدام الروبوت لتزويدهم بإجابة دقيقة وموجزة في كثير من الأحيان. ومع ذلك، فإن روبوتات الدردشة هذه بعيدة كل البعد عن الكمال: يواجه الأشخاص صعوبة في التعبير عن مطالبهم والحصول على النتائج التي يرغبون فيها. بالإضافة إلى ذلك، يمكن للروبوت في بعض الأحيان أن “ينسى” السياق ويقدم إجابات عامة أو غير ذات صلة، مما يجعل إكمال المهام أمرًا مملاً. لفهم كيفية استفادة المستخدمين من هذه الأدوات، ومواقفهم تجاهها، وأنماط استخدامها، أجرينا دراسة يومية تتبع مستخدمي chatbot AI على مدى أسبوعين. وفي هذه المقالة، نعرض بعض النتائج العامة التي توصلت إليها هذه الدراسة.
دراسة يومية مع 18 مشاركًا
كان لدى المشاركين مستويات مختلفة من الخبرة في التعامل مع روبوتات الدردشة: بعضهم استخدمها من قبل، وبعضهم استخدم روبوتًا واحدًا لكنهم اختبروا روبوتًا آخر في الدراسة، والبعض الآخر سمع عنها ولكن لم يستخدمها. لقد قاموا بتسجيل جميع محادثاتهم مع الروبوتات على مدى أسبوعين. وفي نهاية دراسة اليوميات، تمت دعوة 14 مشاركًا لإجراء مقابلات متعمقة. أجريت الدراسة في ماي وجوان 2023.ؤسجل المشاركون ما مجموعه 425 محادثة مع الروبوتات. في المتوسط، سجل كل مشارك 23.61 محادثة. تم إجراء معظم المحادثات (83.29%) في منازل المشاركين. كان الجهاز المفضل هو جهاز كمبيوتر سطح المكتب – ولكن من المحتمل أن يكون ذلك بسبب الإعداد الذي فرضناه لدراسة اليوميات (كان على المشاركين تثبيت ملحق متصفح لتسجيل محادثاتهم).
أنواع المحادثات
شارك المشاركون في مجموعة واسعة من المحادثات مع الروبوتات. كان الهدف من بعض المحادثات اختبار الروبوتات واستكشاف حدودها. لكن معظم المحادثات كانت موجهة نحو هدف إعلامي. (نقدم أدناه روابط فقط لتلك المحادثات التي لا تحتوي على معلومات يمكن تتبعها للوصول إلى المشاركين.) وعلى الرغم من أن نطاق المحادثات كان كبيرًا جدًا، إلا أن معظم المحادثات (75 بالمائة) تضمنت البحث عن معلومات . تهدف بعض هذه الأنشطة إلى العثور على حقيقة محددة، وكان بعضها الآخر مفتوحًا ويبحث في موضوع أوسع، بينما كان البعض الآخر يبحث عن توصيات لمنتج أو مورد. ثاني أكبر فئة من المحادثات (14 بالمائة) كانت أنشطة الإنشاء . يتضمن ذلك مطالبة الروبوت بإنشاء شيء جديد – مثل وصفة، أو خطة وجبات، أو لون، أو صورة، أو بريد إلكتروني. كانت العديد من أنشطة الإنشاء هذه تدور حول كتابة النصوص (على سبيل المثال، رسائل البريد الإلكتروني، والسيرة الذاتية، والرسائل المهنية). نوع المحادثة الآخر الشائع إلى حد ما (8 بالمائة) هو الترفيه . في هذه الفئة، رأينا المستخدمين يختبرون حدود الروبوتات من خلال مطالبتهم بإجراء العمليات الحسابية الأساسية، وإنشاء نكتة، ولعب ألعاب مثل عشرين سؤالًا، والتجادل معهم حول موضوع ما (على سبيل المثال، ولاية كارولينا الشمالية مملة) . كانت نسبة صغيرة (3.6 بالمائة) من الأنشطة التي سجلها المشاركون لدينا عبارة عن أنشطة تركز على المهام : حيث تضمنت الاستعانة بالروبوتات للمساعدة في حل مشكلة معينة كانوا يواجهونها – على سبيل المثال، اكتشاف كيفية ترميز شيء ما بلغة برمجة معينة ، تعليمات لإعداد سطح مكتب افتراضي لعدة مستخدمين، وترجمة ملاحظة من الإنجليزية إلى الإسبانية.
يوضح هذا الرسم البياني أنواع المحادثات التي أجراها المشاركون مع الروبوتات. النسب المئوية مرتبطة بإجمالي عدد المحادثات التي تم تسجيلها في الدراسة. تم تصنيف بعض المحادثات في فئات متعددة.
لاحظ أن الحدود بين هذه الأنواع من الأنشطة مرنة تمامًا – على سبيل المثال، يمكن اعتبار جلسة العصف الذهني المفتوحة بمثابة نشاط للبحث عن المعلومات أو كنشاط إبداعي. لقد اخترنا أن نصنف على أنها إبداعات فقط تلك الأنشطة التي أنتجت قطعة أثرية محددة للغاية (مثل قصيدة أو خطة تمرين). يمكن أيضًا اعتبار الأنشطة الخاصة بالمهمة بمثابة نوع خاص من نشاط الإنشاء الذي يتضمن إنشاء تعليمات دقيقة. لاحظ أيضًا أننا نتوقع العثور على فئات مختلفة في جماهير مختلفة (ولهذا السبب لا نحاول تعميم النسب النسبية لهذه الأنشطة على السكان بشكل عام). على سبيل المثال، قد يركز المحترفون في المقام الأول على أنشطة الإبداع. ونتوقع أيضًا أنه مع استمرار الناس في بناء الإلمام بروبوتات الذكاء الاصطناعي، فإن الأنشطة الترفيهية تفقد جاذبيتها أو تتطور لتصبح لها دور الرفقة الاجتماعية.
درجات المساعدة والجدارة بالثقة
في كل محادثة، كان على المشاركين تقييم ما إذا كان برنامج الدردشة الآلي قادرًا على مساعدتهم في المهام ومدى موثوقية إجابة الروبوت.
بشكل عام، كان الناس سعداء جدًا بروبوتات الدردشة وصنفوا تفاعلاتهم على أنها مفيدة وجديرة بالثقة. على مقياس من 1 إلى 7 (1 = منخفض، 7 = مرتفع)، بلغ متوسط درجة المساعدة 5.77 عبر جميع الروبوتات وكان تصنيف الجدارة بالثقة 6.00. ليس من المستغرب أن تكون هناك علاقة بين درجات المساعدة والجدارة بالثقة (ص = 0.68، ف <0.0001).
كان متوسط تقييمات المشاركين للمساعدة والجدارة بالثقة (المقياس 1-7، 1 = منخفض، 7 = مرتفع) مرتفعًا جدًا. تمثل أشرطة الخطأ فواصل الثقة 95 بالمائة.
حوالي نصف المحادثات (53 بالمائة، فاصل الثقة 95 بالمائة: 0.48-0.58) تمت متابعتها بإجراء. في بعض الأحيان، كان الإجراء يتضمن التحقق مرة أخرى من المعلومات التي يقدمها الروبوت. وفي حالات أخرى، تصرف المستخدمون بناءً على تلك المعلومات (على سبيل المثال، شراء المنتج أو استخدام خدمة موصى بها من قبل الروبوت، أو إرسال بريد إلكتروني تم إنشاؤه باستخدام الروبوت، أو حتى بدء محادثة جديدة بناءً على المحادثة السابقة)؛ كان هذا النوع من السلوك بمثابة تأكيد مباشر للقيمة التي يقدمها الروبوت. تشرح الأقسام التالية الأسباب الكامنة وراء تقييمات المساعدة والجدارة بالثقة.
مساعدة الروبوت: الزيارات والأخطاء
كان هناك العديد من الأسباب التي جعلت الناس راضين جدًا عن الروبوتات، لكنها جميعًا تتلخص في موضوع واحد كبير: الروبوتات تختصر مهمة البحث عن المعلومات .
(1)-اختصار البحث عن المعلومات
– إن البحث عن المعلومات على الويب عبارة عن عملية تشتمل تقليديًا على 3 مكونات (مع وجود المكون الأخير في بعض المهام فقط):
– البحث عن مصادر محتملة للمعلومات (عادةً على شكل مجموعة من الروابط على صفحة نتائج محرك البحث)
– تقييم المصادر الواعدة واستخراج المعلومات ذات الصلة منها
– قم بتجميع جميع المعلومات التي تم العثور عليها في إجابة متماسكة تستجيب لاحتياجات المستخدم.
– كل هذه العمليات عادة ما يكون لها تكلفة تفاعل عالية .
– تساعد محركات البحث المستخدمين في الجزأين الأولين من البحث عن المعلومات: فهي تقوم بترتيب الصفحات المختلفة، ومؤخرًا، قد تقدم مقتطفًا قصيرًا من الصفحة في شكل مقتطف مميز. بالنسبة للعديد من الاستفسارات، سيتضمن المقتطف المميز الإجابة التي يبحث عنها المستخدم بالضبط وسيغادر المستخدم صفحة نتائج البحث دون النقر على أي رابط (ظاهرة تُعرف بالتخلي الجيد ) .
(2)- Google يقدم المقتطف المميز إجابة على SERP.
ومع ذلك، فإن روبوتات الذكاء الاصطناعي التوليدية قادرة على القيام بذلك، وأكثر من ذلك بكثير. معهم، تصبح خطوات البحث عن المعلومات بمثابة صندوق أسود: يقدم المستخدم استعلامًا ويحصل على إجابة متماسكة بناءً على مصادر متعددة للمعلومات، وغالبًا ما يكون ذلك دون معرفة مصدر هذه المعلومات بالضبط. وهذا يلغي الحاجة إلى البحث في العديد من المواقع، ومسح الصفحات وصفحات المعلومات، واستخراج البتات ذات الصلة. يتم تنفيذ كل هذا العمل في الخلفية بواسطة روبوت الذكاء الاصطناعي ويُترجم إلى مكافأة كفاءة ضخمة للمستخدمين.
في البحث عن المعلومات المستندة إلى محرك البحث، يجب على المستخدم القيام بعمل البحث عن المعلومات وتقييمها وتجميعها. في المقابل، مع روبوت الذكاء الاصطناعي التوليدي، يتم ضغط العملية برمتها لصياغة استعلام والحصول على إجابة. في بعض الأحيان، يقوم المستخدم بتحسين استعلامه بشكل أكبر بناءً على إجابة الروبوت. تتم إزالة أعباء البحث والتقييم والتجميع من على عاتق المستخدمين. ونتيجة لذلك، أعرب العديد من المشاركين عن تقديرهم لأن الروبوت قد وفر لهم الوقت:
– كانت فكرتي العامة عن البرنامج بأكمله هي أن [ChatGPT] كان سريعًا ودقيقًا.
– يمتلك Bard محرك بحث Google للاستخدام واللعب ويمكنه البحث في قواعد بيانات متعددة في وقت واحد خلال ثوانٍ للذهاب وسحب المعلومات .
– بالنسبة لي، إنه توفير رائع للوقت ، يشبه إلى حد كبير المساعد.
– لقد اندهشت تمامًا من الذكاء الاصطناعي [Bing] خلال الأسبوعين الماضيين وسيصبح جزءًا من جهد العمل اليومي الآن.
– هناك الكثير من الأشياء التي يمكنني استخدامها لمساعدتي أثناء العمل لتجعلني أكثر كفاءة وإنتاجية .
ومع ذلك، كانت ردود أفعال الناس العاطفية تجاه هذه الكفاءة المحسنة مختلطة. كان بعض المشاركين يشعرون بالقلق من أن الروبوتات قد تشكل تهديدًا لوظائفهم:” لقد فوجئت حقًا وشعرت بالتهديد في آن واحد من مدى سرعة قدرة الذكاء الاصطناعي [ChatGPT] على استيعاب المعلومات الموجودة على ملصقات GIF واستخدامها.”
وأدرك مشاركون آخرون أن هذه الكفاءة من شأنها أن تغير طبيعة وظائفهم، ولكن بطريقة إيجابية ومثيرة: “أنا مصمم جرافيك عن طريق التجارة، هل تعلم؟ […] يمكنني بالتأكيد أن أرى أن بعض الأشياء التي أقوم بها في وظيفتي والتي قد تستغرق وقتًا طويلاً، أصبحت الآن […] تتم في ثوانٍ فقط [باستخدام ChatGPT]. لذلك، لا أرى أن ذلك يمثل تحديًا لعملي بالضرورة. مثل، سوف يسلب وظيفة. هذا يعني فقط أنه سيتعين عليك التركيز على المكان الذي تستخدم فيه وقتك وستقول، “حسنًا، لن أحتاج إلى إضاعة وقتي في هذه الأشياء بالضرورة في المستقبل”، وأنا” سأكون قادرًا على تركيز وقتي على شيء مختلف.”. إن عنصر البحث عن المعلومات الذي يستفيد أكثر من روبوتات الذكاء الاصطناعي هو التجميع ، والذي عادة ما يكون موجودًا في الأنشطة البحثية. تتضمن مثل هذه الأنشطة عادةً الجمع بين المعلومات من مصادر متعددة واستخراج المعلومات الأساسية. وقد لاحظ العديد من المشاركين وعلقوا على هذا الجانب:
– من المثير للاهتمام بالنسبة لي مقدار المعلومات التي يمتلكها [ChatGPT]، مثل أنه قادر على الجمع بين شيئين.
– لذا، فإن ChatGPT قادر على […] النظر إلى نطاق واسع جدًا من المعلومات ثم تضييق نطاقه ليشمل ما أحتاج إليه بالضبط، وهو أمر مفيد.
– ChatGPT كان قادرًا على إطلاعي على معلومات الشركة بسرعة وتوحيد المعلومات التي أملكها أو التي يمكن أن تكون متاحة لي في مكان واحد من خلال مجموعة واحدة من الأفكار. وهذا أكثر فعالية من البحث في الإنترنت والعثور على وجهات نظر متعددة حول نفس الموضوع.
– إنها طريقة جيدة لجعل المعلومات موجزة … أعطاني [بارد] جدولاً أو طريقة مختصرة لعرض كل تلك المعلومات.
– و… بدلاً من الاضطرار إلى تصفح جميع […] صفحات الويب للحصول على المعلومات، كان [ChatGPT] يعيدها إليّ .
أداة للــتــعــلــم
في العديد من المواقف، ساعدت الروبوتات المستخدمين على معرفة ما لم يعرفوه وعلمتهم عن بنية مساحة المعلومات التي كانوا يستكشفونها . غالبًا ما تحتوي ردود الروبوتات على حقائق أو مصطلحات كانت جديدة تمامًا للمستخدمين. ألهمت هذه الإجابات المشاركين لطرح أسئلة توضيحية (أو تحسينات للاستعلام – انظر أدناه) واستكشاف طرق مختلفة، كما هو موضح في الاقتباسات التالية:
– أعطاني [ChatGPT] نظرة عامة ثم كان السؤال اللاحق يقول هنا بعض الأشياء الأخرى المرتبطة بذلك ولم أفكر في ذلك… سأذهب وأستخدم هذا الخط الجديد من الأسئلة وأسأل الذكاء الاصطناعي عما يمكن أن يقدمه لي عن ذلك. لذا، فيما يتعلق بالبحث أو تطوير المواضيع في البحث، فهذا مفيد بشكل لا يصدق.
– أشعر بالثقة من أن ChatGPT سيكون قادرًا على الإمساك بيدي طوال هذا المشروع للتحقق من البيانات، وتقديم أفكار لمصادر بيانات إضافية لإجراء تنبؤات أكثر دقة، وتعزيز نموذج البيانات الخاص بي[..] [يمكن أن يساعدني] في “تحليل البيانات” وتحديد الاتجاهات أو الأنماط التي قد تكون مفيدة في إجراء تنبؤ مستنير.
وهكذا عملت الروبوتات كأداة للاكتشاف والتعلم في مجالات غير مألوفة، مما أدى إلى إثراء فهم الأشخاص للموضوع ومساعدتهم على اكتساب الفروق الدقيقة. وفي بعض الحالات، تمكنت الروبوتات من تصحيح الأخطاء البشرية أو المفاهيم الخاطئة وتوجيه المستخدمين إلى المسار الصحيح. على سبيل المثال، عندما طلب أحد المشاركين من ChatGPT كتابة قصة من 70 صفحة للأطفال الذين تتراوح أعمارهم بين 2 و7 سنوات، أجاب الروبوت بأن هذا الكتاب سيكون طويلًا جدًا بالنسبة لطفل في هذا العمر وأعطاه كتابًا أقصر بدلاً من ذلك. قال المشارك:” لقد أذهلتني النصيحة المقدمة لموجهتي. [ChatGPT] أدركت منظمة العفو الدولية أن متطلباتي كانت متعارضة وحلتها. الكتاب جيد ايضا!”.
يعتقد البعض أن الروبوتات تسمح لهم باستكشاف موضوعات غير مألوفة دون تدريب يستهلك الكثير من الوقت: “أجد جانب البرمجة أكثر [تمكينًا] لأنه […] يمكنني ترجمة الأشياء بلغات لا أفهمها أو فقط […] احصل على بداية جيدة في الأشياء التي لا أفهمها حقًا. والتكنولوجيا تتحرك بسرعة”.
نــقــاط الألــم
على الرغم من الدرجات العالية للمساعدة، كانت هناك العديد من المواقف التي أدت إلى تقييمات منخفضة. في بعض الأحيان كان سبب ذلك أخطاء عرضية (على سبيل المثال، عندما لم يقدم الروبوت استجابة أو استغرق وقتًا طويلاً للرد)؛ ولكن ظهرت معظم المشكلات عندما لم تكن الروبوتات قادرة على تنفيذ البحث عن المعلومات بشكل جيد، حتى المستوى المتوقع من قبل المستخدم.
معلومات واسعة جدًا أو غامضة أو واضحة
كان الناس غير سعداء عندما قدم الروبوت معلومات تبدو عامة أو واضحة للغاية. على سبيل المثال، انزعج أحد المستخدمين عندما قدم ChatGPT معلومات عامة رفيعة المستوى حول كيفية العثور على عمل للمبتدئين.
– شعر أحد المشاركين بخيبة أمل بشأن الإجابة الغامضة التي قدمها ChatGPT فيما يتعلق بالعثور على وظائف للمبتدئين ( محادثة كاملة ).
– شعر مشارك آخر بخيبة أمل لأن Bing قدم إجابات واسعة جدًا وسهلة التخمين على سؤال حول كيفية التحسن في لعبة الشطرنج. هو قال:
– أشعر أن هذه الدردشة تحتوي على الكثير من النقاط مع القليل من التفاصيل . لقد بدأت بالسؤال “كيف يمكنني أن أتحسن في لعبة الشطرنج؟” كان الجواب: تعلم القواعد، العب كثيرًا، تدرب، وادرس. كل الأشياء الجيدة التي يجب القيام بها، ولكن لا توجد مساعدة في كيفية القيام بها […] قدم [Bing] أسئلة [مقترحة] اعتقدت أنها جيدة وستتعمق قليلاً: “كيف أدرس نهاية اللعبة؟” و”كيف أدرس الافتتاح؟” لقد أعاد كلاهما نفس الإجابة، فقط استبدلا “نهاية اللعبة” بـ “الافتتاح”، ومرة أخرى أخبراني فقط بالدراسة والتدرب دون مزيد من التفاصيل حول كيفية القيام بذلك . ولم تتضمن هذه النتائج حتى روابط أو مقاطع فيديو توجهني في الاتجاه الصحيح.
نظرًا لأن صياغة المطالبات الخاصة بالروبوتات تستغرق وقتًا أطول من كتابة استعلام في محرك البحث، فإن توقعات المستخدمين لهذه الأدوات أعلى من توقعات محركات البحث. إنهم يريدون إجابات محددة لمواقفهم الخاصة. عندما تفشل روبوتات الدردشة المدعمة بالذكاء الاصطناعي في التفوق على محركات البحث، يشعر المستخدمون بخيبة أمل. على سبيل المثال، سأل أحد المشاركين ChatGPT عن الأشياء التي يجب البحث عنها عند شراء سيارة Ford F150 موديل 1991 من مشتري مستعمل. قدم الروبوت نصائح عامة كانت صالحة لشراء أي سيارة قديمة، بدلاً من تزويد المستخدم بالمشكلات المحددة التي قد تكون نموذجية لتلك السيارة. قام المشارك بتقييم الاستجابة الغامضة التي قدمها الروبوت على أنها المحادثة الأكثر إحباطًا:” كنت آمل حقًا أن تزودني بتفاصيل خاصة بالسيارة، وقد أعطتني […] نظرة عامة حول ما يجب عليك فعله عند النظر إلى أي سيارة مستعملة. […] لم أكن معجبًا بهذا حقًا لأنه كان بإمكاني البحث في Google عما أبحث عنه في السيارة المستعملة، ومن المحتمل أن يمنحني هذا وأكثر. كنت آمل أن يمنحني […] أشياء خاصة بالطراز لأبحث عنها”.
قام المشاركون أيضًا بتعيين تقييمات منخفضة للمحادثات التي يبدو أن الروبوت فيها يتجنب موضوعًا مثيرًا للجدل:
– أردت معرفة المزيد عن بودكاست “الأسبوع في علم الفيروسات” مع الأشخاص الذين تطوعوا للسماح لأنفسهم بالإصابة بفيروس كوفيد. […] كان Bing بعيد المنال بعض الشيء في الإجابة.
– يبدو أن Bing حذر من أي شيء يتعلق بـCOVID أو الاقتصاد .
– طلبت من Bing أن يكتب لي أغنية بنبرة Sir Mix-a-Lot […] لكن Bing لم يفعل ذلك، وقال: “حسنًا، هذا نوع من المواد المسيئة” […] أردت أن أتخذ صيغة صعبة، مثل Two Live Crew وSir Mix-a-Lot، ومعرفة ما إذا كان ذلك سيخفف الأمر […] وفي الواقع، لم يكن بإمكانه ذلك، وكان تحت الحراسة ، [..] لم يسهل ذلك على الإطلاق.
توقع المشاركون أن يطرح الروبوت أسئلة إضافية لتحسين استفساراتهم والقدرة على توليد إجابات أكثر تحديدًا أو غير واضحة. ومع ذلك، فإن الروبوتات لم تفعل ذلك كثيرًا: فقط 16 محادثة من أصل 425 محادثة (3.76٪) تحتوي على تحسين الاستعلام الذي بدأه الروبوت. (بالطبع، العديد من الاستعلامات لا تتطلب تحسين الاستعلام.) لقد بدأت ببيان لطيف للغاية “أحتاج إلى توصية كتاب” وأعاد [Bing] أفضل 8 كتب لعام 2023 وفقًا لمجلة Vogue. يبدو هذا مكانًا جيدًا للبدء، لكنني أشعر أنه يجب أن يقدم لي أسئلة متابعة للمساعدة في تضييق نطاق بحثي أو تحسينه بدلاً من مجرد أسئلة المتابعة [المقترحة] لطرحها.
ق.ح
