ماذا نتعلم حين لا تحقق التجربة النتيجة المتوقعة؟

ملاحظات عمل ADL — 01

أحيانًا تُختتم نتيجة تجربة بجملة واحدة: لم تتحقق الزيادة المتوقعة.

لكن خلف هذه الجملة تبقى أسئلة أخرى. أين أفادت الآلية التي اختبرناها؟ وما كلفة ميزتها الصغيرة؟ أيّ توقع ينبغي أن نتخلى عنه، وأيّ سؤال ينبغي أن نواصل تتبعه؟

جعلت إحدى التجارب الأخيرة في ADL هذه الأسئلة ملموسة. كانت مقارنة تدخلين في التعلم واختيار ما يبدو أفضل فكرة معقولة للبدء. لكن النتيجة أظهرت أن تقدير قيمة هذا الاختيار يحتاج إلى حساب أدق.

هل يؤدي الاختيار الأفضل إلى تعلم أفضل؟

ADL مشروع بحثي يتناول النموذج الذي يتعلم والآلية التي تختار التدخلات فيه كلًّا على حدة. فكيفية اتخاذ قرار التغيير موضوع للبحث بقدر كيفية تغير النموذج نفسه.

اختبرت هذه التجربة سؤالًا محددًا:

إذا قيّمنا مقترحين للتغيير في كل خطوة واخترنا ما يخفض خطأ التدريب بدرجة أكبر، فهل نحصل على نتيجة أفضل خلال الوقت نفسه؟

كانت الآلية تعمل على النحو الآتي: تُنشأ نسختان تجريبيتان منفصلتان من الحالة الحالية للنموذج، ويُقيّم مقترح واحد في كل نسخة. ثم يُختار المقترح ذو خطأ التدريب الأقل؛ وإذا تحقق شرط التحسن المطلوب، يُنقل ذلك التغيير وحده إلى النموذج الفعلي.

وبذلك استند القرار إلى معلومات أكثر مما توفره تجربة مقترح واحد. إلا أن الحصول على هذه المعلومات كانت له كلفة أيضًا.

تحديد المعيار قبل الاطلاع على النتيجة

قد تبدو طريقة ما مقنعة بسهولة إذا ظهرت جيدة في بعض المقارنات. لذلك حُدد معيار نجاح التجربة قبل تنفيذها.

كان المتوقع أن تحسن الطريقة المرشحة الدقة النهائية بما لا يقل عن 3 نقاط مئوية مقارنة بكل واحدة من أربع طرق مقارنة، ضمن ميزانية زمنية متساوية قدرها ثانية واحدة على وحدة المعالجة المركزية.

كان هذا الشرط مهمًّا. فتجاوز طريقة أضعف لا يثبت تقدمًا كافيًا مقارنة بطريقة قوية.

أُجريت التجربة على مهمة تصنيف اصطناعية صغيرة. استُخدمت عشرون بذرة عشوائية مختلفة وست طرق وثلاثة تكرارات للقياس الزمني. وقِيست الدقة على بيانات تقييم محجوزة لم تُستخدم في التدريب، وذلك في نهاية كل تشغيل. ولم تُنتقَ نقطة وسيطة لأنها بدت الأفضل.

كانت النتائج متقاربة جدًّا

حققت الطريقة المرشحة التي تختار الأفضل من مقترحين وطريقة المقارنة القوية النتائج الآتية:

الطريقة	الدقة النهائية على بيانات التقييم المحجوزة
تقييم مقترحين واختيار الأفضل	91.11%
اختيار مقترح تغيير إحداثي واحد باحتمال متساوٍ	91.02%

كان الفرق نحو 0.09 نقطة مئوية.

أما الهدف المحدد مسبقًا فكان 3 نقاط مئوية. وحتى الحد الأعلى لفاصل عدم اليقين في هذه المقارنة ظل دون الهدف. لذلك رُفضت فرضية الجودة الأساسية للتجربة.

نطاق هذا القرار محدد: لم يُثبت أن هذه الآلية تحقق تحسنًا بالحجم المتوقع في ظل هذه المهمة وهذه الميزانية. ولم تُغلق بهذه النتيجة وحدها جميع الأسئلة البحثية في ADL.

ومع ذلك، كان القرار بشأن المرشح المختبَر واضحًا. لم تتوافر أدلة كافية للمضي به بوصفه تحسينًا ناجحًا للجودة.

بدا الاختيار مفيدًا؛ لكن الحساب كان يحتاج إلى استكمال

تضمنت التجربة حالة ضابطة إضافية. وكانت هي أيضًا تقيّم مقترحين، لكنها تستخدم الأول بدلًا من الاختيار بناءً على نتائجهما.

حققت الطريقة المرشحة التي تختار المقترح الأفضل نتيجة أعلى من هذه الحالة الضابطة بنحو 0.97 نقطة مئوية. كان ذلك استنتاجًا استكشافيًّا عن إسهام الاختيار. لكنه لم يستوفِ شرط النجاح المحدد مسبقًا أمام طريقة المقارنة القوية.

وأظهرت نتائج الكلفة اتجاهين مختلفين أيضًا.

استخدم المرشح نحو 36% أقل من عمليات المرور الأمامي للنموذج مقارنة بطريقة المقارنة القوية. في المقابل، زاد الوقت الذي استغرقه Controller، الذي يجهز التدخلات ويقيّمها ويديرها، بنحو 10.5%. ولم يُؤكَّد وجود وفر في إجمالي الوقت المقاس.

لم يكن انخفاض عدد استدعاءات النموذج حسابًا كافيًا بمفرده. كان ينبغي احتساب الوقت الذي تستخدمه آلية الاختيار ضمن الميزانية نفسها أيضًا.

لم تُقَس في هذه التجربة الطاقة المستهلكة ولا الكلفة الشاملة لسير العمل من بدايته إلى نهايته. لذلك لا تتيح النتيجة الادعاء بوجود وفر في هذين المجالين.

تحولت السجلات نفسها إلى سؤال جديد

بعد النتيجة، أُعيد فحص سجلات التجربة الموجودة. ولم يُجرَ تشغيل تعلم جديد من أجل هذا الفحص.

كان السؤال هذه المرة أضيق: ما مقدار التقدم الذي توفره آلية الاختيار لكل تدخل؟ وكيف يبدو هذا التقدم عند قسمته على الوقت الذي استهلكته؟

في التحليل الاستكشافي، أدى اختيار الأفضل من مقترحين إلى زيادة تقدم التدريب لكل جولة بنحو 15% مقارنة بالحالة الضابطة التي تستخدم المقترح الأول. لكن تقدم التدريب لكل ثانية من وقت Controller كان أقل بنحو 12% مقارنة بطريقة المقارنة القوية.

كانت الملاحظتان مفيدتين عند النظر إليهما معًا. بدا ممكنًا اختيار تغيير أفضل داخل الجولة؛ غير أن الوقت اللازم لتجهيز الجولة وتقييمها قد يحد من تلك الميزة.

لم يحدد التحليل العملية الفرعية التي سببت الفرق في إجمالي كلفة Controller. لذلك لم تتوافر بيانات كافية لإرجاع المشكلة إلى النسخ أو توليد المقترحات أو ترتيبها وحده.

ما الذي ينبغي أن تغيره التجربة التالية؟

أُغلق هذا المسار التجريبي. وبدلًا من تغيير البذور أو الميزانية أو إعدادات المرشح نفسه بحثًا عن نتيجة أكثر ملاءمة، اختير الحفاظ على السجلات واختبار آلية مختلفة تحت سؤال مستقل.

يستكشف المرشح التالي معيار قبول يضيف عقوبة ثابتة على مقدار الأوزان، بدلًا من تقييم مقترح واحد بحسب خطأ التدريب وحده. اكتمل تنفيذ الآلية واختبارها؛ لكن إسهامها في الجودة لم يُختبر بعد.

هنا أيضًا توجد عتبتان منفصلتان: أن تعمل الآلية كما وُصفت، وأن تحقق الإسهام المتوقع في التعلم. اجتياز الأولى لا يقدم نتيجة بشأن الثانية.

كان أنفع ما تركته هذه التجربة في ADL هو تحول التوقع إلى سؤال أوضح:

هل يستحق التقدم الذي يحققه التدخل مقدار الحساب الذي ننفقه لاختياره؟

هنا ستبحث التجربة التالية عن إجابة.

---

ملاحظة حول المصادر — 15 أكتوبر 2026: يستند المقال إلى تقرير تجربة F2-041، والتحليل الاستكشافي للسجلات الموجودة F2-042، وتقرير تنفيذ F2-043. تقتصر النتائج على مهمة اصطناعية صغيرة على وحدة المعالجة المركزية. تصف ملاحظة العمل هذه المصادر عند النقطة الزمنية المحددة؛ وليست تقريرًا آنيًّا عن حالة التجربة.

صفحة أبحاث ADL