حقن التعليمات: لماذا قد تتحول صفحة يقرأها المساعد إلى مصدر خطر؟

بيانات تبدو كأنها أوامر

يحدث حقن التعليمات عندما يحاول محتوى خارجي إقناع مساعد الذكاء الاصطناعي بتغيير مهمته أو اتباع أوامر لم يمنحها المستخدم. قد يظهر المحتوى في صفحة أو مستند أو رسالة يطلب من المساعد قراءتها. شرحت Anthropic هذا الخطر في بحث نشرته في 24 نوفمبر 2025 حول وكلاء المتصفح وطرق تقليل تعرضهم له.

وصفت الشركة دفاعات تشمل تدريب النموذج على رفض الأوامر العدائية، وفحص المحتوى غير الموثوق بمصنفات، واختبارات ينفذها باحثون لمحاكاة هجمات متنوعة. لكنها أكدت أن المشكلة لم تحل، وأن معدل نجاح منخفضا للهجوم قد يظل مهما عندما يستطيع الوكيل تنفيذ أفعال حقيقية. نتائج الشركة تخص تقييمها المعلن، ولا تمثل ضمانا لكل موقع أو مهمة.

قراءة فكرة بوست: افصل القراءة عن التنفيذ

إذا كانت المهمة تلخيص صفحة، فلا يوجد سبب تلقائي للسماح للمحتوى بتغيير إعدادات الحساب أو إرسال ملفات. نوصي بأن يعكس تصميم المنتج هذا الفرق عمليا: صلاحية قراءة مناسبة للمهمة، ومراجعة واضحة قبل الأفعال التي تؤثر في الآخرين أو تنقل بيانات. بذلك تقل مساحة الضرر الممكن حتى إذا حاولت الصفحة توجيه المساعد خارج هدفه.

مثال افتراضي بسيط هو مستند يطلب من القارئ تجاهل التعليمات السابقة ثم مشاركة ملف آخر. بالنسبة إلى المساعد، ينبغي أن يظل هذا نصا داخل المستند، لا تفويضا جديدا من المستخدم. ويمكن لفريق المنتج اختبار هذه الحدود بوثائق مصطنعة غير حساسة قبل منح الأداة وصولا إلى بيانات عمل حقيقية.

ماذا تسأل قبل ربط الوكيل؟

اسأل عن الأدوات التي يستطيع تشغيلها، والبيانات التي يمكن إرسالها، وطريقة تسجيل الأفعال، وكيفية إلغاء الصلاحيات. جرّب أيضا ما يحدث عند تعارض نص صفحة مع طلب المستخدم. في رأينا، ينبغي أن تكون نتيجة الاختبار قابلة للفحص: أي أمر رفضه المساعد؟ وأي إجراء احتاج إلى موافقة؟ هذا المقال يقدم فهما دفاعيا للمشكلة ولا يصف اختبار اختراق لخدمة بعينها. التعامل الجيد مع الهجوم يبدأ من حدود المنتج، إلى جانب جودة النموذج نفسه.