مهندس تقييم وكلاء ذكاء اصطناعي - مستقل (عن بعد) للعمل في برمجة وكمبيوتر وشبكات الرياض

حول الدور

نحن نبني مجموعة بيانات متطورة لتقييم وكلاء البرمجة بالذكاء الاصطناعي، بهدف قياس قدرة النماذج على التعامل مع مهام المطورين الواقعية. بصفتك مهندس تقييم مستقل، ستكون مسؤولاً عن تصميم وإنشاء مهام تقييم صعبة ومعايير دقيقة ضمن بيئات محاكاة واقعية. تتضمن المهمة بناء بيئات مطور شاملة (شركة افتراضية مع قاعدة كود، بنية تحتية، وسياق تطوير كامل)، وصياغة المهام التي تختبر حدود أفضل نماذج الذكاء الاصطناعي، وكتابة اختبارات تحقق من صحة حلول الوكيل بدقة.

المسؤوليات الأساسية

• بناء بيئات مطور واقعية: إنشاء شركة افتراضية متكاملة تشمل قاعدة كود، بنية تحتية، تذاكر، مستندات، وسجلات محادثات تشكل تاريخ تطوير قابل للتصديق.
• تصميم المهام التقييمية: صياغة مهام متوسطة إلى صعبة ضمن هذه البيئات، وتحديد الموجهات، وتعريف معايير الحل المقبول، والتأكد من أن المهمة قابلة للحل بواسطة وكيل ذكاء اصطناعي.
• كتابة اختبارات دقيقة: تطوير اختبارات تتحقق من حلول الوكيل، بحيث تقبل جميع الأساليب الصحيحة وترفض غير الصحيحة دون تشدد أو تساهل مفرط.
• تحسين المهام بناءً على الملاحظات: مراجعة حلول الوكيل، تحليل أسباب الفشل، وتعديل المهام والاختبارات لضمان تقييم عادل وقوي.
• توجيه وتقييم (لا برمجة من الصفر): الوكيل يكتب معظم الكود؛ أنت توجه وتقيّم جودة الحلول وملاءمتها للمعايير المحددة.

المؤهلات المطلوبة

• خبرة 5+ سنوات في تطوير البرمجيات.
• إتقان بايثون (FastAPI)، جافا سكريبت/TypeScript (React)، دوكر، بوستجرس، كافكا، ريديس.
• خبرة قوية في كتابة الاختبارات الوظيفية وتكامل الأنظمة.
• إجادة اللغة الإنجليزية بمستوى B2+.

المهارات المفضلة

• فهم عميق لنقاط ضعف النماذج المتطورة في الترميز (Claude، GPT، Gemini).
• قدرة على تصميم سيناريوهات تكشف الفرق بين الحل الجيد والحل السيئ.
• خبرة في أطر الاختبارات الآلية (pytest، Jest).
• مهارات تحليلية لتقييم حلول متعددة وقبول جميع الأساليب الصحيحة.

ما الذي يجعل هذه الفرصة مميزة

توفر هذه المهمة تحدياً تقنياً عالياً ومباشراً مع أحدث تقنيات الذكاء الاصطناعي. ستعمل بشكل مستقل، وتحدد جدولك الزمني، وتساهم في تحسين نماذج AI الرائدة. التعويض يصل إلى 50 دولاراً/ساعة مقابل إكمال مهام تقدر بحوالي 20 ساعة لكل منها. البيئة محفزة وتتطلب تفكيراً نقدياً عميقاً في تقييم وكلاء البرمجة.