مهندس تقييم | وكلاء البرمجة بالذكاء الاصطناعي الرياض للعمل في برمجة وكمبيوتر وشبكات

ملخص الدور

نبحث عن مهندس تقييم وكلاء البرمجة بالذكاء الاصطناعي للانضمام إلى مشروع بناء مجموعة بيانات متخصصة لتقييم أداء نماذج الذكاء الاصطناعي في التعامل مع مهام التطوير الحقيقية. ستتولى تصميم بيئات مطورين محاكية واقعية، وصياغة مهام تحدي من الحالات الوسيطة، وكتابة اختبارات تحقق دقيقة تقبل جميع الحلول الصحيحة وترفض الخاطئة، مع التكرار المستمر بناءً على ملاحظات مراقبة الجودة لضمان تقييم عادل وموثوق.

المسؤوليات الرئيسية

• بناء بيئات مطورين واقعية تتضمن شركة افتراضية بقاعدة بيانات، بنية تحتية، وسياق تطويري (تذاكر، مستندات، محادثات) يشكل تاريخاً قابلاً للتصديق.
• تصميم مهام تحدي من الحالات الوسيطة للبيئات: صياغة التعليمات، تحديد معايير الحل، وضمان قابلية الحل بواسطة وكيل الذكاء الاصطناعي.
• كتابة اختبارات تحقق وظيفية وتكاملية تتحقق من حلول الوكلاء — تقبل جميع الطرق الصحيحة وترفض الطرق الخاطئة بدقة متوازنة.
• مراجعة حلول الوكلاء، تحليل أنماط الفشل، وتحسين المهام والاختبارات تكراراً حتى يصبح التقييم عادلاً وموثوقاً.
• التعاون مع فريق مراقبة الجودة لتعديل المعايير بناءً على الملاحظات وضمان جودة مجموعة البيانات النهائية.

المؤهلات والخبرات المطلوبة

• 5+ سنوات خبرة في تطوير البرمجيات.
• إتقان التقنيات الأساسية: بايثون (FastAPI)، جافا سكريبت / TypeScript (React)، دوكير (Docker)، بوستجرس (PostgreSQL)، كافكا (Kafka)، ريديس (Redis).
• خبرة مثبتة في كتابة الاختبارات (وظيفية، تكاملية) وضمان جودة الشيفرة.
• إجادة اللغة الإنجليزية بمستوى B2 أو أعلى للتواصل التقني وقراءة الوثائق.
• فهم عميق لنقاط فشل نماذج الذكاء الاصطناعي المتقدمة في البرمجة، والقدرة على تصميم سيناريوهات تكشف الفارق بين الحلول الجيدة والسيئة.

المهارات التقنية والتحليلية

• تصميم بنى برمجية محاكية للواقع (قواعد بيانات، APIs، بنية تحتية موزعة).
• هندسة اختبارات قوية: تغطية شاملة للحالات الحدية، تجنب الإيجابيات/السلبيات الكاذبة.
• تحليل أداء نماذج LLM في مهام البرمجة، تحديد أنماط الخطأ، وصياغة معايير تقييم كمية ونوعية.
• العمل المستقل وإدارة الوقت: المهام تقدر بـ 20 ساعة لكل منها، مع مرونة في الجدولة والالتزام بالمواعيد النهائية ومعايير القبول.