مهندس ذكاء اصطناعي خلفي أول - تقييم جودة الوكيل

الوصف

عن الدور نحن ندير أنظمة متعددة الوكلاء في الإنتاج تتعامل مع عمل حقيقي لقاعدة كبيرة من المستخدمين. مع نمو هذه الأنظمة، فإن أكبر قيودنا هو الثقة: نحتاج إلى معرفة مدى جودة أداء الوكلاء، واكتشاف الانحدارات قبل شحنها، والحفاظ على جودة ثابتة أثناء الإصدار. هذا الدور يمتلك ذلك. ستقوم ببناء أنظمة التقييم خلف وكلائنا - الحكام، وأدوات الاختبار، والمحاكيات التي تخبرنا ما إذا كان الوكيل يعمل وأين يفشل. الهدف هو تمكيننا من شحن الوكلاء بشكل أسرع لأننا نثق بما يخبرنا به التقييم. التقييم هو التركيز، لكنه لن يكون الحد. نظرًا لأنك ستفهم أوضاع فشل الوكلاء أفضل من أي شخص آخر، ستكون هناك أيضًا فرص للمساهمة في تطوير الوكيل نفسه، وبناء وتحسين الوكلاء جنبًا إلى جنب مع الأنظمة التي تقيمهم. المسؤوليات امتلاك مكدس التقييم. تصميم وبناء أنظمة LLM-as-judge، ومعايرتها مقابل التسميات البشرية، وجعل جودة الوكيل قابلة للقياس لكل وكيل ولكل وضع فشل. جعل بوابة الإصدار حقيقية. بناء أدوات تقييم لكل طلب سحب (PR) واكتشاف الانحدار المتصل بـ CI، بحيث يتم فرض الجودة تلقائيًا، وليس عن طريق التمريرات اليدوية. بناء محاكيات المستخدم لتوليد تغطية الاختبار والحالات العدائية قبل أن يواجهها المستخدمون الحقيقيون. تحويل إشارة الإنتاج إلى تحسين - إعادة توجيه الإخفاقات الحقيقية إلى مجموعات التقييم بحيث يتضاعف النظام بمرور الوقت. الشراكة مع المنتج لتحويل "ما يبدو جيدًا" إلى معايير ملموسة وقابلة للقياس. النمو في تطوير الوكيل - المساهمة في بناء وتقوية الوكلاء أنفسهم، بدءًا من المكونات التي تعرفها بعمق من تقييمها. أساسيات هندسة البرمجيات القوية. Python أو Typescript للإنتاج (أو ما شابه)، تصميم واجهة برمجة تطبيقات ونظام نظيف، اختبار، CI/CD. أنت تكتب تعليمات برمجية يبني عليها الآخرون - البنية التحتية للتقييم هي هندسة حقيقية. خبرة عملية في LLM/الوكيل. لقد قمت بالبناء باستخدام LLMs - الوكلاء، RAG، استدعاء الأدوات/الوظائف، أطر التنسيق (LangGraph، LangChain، أو ما يعادلها) - وتفهم كيف تتصرف وتتعطل. عقلية القياس. أنت تفكر في المقاييس والمعايرة والتجارب؛ تريد تحديد ما إذا كان شيء ما يعمل، وليس مجرد شحنه. خبرة الإنتاج. لقد قمت بتشغيل أنظمة LLM في الإنتاج وتعاملت مع الموثوقية، زمن الوصول، التكلفة، وإمكانية المراقبة. 5+ سنوات من هندسة البرمجيات، مع عمل حديث وعملي في LLM/الوكيل. مزايا إضافية خبرة مباشرة في تقييم أنظمة LLM/الوكيل - التقييم دون اتصال/عبر الإنترنت، LLM-as-judge، اختبار الانحدار المنهجي. أدوات المراقبة (Arize، LangSmith، أو ما شابه). خبرة في اللغة العربية / معالجة اللغة الطبيعية (NLP). خبرة في التجارة الإلكترونية أو المنتجات الموجهة للتجار.

ما ستقوم به

• • - تصميم وبناء أنظمة التقييم، بما في ذلك LLM-as-judge وأدوات الاختبار، لقياس جودة الوكيل ومنع الانحدارات. تطوير محاكيات المستخدم ودمج بوابات الجودة الآلية في خط أنابيب CI لتسريع نشر الوكيل.

المتطلبات

يتطلب 5+ سنوات من الخبرة في هندسة البرمجيات مع عمل حديث وعملي في وكلاء LLM، RAG، وأطر التنسيق. يجب أن يمتلك أساسيات قوية في Python أو Typescript وعقلية تعتمد على القياس لتحديد أداء النظام كميًا.

الأسئلة الشائعة