مهندس بيانات L1 - عن بعد

الوصف

نحن نبحث عن مهندس بيانات L1 متحمس وقوي تقنيًا للانضمام إلى فريق البيانات والتحليلات المتنامي لدينا. في هذا الدور، ستكون مسؤولاً عن تصميم وبناء وصيانة بنية البيانات والبنية التحتية التي تدعم استراتيجية بيانات مؤسستنا. ستعمل بشكل مباشر على تطوير واختبار ونشر حلول بيانات موثوقة - مما يضمن أن خطوط الأنابيب قابلة للتطوير وفعالة ومتوافقة مع متطلبات العمل. هذه فرصة مثالية لمحترف البيانات الذي يتوق إلى تعميق خبرته في منصات البيانات السحابية الأصلية، لا سيما داخل نظام Microsoft Azure و Databricks البيئي، والذي يزدهر في بيئة تعاونية وسريعة الوتيرة. المسؤوليات الرئيسية • تصميم وتطوير وصيانة خطوط أنابيب البيانات القابلة للتطوير وسير عمل ETL/ELT لدعم حالات استخدام ذكاء الأعمال والتحليلات. • بناء وتحسين عمليات استيعاب البيانات باستخدام Azure Data Factory و Databricks، مما يضمن جودة البيانات واتساقها عبر جميع طبقات منصة البيانات. • تحويل ومعالجة مجموعات البيانات الكبيرة باستخدام PySpark و Python، وتطبيق أفضل الممارسات للأداء وسهولة الصيانة. • كتابة وتحسين استعلامات SQL المعقدة لدعم إعداد التقارير التحليلية ومتطلبات التحقق من صحة البيانات. • التعاون مع مهندسي البيانات وكبار المهندسين لتنفيذ وصيانة نماذج البيانات المتوافقة مع المعايير التنظيمية. • مراقبة واستكشاف الأخطاء وإصلاحها وحل أعطال خطوط الأنابيب ومشكلات جودة البيانات، وتطبيق تحليل السبب الجذري لمنع تكرارها. • المساهمة في توثيق خطوط أنابيب البيانات وقواميس البيانات ومعايير الهندسة. • دعم الفريق في استكشاف وتقييم الأدوات والأساليب الجديدة لتحسين البنية التحتية للبيانات باستمرار. خبرة لا تقل عن سنتين في هندسة البيانات أو دور وثيق الصلة. إتقان قوي للغة Python لمهام معالجة البيانات وتحويلها وأتمتتها. خبرة عملية مع Pandas لمعالجة البيانات و PySpark لمعالجة البيانات الموزعة. خبرة عملية مع Databricks، بما في ذلك تطوير الدفاتر والمجموعات وتنسيق المهام. خبرة في بناء وإدارة خطوط أنابيب البيانات باستخدام Azure Data Factory. معرفة عملية بـ Azure Synapse Analytics، لا سيما تكامل مجموعة Spark. مهارات SQL قوية، بما في ذلك كتابة الاستعلامات وتحسينها وضبط الأداء. الإلمام بمبادئ هندسة البيانات بما في ذلك التحميل التزايدي وبنية بحيرة البيانات و Delta Lake. فهم مفاهيم حوكمة البيانات والأمان ضمن منصة بيانات سحابية. مزايا إضافية: خبرة في مشاريع ترحيل SQL Server، بما في ذلك تحويل المخطط ونقل البيانات. التعرض لـ Terraform لتوفير وإدارة البنية التحتية لـ Azure. الإلمام بممارسات CI/CD المطبقة على سير عمل هندسة البيانات. خبرة في مفاهيم Delta Sharing أو Lakehouse Federation. متطلبات الشهادة: من المتوقع أن يحمل المرشحون أو يعملون بنشاط للحصول على شهادة Databricks Certified Data Engineer Associate. تتحقق هذه الشهادة من المعرفة الأساسية عبر المجالات التالية: هندسة وقدرات منصة Databricks Lakehouse سير عمل ETL و ELT باستخدام Spark SQL و PySpark معالجة البيانات التزايدية والتدفق المنظم تطوير وتنسيق خطوط الأنابيب الإنتاجية حوكمة البيانات والأمان داخل بيئة Databricks

ما ستقوم به

• • تصميم وبناء وصيانة خطوط أنابيب البيانات القابلة للتطوير وسير عمل ETL/ELT باستخدام Azure و Databricks.
• • مراقبة واستكشاف أخطاء أعطال خطوط الأنابيب أثناء التعاون مع المهندسين المعماريين لتنفيذ نماذج البيانات التنظيمية.

المتطلبات

يتطلب سنتين على الأقل من الخبرة في هندسة البيانات مع إتقان قوي لـ Python و PySpark و SQL. يجب على المرشحين أن يحملوا أو يعملوا للحصول على شهادة Databricks Certified Data Engineer Associate.

التعليم المطلوب

• شهادة مهنية

الأسئلة الشائعة