يوفر البرنامج التعليمي Apache Spark المفاهيم الأساسية والمتقدمة لـ Spark. تم تصميم برنامج Spark التعليمي الخاص بنا للمبتدئين والمحترفين.

Spark هو محرك تحليلي موحد لمعالجة البيانات على نطاق واسع بما في ذلك الوحدات المدمجة لـ SQL والتدفق والتعلم الآلي ومعالجة الرسوم البيانية.

يتضمن البرنامج التعليمي الخاص بـ Spark جميع موضوعات Apache Spark مع مقدمة Spark، وتثبيت Spark، وSpark Architecture، وSpark Components، وRDD، وأمثلة Spark في الوقت الفعلي وما إلى ذلك.

ما هو سبارك؟

Apache Spark هو إطار عمل للحوسبة العنقودية مفتوح المصدر. والغرض الأساسي منه هو التعامل مع البيانات التي تم إنشاؤها في الوقت الحقيقي.

تم بناء Spark على الجزء العلوي من Hadoop MapReduce. لقد تم تحسينه ليتم تشغيله في الذاكرة بينما تقوم الأساليب البديلة مثل MapReduce من Hadoop بكتابة البيانات من وإلى محركات الأقراص الثابتة بالكمبيوتر. لذلك، تقوم Spark بمعالجة البيانات بشكل أسرع بكثير من البدائل الأخرى.

تاريخ أباتشي سبارك

تم إطلاق The Spark بواسطة Matei Zaharia في AMPLab بجامعة كاليفورنيا في بيركلي في عام 2009. وكان مفتوح المصدر في عام 2010 بموجب ترخيص BSD.

وفي عام 2013، استحوذت مؤسسة Apache Software Foundation على المشروع. في عام 2014، ظهر Spark كمشروع أباتشي عالي المستوى.

مميزات أباتشي سبارك

سريع- يوفر أداءً عاليًا لكل من البيانات المجمعة والمتدفقة، باستخدام برنامج جدولة DAG المتطور، ومُحسِّن الاستعلام، ومحرك التنفيذ الفعلي.سهل الاستخدام- يسهل كتابة التطبيق بلغات Java وScala وPython وR وSQL. كما أنها توفر أكثر من 80 مشغلًا رفيع المستوى.عمومية- يوفر مجموعة من المكتبات بما في ذلك SQL وDataFrames وMLlib للتعلم الآلي وGraphX ​​وSpark Streaming.وزن خفيف- إنه محرك تحليلي خفيف وموحد يستخدم لمعالجة البيانات على نطاق واسع.يعمل في كل مكان- يمكن تشغيله بسهولة على Hadoop أو Apache Mesos أو Kubernetes أو مستقل أو في السحابة.

استخدام سبارك

تكامل البيانات:البيانات التي تم إنشاؤها بواسطة الأنظمة ليست متسقة بما يكفي لدمجها للتحليل. لجلب بيانات متسقة من الأنظمة، يمكننا استخدام عمليات مثل الاستخراج والتحويل والتحميل (ETL). يتم استخدام Spark لتقليل التكلفة والوقت اللازم لعملية ETL هذه.معالجة الدفق:من الصعب دائمًا التعامل مع البيانات التي تم إنشاؤها في الوقت الفعلي مثل ملفات السجل. Spark قادرة بما يكفي على تشغيل تدفقات البيانات وترفض العمليات الاحتيالية المحتملة.التعلم الالي:أصبحت أساليب التعلم الآلي أكثر جدوى ودقة بشكل متزايد بسبب التحسن في حجم البيانات. نظرًا لأن Spark قادرة على تخزين البيانات في الذاكرة ويمكنها تشغيل الاستعلامات المتكررة بسرعة، فإنها تجعل من السهل العمل على خوارزميات التعلم الآلي.التحليلات التفاعلية:Spark قادرة على توليد الاستجابة بسرعة. لذلك، بدلاً من تشغيل الاستعلامات المحددة مسبقًا، يمكننا التعامل مع البيانات بشكل تفاعلي.

المتطلبات المسبقة

قبل أن تتعلم Spark، يجب أن يكون لديك معرفة أساسية بـ Hadoop.

جمهور

تم تصميم برنامج Spark التعليمي الخاص بنا لمساعدة المبتدئين والمحترفين.

مشاكل

نؤكد لك أنك لن تجد أي مشكلة في برنامج Spark التعليمي هذا. ومع ذلك، إذا كان هناك أي خطأ، يرجى نشر المشكلة في نموذج الاتصال.