يوفر البرنامج التعليمي SSIS المفاهيم الأساسية والمتقدمة لخدمات تكامل SQL Server. تم تصميم البرنامج التعليمي SSIS الخاص بنا للمبتدئين والمحترفين.

خدمة تكامل خادم SQL هي أداة تخزين بيانات سريعة ومرنة تستخدم لاستخراج البيانات وتحويلها وتحميلها. يسهل تحميل البيانات من قاعدة بيانات إلى قاعدة بيانات أخرى مثل SQL Server وOracle وملف Excel وما إلى ذلك.

في هذا البرنامج التعليمي، سنناقش المواضيع التالية:

• ما هو مباحث أمن الدولة
• ما هو تكامل البيانات
• لماذا مباحث أمن الدولة
• كيف يعمل مباحث أمن الدولة
• متطلبات خدمة تكامل SQL Server
• ما هي حزمة مباحث أمن الدولة
• مهام مباحث أمن الدولة
• مثال على مهمة تدفق البيانات
• مثال على تنفيذ مهمة SQL

ما هو مباحث أمن الدولة؟

• يرمز SSIS إلى خدمات تكامل SQL Server.
• وهو مكون متوفر في برنامج قاعدة بيانات Microsoft SQL Server المستخدم لتنفيذ مجموعة واسعة من مهام التكامل.
• إنها أداة تخزين بيانات تستخدم لاستخراج البيانات وتحميل البيانات إلى قاعدة بيانات أخرى وإجراء تحويلات مثل التنظيف والتجميع ودمج البيانات وما إلى ذلك.
• تحتوي أداة SSIS أيضًا على الأدوات الرسومية ووظائف سير عمل معالجات النوافذ مثل إرسال رسائل البريد الإلكتروني وعمليات بروتوكول نقل الملفات ومصادر البيانات.
• يتم استخدام SSIS لتنفيذ مجموعة واسعة من مهام التحويل والتكامل. بشكل عام، يتم استخدام أداة SSIS في ترحيل البيانات.

SSIS هي أداة تستخدم بشكل أساسي لأداء وظيفتين:

تكامل البيانات
يقوم مباحث أمن الدولة بتنفيذ تكامل البيانات من خلال الجمع بين البيانات من مصادر متعددة وتوفير بيانات موحدة للمستخدمين.سير العمل
يمكن استخدام سير العمل لتنفيذ عدة أشياء. نحتاج في بعض الأحيان إلى تنفيذ بعض الخطوات المحددة أو مسار معين يعتمد إما على الفترة الزمنية أو المعلمة التي تم تمريرها إلى الحزمة أو البيانات التي تم الاستعلام عنها من قاعدة البيانات. يمكن استخدامه لأتمتة صيانة قواعد بيانات SQL Server وتوفير التحديث للبيانات التحليلية متعددة الأبعاد.

ما هو تكامل البيانات؟

تكامل البيانات هو عملية تتبعها لدمج البيانات من مصادر متعددة. يمكن أن تكون البيانات إما بيانات غير متجانسة أو بيانات متجانسة. يمكن أن تكون البيانات منظمة، أو شبه منظمة، أو غير منظمة. في تكامل البيانات، تتكامل البيانات من مصادر بيانات مختلفة مختلفة لتشكل بعض البيانات ذات المعنى.

يتم استخدام بعض الطرق لتحقيق تكامل البيانات:

نمذجة البيانات:في نمذجة البيانات، تحتاج أولاً إلى إنشاء نموذج البيانات وتنفيذ العمليات عليه.ملفات تعريف البيانات:تحديد بيانات البيانات هو عملية تُستخدم للتحقق من الأخطاء أو عدم الاتساق أو الاختلافات في البيانات المتاحة. يضمن تحليل البيانات جودة البيانات حيث تشير جودة البيانات إلى دقة البيانات واتساقها واكتمالها.

مزايا تكامل البيانات:

تقليل تعقيد البيانات
فهو يقلل من تعقيد البيانات مما يعني أنه يمكن تسليم البيانات إلى أي نظام. يحافظ تكامل البيانات على التعقيد، والاتصالات المبسطة، ويجعل من السهل تسليم البيانات إلى أي نظام.تكامل البيانات
تلعب سلامة البيانات دورًا رئيسيًا في تكامل البيانات. يتعامل مع تنقية البيانات والتحقق من صحتها. الجميع يريد بيانات عالية الجودة وقوية، لذلك يتم استخدام مفهوم تكامل البيانات لتحقيق هذا المفهوم. يعد تكامل البيانات مفيدًا في إزالة الأخطاء وعدم الاتساق والازدواجية.سهولة التعاون في البيانات
تأتي إمكانية الوصول ضمن التعاون في مجال البيانات. تعني إمكانية الوصول أنه يمكن تحويل البيانات بسهولة، ويمكن للأشخاص دمج البيانات بسهولة في المشاريع، ومشاركة نتائجهم، والحفاظ على تحديث البيانات.قرارات تجارية أكثر ذكاءً
كما يوفر لك اتخاذ قرارات أكثر ذكاءً. تشير البيانات المتكاملة إلى عملية الإرسال داخل الشركة حتى نتمكن من فهم المعلومات بسهولة أكبر. البيانات المتكاملة أسهل بكثير وغنية بالمعلومات.

لماذا مباحث أمن الدولة؟

يتم استخدام مباحث أمن الدولة للأسباب التالية:

يمكن تحميل البيانات بالتوازي مع العديد من الوجهات المتنوعة
يتم استخدام SSIS لدمج البيانات من مصادر بيانات متعددة لإنشاء بنية واحدة في عرض موحد. وهي في الأساس مسؤولة عن جمع البيانات واستخراج البيانات من مصادر بيانات متعددة ودمجها في مصدر بيانات واحد.يلغي الحاجة للمبرمجين المتشددين
SSSIS عبارة عن نظام أساسي لديه القدرة على تحميل كمية كبيرة من البيانات من Excel إلى قاعدة بيانات SQL Server.التكامل مع المنتجات الأخرى
توفر أداة SSSIS تكاملاً محكمًا مع منتجات Microsoft الأخرى.أرخص من أدوات ETL الأخرى
تعتبر أداة SSSIS أرخص من معظم الأدوات الأخرى. يمكن أن تقاوم المنتجات الأساسية الأخرى، وسهولة إدارتها، وذكاء الأعمال، وما إلى ذلك.معالجة الأخطاء المعقدة داخل تدفقات البيانات
يسمح لك SSSIS بمعالجة الخطأ المعقد داخل تدفق البيانات. يمكنك بدء تدفق البيانات وإيقافه بناءً على خطورة الخطأ. يمكنك حتى إرسال بريد إلكتروني إلى المسؤول عند حدوث بعض الأخطاء. عندما يتم حل خطأ ما، يمكنك اختيار المسار بين سير العمل.

كيف يعمل مباحث أمن الدولة؟

نحن نعلم أن SSIS عبارة عن منصة لوظيفتين، أي تكامل البيانات وسير العمل. يتم تنفيذ كل من تحويلات بيانات المهام وإنشاء سير العمل باستخدام حزمة SSIS. تتكون حزمة مباحث أمن الدولة من ثلاثة مكونات:

البيانات التشغيلية

البيانات التشغيلية هي قاعدة بيانات تستخدم لدمج البيانات من مصادر بيانات متعددة لإجراء عمليات إضافية على البيانات. إنه المكان الذي يتم فيه تخزين البيانات للتشغيل الحالي قبل إرسالها إلى مستودع البيانات للتخزين أو إعداد التقارير أو الأرشفة.

الصورة المركزية في CSS

إيتل

• ETL هي العملية الأكثر أهمية في أداة SSIS. يتم استخدام ETL لاستخراج البيانات وتحويلها وتحميلها إلى مستودع البيانات.
• ETL هي عملية مسؤولة عن سحب البيانات من مصادر بيانات متعددة، وتحويل البيانات إلى بيانات مفيدة، ثم تخزين البيانات في مستودع بيانات. يمكن أن تكون البيانات بأي تنسيق ملف xml أو ملف ثابت أو أي ملف قاعدة بيانات.
• كما أنه يضمن أن البيانات المخزنة في مستودع البيانات ذات صلة ودقيقة وعالية الجودة ومفيدة لمستخدمي الأعمال.
• يمكن الوصول إليه بسهولة بحيث يمكن استخدام مستودع البيانات بفعالية وكفاءة.
• كما أنه يساعد المؤسسة على اتخاذ قرارات تعتمد على البيانات من خلال استرداد البيانات المنظمة وغير المنظمة من مصادر بيانات متعددة.

ETL هو مفهوم مكون من ثلاث كلمات، ولكنه مقسم إلى أربع مراحل:

يأسر: تُعرف مرحلة الالتقاط أيضًا بمرحلة الاستخراج. في هذه المرحلة، يقوم باختيار البيانات المصدر أو البيانات التعريفية، ويمكن أن تكون البيانات بأي تنسيق مثل ملف xml أو ملف مسطح أو أي ملف قاعدة بيانات.

تنظيف: في هذه المرحلة، يتم فحص البيانات الأصلية. يقوم بالتحقق من البيانات سواء كانت تحتوي على أي أخطاء أم لا. يقوم بالتحقق من الأخطاء أو عدم تناسق البيانات باستخدام بعض تقنيات الذكاء الاصطناعي. باختصار، فهو يتحقق مما إذا كانت جودة المنتج مستوفاة أم لا.

تحول: إنها المرحلة الثالثة في ETL. التحويل هو العملية التي يتم فيها تحويل التنسيق الأصلي إلى التنسيق المطلوب الذي تريده. التحويل هو نمذجة البيانات أو تغييرها وفقًا لمتطلبات المستخدم. يمكن أن تكون التغييرات إما تغييرًا في عدد الأعمدة أو الصفوف.

التحميل والفهرس: المرحلة الرابعة هي التحميل والفهرس. يقوم بتحميل البيانات والتحقق من صحة عدد الصفوف التي تمت معالجتها. بمجرد الانتهاء من تحميل البيانات، يتم استخدام الفهرسة. تساعدك الفهرسة على تتبع عدد الصفوف التي تم تحميلها في مستودع البيانات. تساعد الفهرسة أيضًا في تحديد البيانات، سواء كانت بالتنسيق الصحيح أم لا.

مستودع البيانات

مستودع البيانات هو مخزن واحد وكامل ومتسق للبيانات يتم صياغته من خلال دمج البيانات من مصادر بيانات متعددة.

الفرق بين قاعدة البيانات ومستودع البيانات

الجواب يمكن أن يكون نعم وكذلك لا. تحتوي كل من قاعدة البيانات ومستودع البيانات على وحدة كبيرة من البيانات وتمثيل مادي مماثل ولكن وقت الاستجابة للاستعلامات المعقدة في مستودع البيانات أسرع من قاعدة البيانات.

متطلبات خدمات تكامل SQL Server

فيما يلي متطلبات تثبيت خدمات تكامل SQL Server:

• قم بتثبيت خادم SQL
• قم بتثبيت أدوات بيانات SQL Server

اتبع الخطوات التالية لتثبيت أدوات بيانات SQL Server:

الخطوة 1: اضغط على الرابط https://docs.microsoft.com/en-us/sql/ssdt/previous-releases-of-sql-server-data-tools-ssdt-and-ssdt-bi?view=sql-server-2017 لتنزيل أدوات بيانات SQL Server.

الخطوة 2: عند الضغط على الرابط أعلاه تظهر الشاشة الموضحة أدناه:

في الشاشة أعلاه، حدد إصدار SSDT الذي تريد تثبيته.

الخطوه 3: بمجرد اكتمال التنزيل، قم بتشغيل الملف الذي تم تنزيله. عند تشغيل الملف الذي تم تنزيله، تظهر الشاشة الموضحة أدناه:

الخطوة 4: انقر على زر التالي.

الخطوة 5: حدد مثيل الاستوديو المرئي والأدوات التي تريد تثبيتها في الاستوديو المرئي 2017.

الخطوة 6: اضغط على ثَبَّتَ زر.

ما هي باقة مباحث أمن الدولة؟

تعد الحزمة كتلة أساسية حيث تقوم بالتشفير في SSIS. هنا، الكود لا يعني أنك تقوم بالبرمجة بلغة برمجة ما؛ يعني التطوير الذي تقوم به. يتم التطوير في حزمة SSIS. يتم استخدام SSIS بشكل أساسي لعملية ETL، ويتم تنفيذ عملية ETL داخل حزمة SSIS.

تتكون حزمة مباحث أمن الدولة من ثلاثة أجزاء:

روابط
ستحتوي حزمة SSIS على بعض الاتصالات، ويتم استخدام هذه الاتصالات للاتصال بمصادر البيانات المختلفة.عناصر التحكم في التدفق
تتكون حزمة مباحث أمن الدولة من عنصرين، أي عناصر تدفق التحكم وعناصر تدفق البيانات. تتعامل عناصر تدفق التحكم مع سير العمل. سير العمل يعني أننا نقوم بتنفيذ بعض المهام في خطوات، وبالتالي يتم التسلسل من خلال تدفق التحكم.عناصر تدفق البيانات
تقوم عناصر تدفق البيانات بإجراء التحويلات.

مهام مباحث أمن الدولة

في حزمة SSIS، يمكننا إضافة المهام. المهمة هي وحدة عمل وسيكون لدينا أنواع مختلفة من المهام لأداء أنواع مختلفة من العمل. هناك أنواع مختلفة من المهام، لكننا سنناقش المهام الأكثر شيوعًا المستخدمة في مباحث أمن الدولة:

تنفيذ مهمة SQL
يتم استخدامه لتنفيذ عبارات SQL مقابل قاعدة بيانات علائقية.مهمة تدفق البيانات
يتم استخدامه بشكل أساسي لقراءة البيانات من مصدر بيانات واحد أو عدة مصادر، وتحويل البيانات ويمكنه أيضًا تحميل البيانات إلى وجهة واحدة أو أكثر.مهمة معالجة خدمات التحليل
يتم استخدامه لمعالجة كائنات مكعب SSAS أو نموذج جدولي.تنفيذ مهمة الحزمة
يتم استخدام هذه المهمة لاستدعاء الحزم الأخرى ضمن نفس المشروع. يمكنك حتى تمرير القيم المتغيرة إلى الحزمة المسماة.تنفيذ مهمة العملية
يسمح لك بتشغيل تطبيق أو برامج نصية مجمعة كخدمات تكامل SQL Server. يمكن استخدامه لفتح التطبيقات القياسية مثل Microsoft Excel وMicrosoft Word وما إلى ذلك. ويستخدم أيضًا لفك ضغط الملف المضغوط.مهمة نظام الملفات
يمكن استخدامه لإجراء عمليات المعالجة في نظام الملفات مثل نقل الملفات، وحذف الملفات، وإعادة تسمية الملفات، وتغيير الدليل، وما إلى ذلك.مهام بروتوكول نقل الملفات
تُستخدم مهام IFTP لتنفيذ العمليات على الملفات والمجلدات. على سبيل المثال، إذا كنت تريد إرسال أو استقبال الملف من خادم FTP إلى الدليل المحلي، فسيتم استخدام مهمة SSIS FTP.مهمة البرنامج النصي
تتيح لك هذه المهمة كتابة كود .Net الذي تريد تنفيذه.إرسال مهمة البريد
تُستخدم هذه المهمة لإرسال بريد إلكتروني. يتم استخدامه بشكل أساسي عندما تريد إعلام المستخدمين فيما يتعلق بحالة المهمة سواء كانت في حالة تشغيل أو حدث خطأ ما.

دعونا نرى بعض الأمثلة العملية لخدمة تكامل البيانات.

مثال على مهمة تدفق البيانات

الخطوة 1: أولاً، نقوم بإنشاء ملف Excel في برنامج Microsoft Excel. لنفترض أنني قمت بإنشاء قاعدة بيانات الطالب في Microsoft Excel، والحقول الموجودة في جدول الطالب هي Student_id وstudent_name والعلامات والجنس.

الخطوة 2: افتح الاستوديو المرئي (أدوات بيانات SQL Server).

الخطوه 3: انقر فوق خيار 'ملف' ثم انتقل إلى 'جديد'> 'المشروع'.

الخطوة 4: عند الضغط على المشروع، تظهر الشاشة، كما هو موضح أدناه:

في الشاشة أعلاه، انقر فوق خدمات التكامل التي تظهر في أقصى الجانب الأيسر من اللوحة، ثم انقر فوق مشروع خدمات التكامل.

الخطوة 5: بعد النقر على مشروع الخدمات التكاملية الخيار، تظهر الشاشة كما هو موضح أدناه:

تتكون الشاشة أعلاه من خمس علامات تبويب مثل تدفق التحكم، وتدفق البيانات، والمعلمات، ومعالج الأحداث، ومستكشف الحزم. لقد ناقشنا بالفعل تدفق التحكم وتدفق البيانات، حيث يوجد كل من تدفق التحكم وتدفق البيانات داخل حزمة SSIS.

الخطوة 6: لاستيراد البيانات، نحتاج أولاً إلى إنشاء قاعدة البيانات التي نقوم بإنشاء الجدول فيها في قاعدة بيانات SQL Server. كما نعلم أن بيانات الطلاب متوفرة داخل ملف Excel، ونريد استيراد البيانات في قاعدة بيانات SQL Server. ولتحقيق ذلك، نحتاج أولاً إلى إنشاء الجدول في SQL Server. افتح استوديو إدارة خادم SQL.

الخطوة 7: إنشاء طالب قاعدة البيانات. انقر بزر الماوس الأيمن على قاعدة البيانات، ثم انقر فوق قاعدة بيانات جديدة خيار.

الخطوة 8: أدخل اسم قاعدة البيانات في لقطة الشاشة أدناه:

لقد أعطيت StudentWarehouse كاسم لقاعدة البيانات.

الخطوة 9: اضغط على نعم زر.

الخطوة 10: الآن، نقوم بإنشاء الجدول في مستودع الطلاب قاعدة البيانات. انقر بزر الماوس الأيمن على الجداول، ثم انقر على جدول جديد.

الخطوة 11: نقوم الآن بإضافة الحقول الموجودة في جدول مثل Student_id وstudent_name والعلامات والجنس. لقد قمنا بتعيين Student_id كمفتاح أساسي يحدد كل صف بشكل فريد.

توضح الشاشة أعلاه أننا نضيف أربعة حقول في الجدول. بعد إضافة جميع الحقول في الجدول، نقوم بحفظ الجدول من خلال توفير بعض الأسماء المفيدة. لنفترض أنني قدمت الطالب كاسم جدول.

الخطوة 12: العودة إلى الاستوديو البصري. يحتوي التحكم في التدفق على مهمة تدفق البيانات، قم بسحب وإسقاط مهمة تدفق البيانات في النافذة الرئيسية.

الخطوة 13: عندما ننقر نقرًا مزدوجًا على مهمة تدفق البيانات، ينتقل عنصر التحكم تلقائيًا إلى تدفق البيانات من تدفق التحكم، لذلك يمكننا القول أن تدفق التحكم عبارة عن حاوية لتدفق البيانات.

الخطوة 14: الآن، يمكننا إجراء التحولات في تدفق البيانات. نريد استخراج البيانات من ملف Excel الذي أنشأناه سابقًا، لذا قم بسحب وإفلات مصدر Excel من المصادر الأخرى التي تظهر في أقصى الجانب الأيسر من اللوحة.

ماذا يعني xdxd

من الشاشة أعلاه، نلاحظ ظهور علامة الصليب الأحمر داخل مصدر Excel، مما يعني أنه تم تكوين المكون باستخدام مصدر Excel.

الخطوة 15: لتكوين المكون، انقر بزر الماوس الأيمن على مصدر Excel وانقر على خيار التحرير كما هو موضح في لقطة الشاشة أدناه:

الخطوة 16: املأ التفاصيل الموضحة في لقطة الشاشة أدناه:

الخطوة 17: بعد إدخال جميع التفاصيل تظهر الشاشة الموضحة أدناه:

الخطوة 18: انقر على مصدر إكسل.

تعرض الشاشة أعلاه سهمين، السهم الأحمر والسهم الأزرق. يحدد السهم الأزرق البيانات الفعلية التي نتلقاها من ملف Excel، ويشير السهم الأحمر إلى الأخطاء التي لدينا. الآن علينا إجراء التحويلات، وقبل إجراء التحويلات، نحتاج إلى تحميل قاعدة البيانات.

الخطوة 19: لتحميل قاعدة البيانات، انقر فوق 'وجهات أخرى' ثم انقر فوق 'الوجهة'.

الخطوة 20: بعد إضافة الوجهة، قم بتوصيل المصدر بالوجهة.

الخطوة 21: في الخطوة أعلاه، لاحظنا علامة الصليب الأحمر في ADO NET Destination، مما يعني أنه لم يتم تكوينها بمكون. انقر بزر الماوس الأيمن على ADO NET Destination ثم انقر على خيار التحرير كما هو موضح في لقطة الشاشة أدناه:

الخطوة 22: تحتاج إلى تحديد مدير التكوين.

الخطوة 23: اضغط على جديد زر لإضافة مدير الاتصال. عندما تنقر على جديد الزر، فتظهر الشاشة الموضحة أدناه:

الخطوة 24: أضف اسم الخادم وحدد اسم قاعدة البيانات من SQL Server.

الخطوة 25: انقر على زر موافق.

الخطوة 26: أضف اسم الجدول الذي تريد تحميل البيانات فيه.

الخطوة 27: في الشاشة أدناه، قم بتعيين حقل مصدر الإدخال إلى حقل مصدر الوجهة.

كيفية إنشاء مصفوفة في جافا

الخطوة 28: بعد إضافة التعيين، يتم توصيل المصدر بالوجهة، كما هو موضح في لقطة الشاشة أدناه:

الخطوة 29: اضغط على يبدأ زر لتشغيل مشروع خدمات التكامل. عند تشغيل المشروع، يتم تحميل البيانات إلى الوجهة، أي: خادم قاعدة البيانات .

مثال على تنفيذ مهمة SQL

• اتبع الخطوات من الخطوة 2 إلى الخطوة 5 من المثال السابق.
• قم بسحب وإسقاط تنفيذ مهمة SQL تظهر في اللوحة الموجودة في أقصى يسار النافذة الرئيسية.

في الشاشة أعلاه، نلاحظ ظهور علامة الصليب الأحمر في تنفيذ مهمة SQL، مما يعني أن مدير الاتصال لم يتم تكوينه مع تنفيذ مهمة SQL . لتكوينه، نحتاج إلى إضافة مدير الاتصال.

• لإضافة مدير الاتصال، انقر بزر الماوس الأيمن على مدير الاتصال ثم انقر على مدير الاتصال الجديد كما هو موضح في لقطة الشاشة أدناه:

• حدد OLEDB كنوع مدير الاتصال ثم انقر فوق يضيف الزر كما هو موضح في لقطة الشاشة أدناه:

• بعد النقر على يضيف الزر، تظهر الشاشة كما هو موضح في لقطة الشاشة أدناه:

في الشاشة أعلاه، نلاحظ أن اتصال البيانات مستودع الطلاب قاعدة البيانات متاحة بالفعل كما أنشأناها في الخطوة السابقة. اضغط على نعم زر.

• عند الضغط على زر موافق تظهر الشاشة كما هو موضح أدناه:

في الشاشة أعلاه، تحتاج إلى إدخال التفاصيل مثل اسم مهمتك، ووصفها، وبيان SQL (مهمة SQL التي تحتاج إلى تنفيذها على الجدول).

• لقد أدخلت التفاصيل التالية في لقطة الشاشة أعلاه:

في الحالة المذكورة أعلاه، قمت بتوفير أمر الإدراج في SQLStatement.

• اضغط على نعم زر.
• عند تكوين المكون باستخدام مهمة تنفيذ SQL، يختفي الصليب الأحمر كما هو موضح في لقطة الشاشة أدناه:

• قم بتشغيل المشروع بالضغط على يبدأ .

• عندما تنقر على يبدأ ، فتظهر الشاشة كما هو موضح أدناه:

في الشاشة أعلاه، تظهر علامة التجزئة أن مهمة SQL الخاصة بك قد اكتملت بنجاح. تم تنفيذ عبارة الإدراج التي أضفناها في الخطوات السابقة، ويتم إضافة البيانات في الجدول. أي الطالب1.

• ويرد أدناه إخراج هذه المهمة

المتطلبات المسبقة

قبل أن تتعلم SSIS، يجب أن يكون لديك المعرفة الأساسية بـ SQL Server.

جمهور

تم تصميم البرنامج التعليمي SSIS الخاص بنا لمساعدة المبتدئين والمحترفين.

مشكلة

نحن نؤكد أنك لن تجد أي مشكلة في هذا البرنامج التعليمي SSIS. ولكن إذا كان هناك أي خطأ أو خطأ، يرجى نشر الخطأ في نموذج الاتصال.