يعد التعلم الآلي أحد أكثر التقنيات شيوعًا لبناء نماذج تنبؤية لمختلف مهام الانحدار والتصنيف المعقدة. آلة تعزيز التدرج (GBM) تعتبر واحدة من أقوى خوارزميات التعزيز.
على الرغم من وجود الكثير من الخوارزميات المستخدمة في التعلم الآلي، إلا أن تعزيز الخوارزميات أصبح سائدًا في مجتمع التعلم الآلي في جميع أنحاء العالم. تتبع تقنية التعزيز مفهوم التعلم الجماعي، وبالتالي فهي تجمع بين نماذج بسيطة متعددة (المتعلمين الضعفاء أو المقدرين الأساسيين) لتوليد المخرجات النهائية. يتم استخدام GBM أيضًا كطريقة جماعية في التعلم الآلي والتي تحول المتعلمين الضعفاء إلى متعلمين أقوياء. في هذا الموضوع، 'GBM في التعلم الآلي' سنناقش خوارزميات التعلم الآلي المتدرجة، وخوارزميات التعزيز المختلفة في التعلم الآلي، وتاريخ GBM، وكيف تعمل، والمصطلحات المختلفة المستخدمة في GBM، وما إلى ذلك. ولكن قبل البدء، يجب أولاً فهم مفهوم التعزيز وخوارزميات التعزيز المختلفة في التعلم الآلي.
ما هو التعزيز في التعلم الآلي؟
يعد Boosting أحد تقنيات نمذجة مجموعة التعلم الشائعة المستخدمة لبناء مصنفات قوية من مختلف المصنفات الضعيفة. يبدأ ببناء نموذج أساسي من مجموعات بيانات التدريب المتاحة ثم يحدد الأخطاء الموجودة في النموذج الأساسي. وبعد تحديد الخطأ، يتم بناء نموذج ثانوي، ثم يتم إدخال نموذج ثالث في هذه العملية. وبهذه الطريقة، تستمر عملية تقديم المزيد من النماذج حتى نحصل على مجموعة بيانات تدريب كاملة والتي من خلالها يتنبأ النموذج بشكل صحيح.
كانت AdaBoost (التعزيز التكيفي) أول خوارزمية معززة تجمع بين العديد من المصنفات الضعيفة في مصنف واحد قوي في تاريخ التعلم الآلي. ويركز في المقام الأول على حل مهام التصنيف مثل التصنيف الثنائي.
بوويرشيل مقابل باش
خطوات تعزيز الخوارزميات:
هناك بعض الخطوات المهمة لتعزيز الخوارزمية كما يلي:
- فكر في مجموعة بيانات تحتوي على نقاط بيانات مختلفة وقم بتهيئتها.
- الآن، أعط وزنًا متساويًا لكل نقطة من نقاط البيانات.
- افترض هذا الوزن كمدخل للنموذج.
- تحديد نقاط البيانات التي تم تصنيفها بشكل غير صحيح.
- قم بزيادة وزن نقاط البيانات في الخطوة 4.
- إذا حصلت على الإخراج المناسب، فقم بإنهاء هذه العملية، وإلا اتبع الخطوتين 2 و3 مرة أخرى.
مثال:
لنفترض أن لدينا ثلاثة نماذج مختلفة مع تنبؤاتها وأنها تعمل بطرق مختلفة تمامًا. على سبيل المثال، يُظهر نموذج الانحدار الخطي علاقة خطية في البيانات بينما يحاول نموذج شجرة القرار التقاط عدم الخطية في البيانات كما هو موضح في الصورة أدناه.
علاوة على ذلك، بدلاً من استخدام هذه النماذج بشكل منفصل للتنبؤ بالنتيجة إذا استخدمناها في شكل سلسلة أو مجموعة، فإننا نحصل على نموذج ناتج بمعلومات صحيحة من جميع النماذج الأساسية. بمعنى آخر، بدلاً من استخدام التنبؤ الفردي لكل نموذج، إذا استخدمنا التنبؤ المتوسط من هذه النماذج، فسنكون قادرين على الحصول على مزيد من المعلومات من البيانات. يشار إليه باسم التعلم الجماعي ويعتمد التعزيز أيضًا على أساليب المجموعة في التعلم الآلي.
تعزيز الخوارزميات في التعلم الآلي
هناك في المقام الأول 4 خوارزميات معززة في التعلم الآلي. وهذه هي كما يلي:
nginx
ما هو GBM في التعلم الآلي؟
تعد آلة تعزيز التدرج (GBM) واحدة من أكثر طرق مجموعة التعلم المتقدم شيوعًا في التعلم الآلي. إنها تقنية قوية لبناء نماذج تنبؤية لمهام الانحدار والتصنيف.
يساعدنا GBM في الحصول على نموذج تنبؤي في شكل مجموعة من نماذج التنبؤ الضعيفة مثل أشجار القرار. عندما تؤدي شجرة القرار دور المتعلم الضعيف، فإن الخوارزمية الناتجة تسمى الأشجار المعززة بالتدرج.
إنها تمكننا من الجمع بين التنبؤات من نماذج المتعلم المختلفة وبناء نموذج تنبؤي نهائي يحتوي على التنبؤ الصحيح.
ولكن هنا قد يطرح سؤال واحد إذا كنا نطبق نفس الخوارزمية، فكيف يمكن لأشجار القرار المتعددة أن تعطي تنبؤات أفضل من شجرة قرار واحدة؟ علاوة على ذلك، كيف تلتقط كل شجرة قرار معلومات مختلفة من نفس البيانات؟
لذا، فإن الإجابة على هذه الأسئلة هي أن مجموعة فرعية مختلفة من الميزات يتم التقاطها بواسطة عقد كل شجرة قرار لتحديد أفضل تقسيم. وهذا يعني أن كل شجرة تتصرف بشكل مختلف، وبالتالي تلتقط إشارات مختلفة من نفس البيانات.
كيف يعمل جي بي إم؟
بشكل عام، تعتمد معظم خوارزميات التعلم الخاضعة للإشراف على نموذج تنبؤي واحد مثل الانحدار الخطي، ونموذج الانحدار المعاقب، وأشجار القرار، وما إلى ذلك. ولكن هناك بعض الخوارزميات الخاضعة للإشراف في تعلم الآلة والتي تعتمد على مزيج من النماذج المختلفة معًا من خلال المجموعة. بمعنى آخر، عندما تساهم نماذج أساسية متعددة بتنبؤاتها، يتم تكييف متوسط جميع التنبؤات من خلال تعزيز الخوارزميات.
تتكون آلات تعزيز التدرج من 3 عناصر على النحو التالي:
افعل بينما java
- فقدان وظيفة
- المتعلمون الضعفاء
- نموذج المضافة
دعونا نفهم هذه العناصر الثلاثة بالتفصيل.
1. وظيفة الخسارة:
على الرغم من وجود عائلة كبيرة من وظائف الخسارة في التعلم الآلي والتي يمكن استخدامها اعتمادًا على نوع المهام التي يتم حلها. يتم تقدير استخدام دالة الخسارة من خلال طلب خصائص محددة للتوزيع الشرطي مثل المتانة. أثناء استخدام دالة الخسارة في مهمتنا، يجب علينا تحديد دالة الخسارة والدالة لحساب التدرج السلبي المقابل. بمجرد حصولنا على هاتين الوظيفتين، يمكن تنفيذهما في آلات تعزيز التدرج بسهولة. ومع ذلك، هناك العديد من وظائف الخسارة التي تم اقتراحها بالفعل لخوارزميات GBM.
تصنيف وظيفة الخسارة:
بناءً على نوع متغير الاستجابة y، يمكن تصنيف دالة الخسارة إلى أنواع مختلفة كما يلي:
- وظيفة فقدان غاوسي L2
- دالة خسارة لابلاس L1
- دالة خسارة هوبر، δ المحددة
- دالة الخسارة الكمية، α المحددة
- دالة الخسارة ذات الحدين
- وظيفة فقدان Adaboost
- وظائف الخسارة لنماذج البقاء
- وظائف الخسارة تحسب البيانات
- وظائف الخسارة المخصصة
2. المتعلم الضعيف:
المتعلمون الضعفاء هم نماذج المتعلم الأساسية التي تتعلم من أخطاء الماضي وتساعد في بناء تصميم نموذج تنبؤي قوي لتعزيز الخوارزميات في التعلم الآلي. بشكل عام، تعمل أشجار القرار كمتعلمين ضعفاء في تعزيز الخوارزميات.
يتم تعريف التعزيز على أنه الإطار الذي يعمل بشكل مستمر لتحسين مخرجات النماذج الأساسية. تسمح لك العديد من تطبيقات تعزيز التدرج 'بإضافة' فئات مختلفة من المتعلمين الضعفاء تحت تصرفك. ومن ثم، تُستخدم أشجار القرار غالبًا للمتعلمين الضعفاء (القاعديين).
ص في لغة ج
كيفية تدريب المتعلمين الضعفاء:
يستخدم التعلم الآلي مجموعات بيانات التدريب لتدريب المتعلمين الأساسيين، وبناءً على تنبؤات المتعلم السابق، فإنه يعمل على تحسين الأداء من خلال التركيز على صفوف بيانات التدريب حيث تحتوي الشجرة السابقة على أكبر الأخطاء أو المخلفات. على سبيل المثال تعتبر الأشجار الضحلة ضعيفة التعلم في تحديد الأشجار لأنها تحتوي على عدد قليل من الشقوق. بشكل عام، في تعزيز الخوارزميات، تكون الأشجار التي تحتوي على ما يصل إلى 6 انقسامات هي الأكثر شيوعًا.
فيما يلي سلسلة من تدريبات المتعلم الضعيف لتحسين أدائه حيث تكون كل شجرة متسلسلة مع بقايا الشجرة السابقة. علاوة على ذلك، فإننا نقدم كل شجرة جديدة حتى تتمكن من التعلم من أخطاء الشجرة السابقة. وهذه هي كما يلي:
- فكر في مجموعة بيانات وقم بتركيب شجرة القرار فيها.
F1(س)=ص - قم بملاءمة شجرة القرار التالية مع أكبر الأخطاء في الشجرة السابقة.
h1(x)=ص?F1(x) - أضف هذه الشجرة الجديدة إلى الخوارزمية عن طريق إضافة الخطوتين 1 و2.
F2(س)=F1(س)+h1(س) - قم مرة أخرى بمطابقة شجرة القرار التالية مع بقايا الشجرة السابقة.
h2(x)=ص?F2(x) - كرر نفس ما فعلناه في الخطوة 3.
F3(س)=F2(س)+h2(س)
استمر في هذه العملية حتى تطلب منا بعض الآليات (أي التحقق المتبادل) التوقف. النموذج النهائي هنا هو نموذج إضافي مرحلي لأشجار فردية:
و(س)=ب∑ب=1fب(س)ومن ثم، يتم إنشاء الأشجار بجشع، واختيار أفضل نقاط الانقسام بناءً على درجات النقاء مثل جيني أو تقليل الخسارة.
3. النموذج الإضافي:
يتم تعريف النموذج الإضافي على أنه إضافة أشجار إلى النموذج. على الرغم من أنه لا ينبغي لنا إضافة أشجار متعددة في وقت واحد، إلا أنه يجب إضافة شجرة واحدة فقط حتى لا يتم تغيير الأشجار الموجودة في النموذج. علاوة على ذلك، يمكننا أيضًا تفضيل طريقة النزول المتدرج عن طريق إضافة الأشجار لتقليل الخسارة.
في السنوات القليلة الماضية، تم استخدام طريقة النسب المتدرج لتقليل مجموعة المعلمات مثل معامل معادلة الانحدار والوزن في الشبكة العصبية. بعد حساب الخطأ أو الخسارة، يتم استخدام معلمة الوزن لتقليل الخطأ. لكن في الآونة الأخيرة، يفضل معظم خبراء تعلم الآلة النماذج الفرعية للمتعلمين الضعفاء أو أشجار القرار كبديل لهذه المعلمات. حيث يتعين علينا إضافة شجرة في النموذج لتقليل الخطأ وتحسين أداء هذا النموذج. بهذه الطريقة، يتم دمج التنبؤ من الشجرة المضافة حديثًا مع التنبؤ من سلسلة الأشجار الموجودة للحصول على التنبؤ النهائي. وتستمر هذه العملية حتى تصل الخسارة إلى مستوى مقبول أو لم تعد هناك حاجة للتحسين.
تُعرف هذه الطريقة أيضًا بالنزول المتدرج الوظيفي أو النزول المتدرج مع الوظائف.
آلة تعزيز التدرج الشديد (XGBM)
XGBM هو أحدث إصدار من آلات تعزيز التدرج والتي تعمل أيضًا بشكل مشابه جدًا لـ GBM. في XGBM، تتم إضافة الأشجار بالتسلسل (واحدة تلو الأخرى) التي تتعلم من أخطاء الأشجار السابقة وتعمل على تحسينها. على الرغم من أن خوارزميات XGBM وGBM متشابهة في الشكل والمظهر، إلا أنه لا تزال هناك بعض الاختلافات بينهما كما يلي:
برمجة ستدين ج
- يستخدم XGBM تقنيات تنظيم مختلفة لتقليل النقص في الملاءمة أو الإفراط في ملاءمة النموذج مما يزيد أيضًا من أداء النموذج أكثر من آلات تعزيز التدرج.
- تتبع XGBM معالجة متوازية لكل عقدة، في حين أن GBM لا تفعل ذلك مما يجعلها أسرع من آلات تعزيز التدرج.
- يساعدنا XGBM على التخلص من احتساب القيم المفقودة لأن النموذج يعتني بها افتراضيًا. ويتعلم من تلقاء نفسه ما إذا كان ينبغي أن تكون هذه القيم في العقدة اليمنى أم اليسرى.
آلات تعزيز التدرج الخفيف (Light GBM)
يعد Light GBM نسخة مطورة من آلة تعزيز التدرج نظرًا لكفاءتها وسرعتها العالية. على عكس GBM وXGBM، يمكنه التعامل مع كمية هائلة من البيانات دون أي تعقيد. ومن ناحية أخرى، فهي غير مناسبة لنقاط البيانات الأقل عددا.
بدلاً من النمو على مستوى المستوى، يفضل Light GBM النمو على مستوى الأوراق لعقد الشجرة. علاوة على ذلك، في ضوء GBM، يتم تقسيم العقدة الأساسية إلى عقدتين ثانويتين وبعد ذلك تختار عقدة ثانوية واحدة ليتم تقسيمها. يعتمد هذا الانقسام للعقدة الثانوية على أي عقدتين لديه خسارة أعلى.
ومن ثم، نظرًا للتقسيم حسب الأوراق، تُفضل دائمًا خوارزمية Light Gradient Boosting Machine (LGBM) على الخوارزميات الأخرى التي يتم فيها تقديم كمية كبيرة من البيانات.
كاتبوست
تُستخدم خوارزمية catboost بشكل أساسي للتعامل مع الميزات الفئوية في مجموعة البيانات. على الرغم من أن خوارزميات GBM وXGBM وLight GBM مناسبة لمجموعات البيانات الرقمية، فقد تم تصميم Catboost للتعامل مع المتغيرات الفئوية في البيانات الرقمية. وبالتالي، تتكون خوارزمية catboost من خطوة معالجة مسبقة أساسية لتحويل الميزات الفئوية إلى متغيرات رقمية غير موجودة في أي خوارزمية أخرى.
مزايا تعزيز الخوارزميات:
- تتبع الخوارزميات المعززة التعلم الجماعي الذي يمكّن النموذج من تقديم تنبؤ أكثر دقة لا يمكن التغلب عليه.
- تعد خوارزميات التعزيز أكثر مرونة من الخوارزميات الأخرى حيث يمكنها تحسين وظائف الخسارة المختلفة وتوفر العديد من خيارات ضبط المعلمات الفائقة.
- لا يتطلب معالجة مسبقة للبيانات لأنه مناسب لكل من المتغيرات الرقمية والفئوية.
- ولا يتطلب الأمر احتساب القيم المفقودة في مجموعة البيانات، بل يتعامل مع البيانات المفقودة تلقائيًا.
عيوب تعزيز الخوارزميات:
فيما يلي بعض عيوب تعزيز الخوارزميات:
- قد يؤدي تعزيز الخوارزميات إلى الإفراط في التجهيز بالإضافة إلى المبالغة في التركيز على القيم المتطرفة.
- تركز خوارزمية تعزيز التدرج بشكل مستمر على تقليل الأخطاء وتتطلب أشجارًا متعددة، وبالتالي فهي مكلفة من الناحية الحسابية.
- إنها خوارزمية تستغرق وقتًا طويلاً وتستهلك الذاكرة.
- أقل تفسيرية بطبيعتها، على الرغم من أنه يمكن معالجتها بسهولة باستخدام أدوات مختلفة.
خاتمة:
وبهذه الطريقة، تعلمنا تعزيز الخوارزميات للنمذجة التنبؤية في التعلم الآلي. لقد ناقشنا أيضًا العديد من خوارزميات التعزيز المهمة المستخدمة في تعلم الآلة مثل GBM وXGBM وlight GBM وCatboost. علاوة على ذلك، فقد رأينا مكونات مختلفة (وظيفة الخسارة، والمتعلم الضعيف، والنموذج الإضافي) وكيفية عمل GBM معهم. كيف يكون تعزيز الخوارزميات مفيدًا للنشر في سيناريوهات العالم الحقيقي، وما إلى ذلك.