تصميم عزل الموارد HDFS RBF.

مع تطور العلوم والتكنولوجيا، أصبح الناس يتطلعون إلى الحصول على شهادة HDFS RBF. SPOTO هي شركة رائدة في صناعة تكنولوجيا المعلومات. مؤخرًا، أجرت شركة Cisco تغييرًا كبيرًا في نظام الشهادات. قامت SPOTO بتحديث آخر الأخبار حتى تتمكن من الحصول على شهادة Cisco.

مقدمة

ينفذ مجتمع Hadoop وظيفة اتحاد تعتمد على المسار في HDFS-10467. وقد تم تحسين هذه الميزة بشكل كبير مقارنة بنهج اتحاد HDFS+viewfs التقليدي. فهو ينفذ بالفعل تعيين المسار القائم على الواجهة الخلفية بدلاً من وجهات النظر على جانب العميل. إعادة توجيه دقة العنوان. بناءً على الواجهة الخلفية، فإن إدارة تعيين التثبيت خلفها تنتمي إلى مسؤول النظام. والأهم من ذلك، عندما تريد استبدال معلومات التثبيت، فلن تحتاج إلى دفع ملف التعيين المحدث إلى جميع العملاء، ولكن يمكنك استخدام أمر المسؤول البسيط لتشغيل معلومات جدول تثبيت RBF. كاستعارة، فإن جهاز التوجيه في RBF هو دور وسيط بين الشبكة العصبية المتدفقة والعميل. في هذا الوضع، يصبح جهاز التوجيه دورًا رئيسيًا، وستؤثر سرعة استجابته على وصول الطلبات لجميع العملاء. ومع ذلك، فإن جهاز التوجيه هنا ليس مستقرًا بدرجة كافية. على سبيل المثال، تستجيب الشبكة العصبية المتدفقة ببطء، ثم يتم الضغط عليها مرة أخرى إلى جهاز التوجيه (يشارك جهاز التوجيه مجموعة مؤشرات ترابط لتنفيذ المكالمات). بهذه الطريقة، سيتم حظر طلبات NN العادية الأخرى، وبالتالي قد تنشأ مشكلات عزل الموارد المحتملة. في هذه المقالة، سأتحدث بإيجاز عن التصميم الحالي للمجتمع. المبدأ الرئيسي هو التحكم في عدالة العميل على مستوى عميل الموجه، وهو ليس نفس Fairoopqueue الحالي لـ Hadoop.

عزل موارد RBF وعزل موارد FCQ

عندما نتحدث كثيرًا عن عزل الموارد، فإننا سنذكر حتمًا مسألة العدالة. ولأن العزل الجيد غير موجود، فلا يمكن ضمان العدالة، وهذا ما تفعله FCQ (Fair Callqueue). ولكن لاحظ أن العدالة هنا لا تعني العدالة من حيث القيمة المطلقة. لا يمكن القول إلا إنها عادلة نسبيًا، وهو نوع من العدالة وفقًا لدرجة معينة نعطيها.

ومع ذلك، لا تزال أنواع مشكلات عزل الموارد بين FCQ وRBF مختلفة. يهدف FCQ إلى التأثير الذي يحدثه المستخدمون في مجموعة واحدة، وفي RBF، يصبح هذا "المستخدم" المزعوم هو الشبكة العصبية لكل مجموعة. في FCQ أيضًا، يمكننا الحصول على تفاصيل طلب المستخدم، وفي RBF، لا يمكننا الحصول إلا على المعلومات الأساسية للشبكة العصبية.

دعونا نلقي نظرة على الرسم التخطيطي للنموذج التخطيطي لـ FCQ:

في الوقت الحاضر، تعد استراتيجية الإنصاف في FCQ ذكية نسبيًا، بما في ذلك تحديد الأولويات وفقًا لتكرار الطلب، ثم تحديد الأوزان وفقًا للأولويات، وأخيرًا إجراء معالجة جدولة الدوري المرجحة. ضمن كل تكرار، يتم ضمان معالجة كل نوع من الطلبات.

بالمقارنة مع التحكم الدقيق في FCQ على مستوى المستخدم، يمكن تنفيذ التحكم في الإنصاف في RBF في التنفيذ الأولي طالما أن التحكم المسموح به مطلوب لكل مجموعة. على سبيل المثال، في وحدة زمنية، أسمح لجهاز التوجيه بإرسال 6 طلبات إلى المجموعة A، بينما تسمح المجموعة B بـ 4 طلبات فقط. من خلال الحد من عدد الطلبات المسموح بها، يتم منع التحميل الزائد لشبكة NN في اتجاه مجرى النهر من التسبب في إبطاء جهاز التوجيه.

فيما يلي عرض متوقع لعدالة RBF:

من خلال تدخل مدير الإنصاف RBF، يتم تقسيم المعالج بشكل متناسب إلى مساحات أسماء مختلفة على المستوى المنطقي. لاحظ أن المؤلف يشير إلى المستوى المنطقي هنا. ليس صحيحًا أن RBF يعدل معالجة المعالج في NN Server.

مبدأ العدالة في الرقابة لدى RBF

فيما يلي مثال SPOTO للحديث عن مبدأ التحكم في الإنصاف في RBF. يتم التحكم في الإنصاف في خدمة جهاز التوجيه، وبشكل أكثر تحديدًا على مستوى عميل جهاز التوجيه. يمكن فهم عميل جهاز التوجيه هنا باعتباره وكيلًا يطلبه جهاز التوجيه للتحول إلى الشبكة العصبية الفعلية.

في تنفيذ المجتمع، يتم تقديم كائن FairManager، ويحتوي FairManager على استراتيجية التحكم في الإنصاف. تتمثل الاستراتيجية الافتراضية الحالية في الحد من الطلب من خلال تعيين كائن إشارة Semaphore لكل مساحة اسم.

في وقت التهيئة، يتم تعيين Semaphore من خلال قراءة عدد الأذونات المحددة لكل ns في التكوين.

عندما يطلب العميل مكالمة، ستقوم سياسة الإنصاف بتنفيذ عملية السماح في إشارة المرور المقابلة. إذا لم يتم تحرير المورد المطلوب لـ ns بالكامل، يتم طرح الاستثناء. يحقق هذا السلوك تأثير التحكم المثالي في الموارد، والغرض من العزل هو تحقيق العزل داخل جهاز التوجيه. بعد اكتمال الطلب، يتم استدعاء طريقة releasePermit.

إن مخطط سير مبدأ التحكم في العدالة في RBF هو كما يلي:

بالطبع، في الوقت الحاضر، تتم مقارنة استراتيجية التحكم في الإنصاف المبكر لـ RBF بـ FCQ، وتفتقر بشكل أساسي إلى بعض المرونة من خلال التحكم في التكوين المحدد مسبقًا. يمكن إجراء تحسينات لاحقة في اتجاه تعديل قيمة التصريح ديناميكيًا وتنفيذ سياسة جديدة.