Chr2: مكتبة إجماع جديدة تصلح مشكلة التكرار في الآثار الجانبية

ملخص سريع

تتجاهل مكتبات الإجماع القياسية مثل Raft وPaxos بشكل عام ما يحدث بعد تثبيت إدخال السجل. فهي تعامل آلة الحالة كصندوق أسود، على افتراض أن التطبيق يتولى الباقي. ينقطع هذا الافتراض عندما يتعين على التطبيق تحفيز إجراءات خارجية، مثل شحن بطاقة ائتمان أو إطلاق webhook أو إرسال بريد إلكتروني. إذا تعطل القائد بعد تنفيذ الإجراء ولكن قبل تثبيت العملية، غالبًا ما يفقد النظام تتبع العملية. عندما يتولى قائد جديد المسؤولية، قد يقوم بإعادة تنفيذ الأمر نفسه، مما يؤدي إلى آثار جانبية مكررة.

لحل هذه المشكلة، تم تطوير مكتبة جديدة تسمى Chr2 لتعامل الآثار الجانبية القابلة للتعطل كميزة أساسية بدلاً من أمر تالٍ. الفلسفة الأساسية هي ضمان أن الآثار الجانبية لا يتم تسجيلها فحسب، بل يتم إدارتها من خلال دورة حياة تنفيذ صارمة. تقدم المكتبة آلية صندوق صندوق مُكرر (Replicated Outbox). بدلاً من التنفيذ الفوري، يتم تخزين الآثار الجانبية كعناصر "معلقة" ضمن الحالة المكررة. يتم التحكم في التنفيذ بصرامة؛ فقط القائد النشط مسموح له بتنفيذ هذه الآثار، ويجب أن يفعل ذلك تحت رمز سياج محدد.

منع "القادة الأشباح" - القادة القدامى الذين يعودون إلى العمل وحاولون التصرف - أمر بالغ الأهمية. تستخدم Chr2 السياج المتين (Durable Fencing) لإدارة ذلك. يتم حفظ ملف العرض أعلى رقم للعرض باستخدام عمليات ذرية (tmp+fsync+rename). هذا يضمن أن القائد القديم لا يمكن أن يستيقظ ويقوم بتنفيذ آثار قديمة. لضمان الاتساق أثناء الاسترداد أو إعادة التشغيل، يوفر النظام سياقًا حاسوبيًا محددًا (Deterministic Context). يتلقى كود التطبيق بذرة عشوائية محددة ووقت الكتلة مباشرة من السجل، مما يضمن أن إعادة تشغيل السجل تنتج حالات حالة متطابقة. أخيرًا، سجل الكتابة قبل الحذف (WAL) صارم: يتم حماية الإدخالات بواسطة CRC وربطها بالسلسلة باستخدام التجزئة. إذا تم اكتشاف تلف، مصمم النظام للتوقف بدلاً من التخمين. بينما توفر هذه الإجراءات سلامة قوية، مصمم النظام صراحةً كنظام CP (الاتساق/تحمل التقسيم)، مع إعطاء الأولوية للسلامة على حساب التوفر وقبول أن الآثار الجانبية ستكون على الأقل مرة واحدة بدلاً من كونها بالضبط مرة واحدة.

المشكلة مع الإجماع القياسي

تُعد خوارزميات الإجماع العمود الفقري للأنظمة الموزعة، مما يسمح للعديد من الخوادم بالاتفاق على تسلسل الأوامر. تُستخدم مكتبات تطبيق Raft وPaxos على نطاق واسع لهذا الغرض. ومع ذلك، تركز هذه المكتبات عادةً فقط على تكرار السجل والاتساق. فهي تضمن أن جميع العقد تتفق على ترتيب العمليات، ولكنها لا تدير عواقب هذه العمليات. غالبًا ما يُوصف هذا على أنه معاملة آلة الحالة كـ "صندوق أسود". طبقة الإجماع تمرر الأمر إلى طبقة التطبيق وتعتبر أن مهمتها انتهت.

يصبح هذا الفصل في المهام مشكلة عندما يحتاج التطبيق إلى التفاعل مع العالم الخارجي. تشمل العمليات الشائعة:

• شحن بطاقة ائتمان العميل.
• إرسال إشعار عبر البريد الإلكتروني.
• تحفيز webhook لخدمة خارجية.

يظهر الخطر أثناء فشل القائد. تخيل أن القائد يستلم أمرًا "لشحن 50 دولاراً". يمرره إلى التطبيق، الذي يتصل بوابة الدفع ويقوم بشحن البطاقة بنجاح. ومع ذلك، قبل أن يتمكن القائد من تكرار إدخال السجل إلى الأغلبية من الأتباع وتثبيته، يتعطل. لا يعرف الأتباع أن العملية قد اكتملت. عندما يتم انتخاب قائد جديد، يرى الإدخال غير المثبت ويقوم بتنفيذه مرة أخرى. يتم شحن العميل مرتين. هذه هي "أكذوبة" التنفيذ "بالضبط مرة واحدة" المذكورة في الوثائق: التنفيذ الحقيقي بالضبط مرة واحدة من الصعب للغاية ضمانه في طبقة الإجماع دون مساعدة من التطبيق أو آلية متخصصة.

كيف تضمن Chr2 السلامة عند التعطل

تقترب Chr2 من المشكلة من خلال دمج إدارة الآثار الجانبية مباشرة في آلية الإجماع. تبتعد عن نموذج الصندوق الأسود إلى نظام تكون فيه الآثار الجانبية مواطنين من الدرجة الأولى. تحقق المكتبة ذلك من خلال أربع آليات تقنية محددة مصممة للعمل معًا.

صندوق صندوق مُكرر (Replicated Outbox)

التحول الأساسي في Chr2 هو تقديم صندوق صندوق مُكرر. بدلاً من تنفيذ الأثر الجانبي على الفور والاعتماد على تثبيت إدخال السجل، تقوم Chr2 بتخزين النية كحالة "معلقة" في السجل المكرر. هذا يعني أن الطلب لتنفيذ إجراء يتم تكراره إلى العقد الأخرى تماماً مثل أي تغيير حالة آخر. ومع ذلك، يتم فصل التنفيذ الفعلي عن إدخال السجل الأولي. فقط القائد المحدد مسموح له بتنفيذ هذه الآثار المعلقة، ويقوم بذلك تحت حماية رمز سياج. يعمل هذا الرمز كدليل سلطة، مما يضمن أن القائد الحالي الصحيح فقط هو من يمكنه تحفيز الإجراءات الخارجية.

السياج المتين ومنع الأشباح

الخطر الكبير في الأنظمة الموزعة هو "القائد الشبح". يحدث هذا عندما يتم عزل القائد عن الشبكة، ويُفترض أنه ميت، ثم يظهر فجأة مرة أخرى. إذا كان لا يزال يعتقد أنه القائد، فقد يحاول تنفيذ عمليات تم التعامل معها بالفعل من قبل خليفته. تمنع Chr2 ذلك باستخدام السياج المتين (Durable Fencing).

يحتفظ النظام بملف عرض يسجل أعلى رقم "عرض" (ببساطة مدة القائد). عندما يتغير القائد، يتم تحديث هذا العرض باستخدام تسلسل عمليات محدد: الكتابة إلى ملف مؤقت، وإجبار المزامنة إلى القرص (fsync)، ثم إعادة تسمية الملف إلى الاسم النهائي (استبدال ذري). هذا يضمن أنه حتى في حالة فقدان الطاقة أثناء التحديث، تبقى الحالة متسقة. سيجد القائد القديم الذي يحاول الاستيقاظ أن رقم عرضه أقل من العرض المحفوظ ويرفض تنفيذ الآثار.

سياق حاسوبي محدد لإعادة التشغيل

إعادة تشغيل السجل هو متطلب قياسي للاسترداد من التعطلات. ومع ذلك، تعتمد الآثار الجانبية غالبًا على متغيرات مثل الطوابع الزمنية أو الأرقام العشوائية. إذا تغيرت هذه الأشياء أثناء إعادة التشغيل، قد تنتهي آلة الحالة في حالة مختلفة عن سابقتها. تحل Chr2 ذلك من خلال توفير سياق حاسوبي محدد (Deterministic Context). عندما يحتاج كود التطبيق إلى تنفيذ إجراء، فإنه يتلقى مدخلات محددة من طبقة الإجماع:

• بذرة عشوائية محددة لمولد الأرقام العشوائية (RNG).
• وقت الكتلة الدقيق من السجل.

بما أن هذه المدخلات مثبتة بتاريخ السجل، فإن إعادة تشغيل السجل ستنتج دائمًا نفس النتيجة. هذا يضمن حالات حالة متطابقة.

سجل الكتابة قبل الحذف (WAL) الصارم

سلامة البيانات أمر بالغ الأهمية. تستخدم Chr2 سجل كتابة قبل الحذف (WAL) صارم. كل إدخال مكتوب في السجل محمي بواسطة CRC (التحقق من التكرار الدوري) ومرتبط بالسلسلة بالتجزئة مع الإدخال السابق. هذا ينشئ سلسلة بيانات قابلة للتحقق. إذا تم اكتشاف تلف في منتصف السجل، مصمم النظام للتوقف فوراً بدلاً من محاولة تخمين ما قد تكون عليه البيانات المفقودة. يمنع هذا النهج "الفشل المغلق" انتشار تلف البيانات عبر النظام.

التسوية

مثل أي نظام تقني، تقدم Chr2 تسوية بين السلامة والتوافر. من خلال تصميمها كنظام CP (الاتساق/تحمل التقسيم)، تقدم Chr2 سلامة قوية للعمليات ولكنها ت牺牲 التوفر في حالات التقسيم.

متى تستخدم Chr2؟

Chr2 مثالي للتطبيقات التي:

• لديها عمليات خارجية نقدية (مثل معالجة المدفوعات).
• تتطلب ضمانات قوية ضد التكرار.
• يمكن أن تتحمل حالات عدم التوفر القصيرة.

متى تتجنب Chr2؟

قد لا تكون Chr2 مناسبة للتطبيقات التي:

• تتطلب توفر 100% (مثل أنظمة المراقبة في الوقت الفعلي).
• لا تستخدم عمليات خارجية تتضرر من التكرار.
• لديها قيود أداء صارمة بسبب تكلفة إضافية للسياج.

الخلاصة

تمثل Chr2 تطوراً كبيراً في تصميم أنظمة الإجماع الموزعة، حيث تحل مشكلة التكرار التي طالما عانى منها النظام. من خلال رفع الآثار الجانبية إلى مستوى ميزة أساسية، تضمن Chr2 أن العمليات الحرجة يتم التعامل معها بشكل موثوق، مما يجعلها أداة قيمة لبناء أنظمة مالية وتجارية قوية.