حقائق أساسية
- تقوم الأداة بمعالجة تورنت Pushshift الذي يبلغ حجمه 3.28 تيرابايت ويحتوي على 2.38 مليار منشور على Reddit.
- تولّد ملفات HTML ثابتة، مما لا يتطلب جافا سكريبت أو اتصالاً بالإنترنت للتصفح.
- تتضمن واجهة برمجة تطبيقات REST كاملة بأكثر من 30 نقطة نهاية وخادم MCP لتتكامل مع الذكاء الاصطناعي.
- تتراوح خيارات النشر من محرك أقراص USB بسيط إلى خدمة مخفية على شبكة تور (Tor).
- تم بناء المشروع باستخدام Python وPostgreSQL وJinja2 وDocker.
- تم إصداره في المجال العام على GitHub.
الcapsule الزمنية الرقمية
شهدت منصة Reddit تحولاً جذرياً في السنوات الأخيرة. مع الانهيار الفعلي للواجهة البرمجية العامة (API) و اختفاء التطبيقات الخارجية، أصبح الوصول إلى مستودع النقاشات الضخم للمنصة محدوداً بشكل متزايد. وقد واجه مجموعة بيانات Pushshift، وهي مورد حاسم للباحثين والمحررين، تهديدات متكررة بقطع الوصول، مما ترك مستقبل المعرفة الجماعية لـ Reddit محفوفاً بالمخاطر.
الآن، يقدم مشروع مفتوح المصدر حلاً نهائياً. قام مطور ببناء أداة قادرة على تحويل تورنت Reddit التاريخي البالغ 3.28 تيرابايت بالكامل إلى أرشيف يعمل بكامل وظائفه ويمكن الوصول إليه دون اتصال. وهذا الإبداع يضمن أنه بمجرد تنزيل البيانات، فإنها تصبح ملكية المستخدم للأبد - مناعة لقرارات الشركات أو مفاتيح الواجهات البرمجية أو اتصالات الإنترنت.
كيف تعمل
الوظيفة الأساسية للأداة بسيطة ظاهرياً ولكنها قوية. فهي تستهلك عمليات ضغط البيانات من Reddit (بصيغة .zst)، بالإضافة إلى الأرشيفات من Voat و Ruqqus، وتولّد ملفات HTML ثابتة. وهذا النهج يزيل الحاجة إلى بنية تحتية معقدة للخادم أو وصول مستمر للإنترنت. يفتح المستخدمون ببساطة ملف index.html المولد في أي متصفح للتنقل بين المنشورات والتعليقات.
وللذين يتطلبون وظائف متقدمة، يمكن نشر Stack Docker اختياري مع PostgreSQL. وهذا يبقى بالكامل على جهاز المستخدم، مما يوفر إمكانيات بحث كامل النص دون طلبات خارجية. تم تصميم النظام للحد الأقصى من المرونة والخصوصية:
- لا يوجد جافا سكريبت أو تتبع خارجي
- يعمل على الآلات المعزولة (air-gapped)
- يقدم المحتوى عبر شبكة محلية (LAN) (على سبيل المثال Raspberry Pi)
- يمكن توزيعه عبر محرك أقراص USB
"بمجرد أن تحصل على البيانات، تمتلكها. لا مفاتيح واجهة برمجة تطبيقات، لا حدود للمعدل، لا تغييرات في شروط الخدمة يمكن أن تسلبها منك."
— مطور المشروع
الملكية الكاملة
القيمة الأساسية التي تقدمها هي سيادة البيانات. بمجرد تنزيل وتجهيز تورنت Pushshift، يمتلك المستخدم البيانات. لا توجد مفاتيح واجهة برمجة تطبيقات لإدارتها، ولا حدود للمعدل للتعامل معها، ولا تغييرات في شروط الخدمة يمكن أن تلغى الوصول. هذا تطور حاسم لأي شخص يعتمد على بيانات Reddit لمشاريع أو أبحاث طويلة الأمد.
بمجرد أن تحصل على البيانات، تمتلكها. لا مفاتيح واجهة برمجة تطبيقات، لا حدود للمعدل، لا تغييرات في شروط الخدمة يمكن أن تسلبها منك.
تت escalates الأداة بكفاءة. يضمن الخلفية PostgreSQL أن استخدام الذاكرة يبقى ثابتاً بغض النظر عن حجم مجموعة البيانات. بينما يمكن لحالة واحدة التعامل مع عشرات الملايين من المنشورات، يمكن إدارة مجموعة البيانات الكاملة المكونة من 2.38 مليار منشور عن طريق تشغيل حالات متعددة مقسمة حسب الموضوع. يجعل هذا البنية الكاملة الحفاظ على تاريخ Reddit بالكامل مهمة ممكنة للأفراد والمنظمات الصغيرة.
القدرات المتقدمة
بeyond التصفح البسيط، تم بناء الأرشيف للتكامل والأتمتة. فهو يأتي مع واجهة برمجة تطبيقات REST كاملة تضم أكثر من 30 نقطة نهاية. يمكن للمستخدمين الاستعلام عن المنشورات والتعليقات والمستخدمين والمجتمعات الفرعية (subreddits) وإجراء عمليات تجميع مباشرة ضد قاعدة البيانات المحلية.
ربما الأكثر لفتاً للنظر، يشمل المشروع خادم بروتوكول سياق النموذج (MCP) مع 29 أداة. هذا يسمح لتطبيقات الذكاء الاصطناعي بالاستعلام عن أرشيف Reddit المحلي مباشرة، مما يفتح إمكانيات جديدة للتحليل المدعوم بالذكاء الاصطناعي واستخراج البيانات دون الاعتماد على خدمات السحابة. قام المطور ببناء الأداة باستخدام Python وPostgreSQL وقوالب Jinja2 وDocker، مستخدماً Claude Code في تجربة للتطوير بمساعدة الذكاء الاصطناعي.
خيارات النشر
تم تصميم الأداة لتكون في متناول المستخدمين بمستويات مختلفة من الخبرة التقنية. فهي تدعم مجموعة واسعة من سيناريوهات الاستضافة، من البسيط إلى الأكثر أماناً. تشمل خيارات الاستضافة الذاتية المتاحة:
- محرك أقراص USB / مجلد محلي: الإعداد الأكثر بساطة؛ فقط افتح ملفات HTML.
- خادم منزلي (LAN): تقديم الأرشيف للأجهزة على Raspberry Pi أو أجهزة مماثلة.
- خدمة مخفية على تور (Tor): أمرين يفعّلان الوصول عبر تور دون إعادة توجيه المنافذ.
- VPS مع HTTPS: استضافة ويب قياسية للوصول العام أو الخاص.
- صفحات GitHub: مناسبة لاستضافة أرشيفات أصغر.
يتوفر عرض توضيحي حي للأرشيف عبر الإنترنت، مما يظهر تجربة التصفح الثابتة. يتم إصدار كود المشروع في المجال العام عبر GitHub، تشجيعاً للاستخدام الواسع والمساهمة.
النظر إلى الأمام
يمثل إصدار أداة الأرشيف هذه خطوة مهمة في الحفاظ على الثقافة الرقمية. مع تطور المنصات وتقييد الوصول، تزداد قيمة قدرة الأفراد على الحفاظ على أرشيفهم الخاص. يوفر هذا المشروع طريقة قوية وقابلة للتطوير وפרטية لضمان بقاء 2.38 مليار منشور التي تشكل تاريخ Reddit في متناول الأجيال المستقبلية.
من خلال ديمقراطية الوصول إلى مجموعات البيانات الضخمة، تُمكّن الأداة الباحثين والمطورين والهواة من مواصلة عملهم دون خوف من عدم استقرار المنصة. إنها تشهد على قدرة مجتمع مفتوح المصدر على الاستجابة للسيطرة المركزية بحلول لا مركزية.
الأسئلة الشائعة
ما هو الغرض الأساسي من هذه الأداة؟
تتيح الأداة للمستخدمين تنزيل و/archiving وتصفح تاريخ Reddit بالكامل دون اتصال. إنها تحول عمليات ضغط البيانات الضخمة إلى ملفات HTML ثابتة، مما يضمن وصولاً دائماً دون الاعتماد على خوادم Reddit أو واجهتها البرمجية.
كيف تضمن الخصوصية وملكية البيانات؟
من خلال معالجة البيانات محلياً وتوليد ملفات ثابتة، تضمن الأداة عدم إرسال أي معلومات إلى خوادم خارجية. يمتلك المستخدمون البيانات بمجرد تنزيلها، مما يزيل الاعتماد على مفاتيح الواجهات البرمجية أو حدود المعدل أو تغييرات سياسة المنصة.
ما هي المتطلبات التقنية؟
للتصفح الأساسي، يكفي متصفح ويب فقط. للميزات المتقدمة للبحث وواجهات برمجة التطبيقات، يتطلب النظام Docker وPostgreSQL، ولكن جميع المكونات تعمل على العتاد المحلي للمستخدم.
