تخطي إلى المحتوى
SEOCheck
SEOCheckإنشاء حساب

الهندسة

أدخل بيانات الروابط إلى خط أنابيب دون تعطيله

سحب جدول مرة واحدة أمر سهل. سحبه كل شهر لمدة عام دون فجوات صامتة هو العمل الحقيقي.

فريق أبحاث SEOCheck ·

نظام أنابيب المياه يتدفق عبر الصخور يظهر خط أنابيب بيانات موثوق

مهمة شهرية في اثني عشر سطراً

بايثون، باستخدام المكتبة القياسية فقط. يتصفح النطاقات المرجعية ويتوقف عند حدوث خطأ واضح. يضع كل استجابة صفوفه في rows؛ أضف per (من 10 إلى 5000) لصفحات أكبر، ويتوقف الحلقة بمجرد أن يقرأ total صف.

python
import json, urllib.request as u
KEY='sk_live_...'
def get(**p):
    q='&'.join(f'{k}={v}' for k,v in p.items())
    url=f'https://seocheck.dev/api.php?{q}&key={KEY}'
    with u.urlopen(url) as r:
        return json.load(r)
rows, page = [], 1
while True:
    d = get(action='refdomains', q='example.com', page=page)
    if not d['ok']: raise SystemExit(d)
    rows += d['rows']
    if not d['rows'] or len(rows) >= d['total']: break
    page += 1
print(len(rows), 'of', d['total'], 'balance', d['_credits']['balance'])

لماذا تفشل مهام واجهة برمجة تطبيقات الروابط الخلفية لـ SEO بصمت

ليس بهبوط مفاجئ. بل بجدول يفتصف الصفحة الأخيرة. السبب الشائع هو حلقة تنتهي بناءً على تخمين بدلاً من الاعتماد على عدد.

تحقق من ثلاثة أشياء في كل تشغيل. هل كانت قيمة ok صحيحة؟ هل وصل عدد الصفوف إلى total؟ هل أظهر _credits الرصيد المتوقع؟ إذا كانت أي إجابة لا، أوقف المهمة وأبلغ شخصاً ما.

النجاح الصامت أسوأ من الفشل الصاخب. مهمة تنتهي بعدد غير صحيح من الصفوف تبدو صحية حتى يقرأ شخص ما الجدول.

حدود معدل الطلبات والاستجابات البطيئة أقل أهمية هنا مقارنة بالعديد من واجهات برمجة التطبيقات الأخرى. يمكن لمهمة شهرية ببساطة إعادة المحاولة بعد ساعة. ما يهم هو أن عمليات إعادة المحاولة لا تحسب عليك مرتين مقابل طلب نجح بالفعل. سجل رصيد _credits قبل وبعد كل تشغيل وقارن. إذا كان القفز أكبر من التكلفة المتوقعة للمهمة، فهذا يعني أن هناك حلقة ما. تحقق من ذلك قبل التشغيل التالي.

الفرق التي تشغل بالفعل Airflow أو cron عادي على خادم صغير لا تحتاج إلى شيء جديد. يعمل جدولة GitHub Actions أيضاً. الشكل يبقى نفسه: جلب، تحقق، تخزين، تنبيه. انظر مقارنة التكلفة إذا كنت تقارن ذلك بتصدير مجموعة أدوات.

المزالق الشائعة في الاستيعاب

المأزقالعرضالحل
التصفية في جانب العميل بعد التصفحتشغيل بطيء، صفحات مهدرةاستخدم sort و order في جانب الخادم، ثم اقتطع
التصفح تجاوز الحدالحلقة لا تنتهي أبداًالتصفح العميق يتوقف عند 50,000 صف؛ خطط لذلك
اعتبار HTTP 402 خطأًالمهمة تعيد المحاولة إلى الأبدتعني 402 نفاد الرصيد؛ قم بإعادة الشحن، لا تعيد المحاولة
اعتبار 401 عرضياًنفسمفتاح غير صالح؛ تنبيه وأوقف
مقارنة الأشهر بشكل أعمىانخفاضات شبحيةتحديث الفهرس شهرياً؛ قارن المتشابه مع المتشابه
خلط موردي الدرجاتاتجاهات غير منطقيةمصدر واحد لكل جدول

شكل معقول للكل

01

احتفظ بقائمة النطاقات في مكان واحد

جدول أو جدول بيانات. عمود واحد للنطاقات، لا شيء آخر في البداية.

02

قيم القائمة باستخدام bulk_dr

حتى 2,000 نطاق لكل طلب، رصيد واحد. GET باستخدام domains= أو POST القائمة كجسم عندما تكون طويلة.

03

اسحب التفاصيل فقط للناجين

شغل refdomains أو anchors على الشريحة العليا. رصيدان لكل طلب، حتى 1,000 صف لكل منهما.

04

احفظ لقطات، لا استبدالات

تاريخ كل سحب. تحتاج الاتجاهات إلى تاريخ.

05

تنبيه عند التغيير

انخفاض DR بعدة نقاط على نطاق من مورد يستحق رسالة.

جداول بيانات Google و CORS

CORS مفتوح، لذا يمكن لقطعة كود متصفح أو Apps Script استدعاء API مباشرة. مثال صغير لدالة خلية. ترجع الدالة تقييم النطاق للنطاق الموجود في الخلية.

javascript
function DR(domain){
  var url='https://seocheck.dev/api.php?action=domain&q='+encodeURIComponent(domain);
  var r=JSON.parse(UrlFetchApp.fetch(url).getContentText());
  return r.metrics.dr;
}
شجرة بلوط متينة بجذور عميقة تمثل تحديثات شهرية مستقرة

الحداثة والأمانة

يتم إعادة بناء الفهرس حوالي مرة واحدة شهلياً من زاحفنا الخاص. توقع تأخراً. البيانات الأقدم من بضعة أسابيع أمر طبيعي. لا جدولة السحب كل ساعة؛ فهي تعيد نفس الشيء وتكلف الرصيد.

اختر اليوم التالي للتحديث عندما يمكنك. وإلا شغل في نفس اليوم كل شهر وقبل التأخير الصغير.

مجموعات الكلمات الرئيسية الكاملة، الزحافات اليومية وتتبع المراتب تعيش في مكان آخر. Ahrefs و Semrush تغطيها؛ اقرأ مقارنة التكلفة قبل أن تضاعف أي شيء. مرجع نقاط النهاية يحتوي على كل معلمة.

أربع أدوات مميزة على طاولة تمثل مراحل خط أنابيب معيارية

تصميم المهمة بحيث يمكنك الوثوق بها

خط الأنابيب لا يكون أفضل من أضعف تشغيل له. ابنِ كل تشغيل لترك دليل وراءه، بحيث يمكن شرح شهر سيء بدلاً من التخمين فيه. العمل الإضافي صغير. يوفر الكثير من الجدل لاحقاً، ويوفر الرصيد أيضاً.

فكر في أربع مراحل: جلب، تحقق، تخزين وتنبيه. اجعل كل مرحلة بسيطة. يجب أن تكون كل مرحلة قادرة على الفشل بشكل مستقل، ويجب أن يقول كل فشل أي مرحلة انكسرت. تنطبق نفس المراحل الأربع على أي مهمة واجهة برمجة تطبيقات الروابط الخلفية لـ SEO، بغض النظر عن اللغة التي تكتبها بها.

احفظ الاستجابة الخام قبل تحويلها

احفظ JSON كما جاء بالضبط، مع التاريخ ومعاملات المكالمة في اسم الملف أو صف الرأس. عندما يبدو رقم ما خاطئاً في الربع القادم، يمكنك العودة إلى ما قاله API فعلياً بدلاً من جدول عدله شخص ما.

تكاليف الملفات الخام قليلة للحفاظ عليها. جدول تم استبداله ثلاث مرات لا يمكنه إخبارك بما حدث في مارس.

احتفظ بسجل تشغيل مع عدد الصفوف والرصيد

يجب أن يضيف كل تشغيل سطراً واحداً إلى السجل: وقت البدء، المكالمات التي تمت، الصفوف التي عادت، قيمة total والرصيد من _credits. السجل هو المكان الأول للنظر عندما يتحرك رقم.

إذا لم تتطابق الصفوف التي عادت مع total، فإن التشغيل غير مكتمل. علامته كفاشل، احتفظ بالملف الجزئي، ولا تدمجه في الاتجاه.

افصل عمليات إعادة المحاولة عن إعادة التشغيل

إعادة المحاولة تكرار طلب فشل بدون إجابة. إعادة التشغيل تكرار مهمة كاملة انتهت ولكن تحتاج إلى إعادة القيام بها. تعامل معهما بشكل مختلف، لأن إعادة محاولة طلب نجح بالفعل يمكن أن تكلف الرصيد مرتين.

إذا لم تتمكن من معرفة ما إذا كان الطلب قد نجح، اقرأ السجل قبل إرساله مرة أخرى. هذه العادة الواحدة تمنع معظم فواتير المفاجأة.

تنبيه على الفشل الذي يهم

التنبيه مفيد فقط عندما يتصرف شخص ما بناءً عليه. أرسل واحداً لمفتاح فاشل، رصيد فارغ، عدد صفوف لا يتطابق مع total وتكلفة أعلى بكثير من الرقم المتوقع. اترك النجاحات الروتينية خارج الرسالة، أو سيتوقف الناس عن قراءتها.

جدولة بدون إهدار الرصيد

يجب أن يتبع الجدول البيانات، وليس الساعة. مهمة تعمل كل ساعة تدفع مقابل نفس اللقطة أربع وعشرين مرة في اليوم، وهذا هو السبب في أهمية الإيقاع الشهري جداً لهذا النوع من العمل.

اختر جدولاً مرة واحدة واكتبه. تغييره كل شهر هو كيف يكتسب خط الاتجاه خطوات اصطناعية.

الشهري يتفوق على الساعة لهذا البيانات

يتم إعادة بناء الفهرس حوالي مرة واحدة شهرياً. السحب أكثر من ذلك يعيد نفس الشيء ويكلف الرصيد. إذا كنت بحاجة إلى تشغيل إضافي، افعله بعد تحديث معروف، وليس في منتصف واحد.

مهمة واحدة، نطاقات متعددة

ضع كل نطاق في قائمة واحدة وشغل التقييم في ممر واحد. معالجة bulk_dr تتعامل مع ما يصل إلى 2,000 نطاق لرصيد واحد، لذا فإن قائمة من 1,500 فرصة تكلف نفس قائمة من عشرة. قسم العمل فقط عندما يحتاج نطاق إلى بيانات أعمق، مثل refdomains.

احتفظ بالقائمة في مكان واحد. نسختان من قائمة النطاقات تبتعدان عن بعضهما البعض، ثم تقارن اتجاهك مجموعات مختلفة من المواقع.

من يجب أن يملك المهمة

امنح المهمة مالكاً واحداً، حتى لو كانت تعمل على خادم مشترك. يجب أن يكون هناك شخص يجيب عندما ينفجر التنبيه، يتحقق من الرصيد ويقرر ما إذا كان شهر فاشل يحتاج إلى إعادة تشغيل. بدون مالك، يمكن أن تمر مهمة تفشل بصمت دون ملاحظة لمدة ربع. اكتب اسم المالك في رأس السجل، حتى يعرف الشخص التالي من يسأل.

اختبر على قائمة صغيرة أولاً

عندما تغير مهمة، شغلها على خمسة نطاقات قبل أن توجهها إلى القائمة الكاملة. خطأ في حلقة يظهر نفسه في ثوانٍ على عينة صغيرة وفي الرصيد على واحدة كبيرة. اختبار الخمسة نطاقات يكلف تقريباً لا شيء. خمسة نطاقات كافية لإظهار حلقة.

احتفظ بقائمة الاختبار هذه في المستودع بجانب المهمة، لتكون نفسها في كل مرة تتحقق فيها.

عندما يكون خط الأنابيب هو الإجابة الخاطئة

يكتسب خط الأنابيب مكانه عندما تحتاج إلى نفس الأرقام مرة تلو الأخرى. اختر الأداة الصحيحة. لسؤال واحد، غالباً ما يكون السحب اليدوي هو الأداة الأفضل. كن صادقاً بشأن أي من الاثنين تحتاجه فعلياً.

السبب الآخر لتخطي خط الأنابيب هو شكل العمل. إذا كان السؤال يتغير كل أسبوع، فإن مهمة ثابتة ستستمر في قياس الشيء الخاطئ.

تصدير لمرة واحدة ليس خط أنابيب

قل أنك تحتاج إلى النطاقات المرجعية لخصم واحد لورقة بيع واحدة. شغل refdomains مرة واحدة، احفظ الملف وتقدم. بناء مهمة مجدولة لذلك سيضيف صيانة دون إضافة رؤى.

عندما تلتقي أرقامك ببيانات أخرى

بيانات الروابط تجيب على نوع واحد من الأسئلة. إذا كنت بحاجة إلى ربطها بترتيب الكلمات الرئيسية، التحويلات أو سجلات المكالمات، احتفظ بالربط في نظامك الخاص واحتفظ بلقطة الرابط كمدخل واحد. لا تتوقع من API أن يحتفظ بالمصادر الأخرى لك.

قرر ما تحتفظ به، ولمدة كم

قرر، قبل التشغيل الأول، حقول التي تخزنها وكم تحتفظ بها من جانبك. اقتطع الصفوف التي لا تحتاجها. ملف أصغر أسهل في مشاركته مع عميل أو زميل، وأسهل في حذفه عندما ينتهي المشروع.

يذكر مرجع نقاط النهاية كل حقل وتكلفة كل طلب، مما يجعل هذا القرار أسهل في كتابته.

قائمة ما قبل الطيران

  • المفتاح مخزن كسرية، ليس في المستودع.
  • الحلقة تنتهي بعدد الصفوف، ليس على الأمل.
  • HTTP 401 و 402 يتم التعامل معها بشكل منفصل.
  • اللقطات مؤرخة ومحتفظ بها.
  • مورد تقييم واحد لكل جدول.
  • جدول شهري، ليس ساعة.