सामग्री पर जाएं
SEOCheck
SEOCheck$100 फ्री पाएं

इंजीनियरिंग

लिंक डेटा को बिना तोड़े पाइपलाइन में डालें

एक बार टेबल खींचना आसान है। एक साल तक हर महीने उसे खींचना, बिना किसी खामोश गैप के, ही असली काम है।

SEOCheck रिसर्च टीम ·

भरोसेमंद डेटा पाइपलाइन दिखाते पत्थरों से गुजरते पानी की पाइप सिस्टम

बारह लाइनों में एक मासिक जॉब

पायथन, केवल स्टैंडर्ड लाइब्रेरी। यह रेफरिंग डोमेन के माध्यम से पेज करता है और एक तेज़ एरर पर रुक जाता है। प्रत्येक प्रतिक्रिया अपनी पंक्तियाँ rows में डालती है; बड़े पेजों के लिए per (10 से 5000) जोड़ें, और लूप तब रुक जाता है जब यह total पंक्तियाँ पढ़ लेता है।

python
import json, urllib.request as u
KEY='sk_live_...'
def get(**p):
    q='&'.join(f'{k}={v}' for k,v in p.items())
    url=f'https://seocheck.dev/api.php?{q}&key={KEY}'
    with u.urlopen(url) as r:
        return json.load(r)
rows, page = [], 1
while True:
    d = get(action='refdomains', q='example.com', page=page)
    if not d['ok']: raise SystemExit(d)
    rows += d['rows']
    if not d['rows'] or len(rows) >= d['total']: break
    page += 1
print(len(rows), 'of', d['total'], 'balance', d['_credits']['balance'])

SEO बैकलिंक API जॉब खामोशी से विफल क्यों होते हैं

क्रैश के साथ नहीं। एक ऐसी टेबल के साथ जिसमें आखिरी पेज गायब है। आम कारण एक लूप होता है जो एक अनुमान पर समाप्त हो जाता है, गिनती पर नहीं।

हर रन पर तीन चीज़ें जाँचें। क्या ok सही लौटा? क्या पंक्ति गिनती total तक पहुँची? क्या _credits ने वह बैलेंस दिखाया जिसकी उम्मीद है? यदि किसी जवाब का उत्तर 'नहीं' है, तो जॉब को विफल घोषित करें और किसी को बताएं।

खामोश सफलता एक तेज़ विफलता से बुरी है। एक जॉब जो गलत पंक्तियों के साथ समाप्त होती है, तब तक स्वस्थ दिखती है जब तक कोई शीट न पढ़े।

रेट लिमिट्स और धीमी प्रतिक्रियाएँ यहाँ कई API की तुलना में कम मायने रखती हैं। एक मासिक जॉब बस एक घंटे बाद पुनः प्रयास कर सकती है। मायने यह रखता है कि पुनः प्रयास किसी ऐसी कॉल के लिए आपको दो बार चार्ज न करें जो पहले ही सफल हो गई थी। हर रन से पहले और बाद में _credits बैलेंस लॉग करें और तुलना करें। यदि कूद जॉब की अपेक्षित लागत से बड़ी है, तो इसका मतलब है कि कुछ लूप हो गया है। अगले रन से पहले इसकी जाँच करें।

टीमें जो पहले से ही एयरफ्लो या एक छोटे सर्वर पर साधारण क्रॉन चला रही हैं, उन्हें कुछ नया नहीं चाहिए। एक गिटहब एक्शन्स शेड्यूल भी काम करेगा। आकार वही रहेगा: फ़ेच, वैलिडेट, स्टोर, अलर्ट। यदि आप इसे एक स्यूट एक्सपोर्ट के खिलाफ वजन कर रहे हैं, तो लागत तुलना देखें।

सामान्य इनजेक्शन खामियाँ

खामियाँलक्षणसमाधान
पेजिंग के बाद क्लाइंट-साइड फ़िल्टरिंगधीमे रन, बर्बाद पेजsort और order का उपयोग सर्वर-साइड पर करें, फिर काटें
कैप से परे पेजिंगलूप कभी समाप्त नहीं होताडीप पेजिनेशन 50,000 पंक्तियों पर रुक जाता है; इसके लिए योजना बनाएं
HTTP 402 को एक बग माननाजॉब अनंत काल तक पुनः प्रयास करती है402 का अर्थ है क्रेडिट खत्म हो गए; टॉप-अप करें, पुनः प्रयास न करें
401 को अस्थायी माना जा रहा हैवहीखराब कुंजी; अलर्ट करें और रोकें
माहों की अंधाधुंध तुलनाफैंटम गिरावटइंडेक्स मासिक रूप से रीफ्रेश होता है; समान चीजों की तुलना करें
स्कोर वेंडर्स को मिलानाबेमतलब रुझानप्रत्येक शीट के लिए एक ही स्रोत

संपूर्ण संरचना के लिए एक समझदारी भरा आकार

01

डोमेन सूची को एक ही स्थान पर रखें

एक शीट या टेबल। पहले केवल डोमेनों की एक कॉलम, कुछ और नहीं।

02

bulk_dr के साथ सूची का स्कोर करें

प्रत्येक कॉल में 2,000 डोमेन तक, एक क्रेडिट। domains= के साथ GET करें या जब सूची लंबी हो तो उसे बॉडी के रूप में POST करें।

03

केवल बचे हुए डोमेनों के लिए विवरण खींचें

शीर्ष हिस्से पर refdomains या anchors चलाएं। प्रत्येक कॉल में दो क्रेडिट, प्रति कॉल 1,000 पंक्तियां तक।

04

स्नैपशॉट संग्रहीत करें, ओवरराइट न करें

हर खींचने की तारीख नोट करें। रुझानों को इतिहास की आवश्यकता होती है।

05

परिवर्तन पर अलर्ट

किसी वेंडर डोमेन पर DR में कई अंकों की गिरावट एक संदेश के लायक है।

Google Sheets और CORS

CORS खुला है, इसलिए एक ब्राउज़र स्निपेट या Apps Script API को सीधे कॉल कर सकता है। एक सेल फंक्शन के लिए एक छोटा उदाहरण। फंक्शन सेल में दिए गए डोमेन का डोमेन रेटिंग लौटाता है।

javascript
function DR(domain){
  var url='https://seocheck.dev/api.php?action=domain&q='+encodeURIComponent(domain);
  var r=JSON.parse(UrlFetchApp.fetch(url).getContentText());
  return r.metrics.dr;
}
स्थिर मासिक अपडेट्स का प्रतिनिधित्व करने वाली गहरी जड़ों वाली मजबूत बरगद की टहनी

ताजगी और ईमानदारी

इंडेक्स हमारे स्वयं के क्रॉलर से लगभग मासिक आधार पर फिर से बनाया जाता है। विलंब की उम्मीद करें। कुछ सप्ताह से पुराना डेटा सामान्य है। प्रति घंटे खींचने की शेड्यूल न करें; वे वही डेटा लौटाते हैं और क्रेडिट खर्च करते हैं।

वह दिन चुनें जब रीफ्रेश हो जाए, यदि संभव हो। अन्यथा, हर महीने उसी दिन चलाएं और छोटी लेग को स्वीकार करें।

फुल कीवर्ड स्यूट, दैनिक क्रॉल्स और रैंक ट्रैकिंग कहीं और मौजूद हैं। Ahrefs और Semrush उन्हें कवर करते हैं; कुछ भी डुप्लिकेट करने से पहले लागत तुलना पढ़ें। एंडपॉइंट रेफरेंस में हर पैरामीटर है।

मॉड्यूलर पाइपलाइन चरणों का प्रतिनिधित्व करने वाली बेंच पर चार अलग-अलग टूल्स

जॉब को इस तरह डिज़ाइन करना कि आप उस पर भरोसा कर सकें

एक पाइपलाइन उतनी ही अच्छी है जितना उसकी सबसे कमजोर रन। हर रन को इस तरह बनाएं कि सबूत पीछे रह जाए, ताकि एक बुरा महीना अनुमान की बजाय समझाया जा सके। अतिरिक्त मेहनत कम है। यह बाद में बहस बचाता है, और क्रेडिट्स भी।

चार चरणों में सोचें: फेच, वैलिडेट, स्टोर और अलर्ट। हर एक को सरल रखें। हर चरण अकेले फेल हो सकता है, और हर फेल्योर यह बता सकता है कि कौन सा चरण टूटा। ये ही चार चरण किसी भी SEO बैकलिंक API जॉब पर लागू होते हैं, चाहे आप जिस भाषा में लिखें।

रूड प्रतिक्रिया को ट्रांसफॉर्म करने से पहले स्टोर करें

JSON को वैसे ही सेव करें जैसा वापस आया, फाइल नाम या हेडर रो में तारीख और कॉल पैरामीटर के साथ। जब अगले क्वार्टर में कोई नंबर गलत दिखे, तो आप एडिट किए गए शीट की बजाय API ने वास्तव में क्या कहा, उस पर वापस जा सकते हैं।

रूड फाइल्स को रखने की लागत कम है। एक स्प्रेडशीट जिसे तीन बार ओवरराइट किया गया है, आपको मार्च में क्या हुआ, यह नहीं बता सकता।

रन लॉग को रो काउंट और बैलेंस के साथ रखें

हर रन को लॉग में एक लाइन जोड़नी चाहिए: स्टार्ट टाइम, किए गए कॉल्स, लौटाए गए रो, total वैल्यू और _credits से बैलेंस। जब कोई नंबर बदलता है, तो लॉग ही पहली जगह है जहाँ देखना चाहिए।

यदि लौटाए गए रो total से मेल नहीं खाते, तो रन अधूरा है। इसे फेल मार्क करें, पार्शियल फाइल रखें, और उसे ट्रेंड में मर्ज न करें।

रिट्राइज़ को ररन से अलग रखें

एक रिट्राइज़ उस कॉल को दोहराता है जो बिना जवाब के फेल हुई। एक ररन उस पूरी जॉब को दोहराता है जो खत्म हुई लेकिन फिर से करने की जरूरत है। इन्हें अलग तरह से ट्रीट करें, क्योंकि एक कॉल की रिट्राइज जो असल में सफल हुई, उसमें क्रेडिट्स दो बार खर्च हो सकते हैं।

यदि आप यह नहीं बता सकते कि कॉल सफल हुई या नहीं, तो उसे फिर से भेजने से पहले लॉग पढ़ें। यह आदत ज्यादातर सर्फ़ाइस चार्ज से बचाती है।

उन फेल्योर पर अलर्ट करें जो मायने रखते हैं

एक अलर्ट तभी उपयोगी है जब कोई उस पर एक्शन ले। एक फेल की, खाली बैलेंस, total से मेल न खाने वाले रो काउंट और अपेक्षित फिगर से कहीं ज्यादा लागत के लिए अलर्ट भेजें। रूटीन सक्सेस को मैसेज में न छोड़ें, वरना लोग पढ़ना बंद कर देंगे।

क्रेडिट्स बर्बाद किए बिना शेड्यूलिंग

शेड्यूल डेटा का अनुसरण करना चाहिए, घड़ी का नहीं। हर घंटे चलने वाली जॉब एक ही सैपशॉट के लिए दिन में चौबीस बार पैसे देती है, इसलिए इस तरह के काम के लिए मासिक रिदम बहुत मायने रखती है।

एक बार शेड्यूल चुनें और उसे लिख लें। हर महीने उसे बदलना ही ट्रेंड लाइन में आर्टिफिशियल स्टेप्स कैसे आते हैं, इसका कारण है।

इस डेटा के लिए मासिक, घंटी से बेहतर है

इंडेक्स लगभग एक बार महीने में रीबिल्ड होता है। उससे ज्यादा बार खींचने पर वही चीज़ मिलती है और क्रेडिट्स खर्च होते हैं। यदि आपको एक अतिरिक्त रन चाहिए, तो किसी ज्ञात रीफ्रेश के बाद करें, बीच में नहीं।

एक जॉब, कई डोमेन

हर डोमेन को एक ही लिस्ट में डालें और स्कोरिंग को एक पास में चलाएं। एक bulk_dr कॉल एक क्रेडिट के लिए 2,000 डोमेन तक हैंडल करती है, इसलिए 1,500 प्रस्पेक्ट्स की लिस्ट की लागत 10 डोमेन की लिस्ट जैसी ही है। डोमेन को गहरा डेटा चाहिए, जैसे refdomains, तो ही काम को बांटें।

लिस्ट को एक ही जगह रखें। डोमेन लिस्ट की दो कॉपी अलग-अलग हो जाती हैं, और फिर आपका ट्रेंड साइट्स के अलग सेट्स की तुलना करता है।

जॉब का मालिक कौन होना चाहिए

जॉब को एक मालिक दें, भले ही वह शेयर्ड सर्वर पर चले। किसी को अलर्ट फायर होने पर जवाब देना चाहिए, बैलेंस चेक करना चाहिए और यह तय करना चाहिए कि क्या फेल हुए महीने का ररन चाहिए। बिना मालिक के, एक जॉब जो शांति से फेल हो जाती है, उसे एक क्वार्टर तक नज़रअंदाज किया जा सकता है। लॉग हेडर में मालिक का नाम लिखें, ताकि अगला व्यक्ति जान सके कि किससे पूछना है।

पहले छोटी लिस्ट पर टेस्ट करें

जब आप जॉब बदलते हैं, तो उसे फुल लिस्ट पर पॉइंट करने से पहले पांच डोमेन पर चलाएं। लूप में गलती छोटे सैंपल पर सेकंड्स में दिखती है और बड़े पर क्रेडिट्स में। पांच डोमेन का टेस्ट लगभग कुछ नहीं खर्च करता। पांच डोमेन लूप दिखाने के लिए काफी हैं।

उस टेस्ट लिस्ट को रिपॉजिटरी में जॉब के पास रखें, ताकि हर बार चेक करते समय वही रहे।

जब पाइपलाइन गलत जवाब हो

पाइपलाइन उस समय अपनी जगह बनाती है जब आपको एक ही नंबर बार-बार चाहिए। सही टूल चुनें। एक अकेले सवाल के लिए, मैनुअल पुल अक्सर बेहतर टूल होता है। ईमानदारी से बताएं कि आपको वास्तव में इनमें से कौन सा चाहिए।

पाइपलाइन छोड़ने का दूसरा कारण काम का स्वरूप है। यदि सवाल हर हफ्ते बदलता है, तो एक फिक्स्ड जॉब गलत चीज़ को मापती रहेगी।

एक-बार का एक्सपोर्ट पाइपलाइन नहीं है

मान लीजिए आपको एक सिंगल पिच के लिए एक प्रतिद्वंद्वी के रिफरिंग डोमेन चाहिए। refdomains एक बार चलाएं, फाइल सेव करें और आगे बढ़ें। उसकी लिए एक शेड्यूल्ड जॉब बनाने से मेंटेनेंस बढ़ेगी, इंसाइट नहीं।

जब आपके नंबर दूसरे डेटा से मिलें

लिंक डेटा एक तरह के सवाल का जवाब देता है। यदि आपको इसे कीवर्ड रैंकिंग, कन्वर्जन या कॉल लॉग के साथ जोड़ना है, तो जोइन अपने सिस्टम में रखें और लिंक सैपशॉट को एक इनपुट के रूप में रखें। API से उम्मीद न करें कि वह आपके लिए अन्य स्रोत रखेगा।

तय करें कि आप क्या रखेंगे, और कितने समय के लिए

पहली रन से पहले तय करें कि आप कौन से फील्ड्स स्टोर करेंगे और अपने पक्ष पर उन्हें कितने समय तक रखेंगे। उन रो को काटें जिनकी आपको जरूरत नहीं है। छोटी फाइल क्लाइंट या सहकर्मী के साथ शेयर करना आसान है, और प्रोजेक्ट खत्म होने पर डिलीट करना आसान है।

एंडपॉइंट रेफरेंस हर फील्ड और हर कॉल की लागत सूचीबद्ध करता है, जिससे यह निर्णय लिखना आसान हो जाता है।

प्री-फ्लाइट लिस्ट

  • की को सिक्रेट के रूप में स्टोर करें, रिपॉ में नहीं।
  • लूप रो काउंट पर खत्म होता है, उम्मीद पर नहीं।
  • HTTP 401 और 402 को अलग से हैंडल किया जाता है।
  • सैपशॉट तारीख वाले और रखे गए।
  • हर टेबल के लिए एक स्कोर वेंडर।
  • मासिक शेड्यूल, घंटी नहीं।