Hoppa till innehåll
SEOCheck
SEOCheckFå $100 gratis

Engineering

Få in länkdatabaser i en pipeline utan att den går sönder

Att hämta en tabell en gång är enkelt. Att hämta den varje månad under ett år utan tysta luckor är det riktiga jobbet.

SEOCheck forskningsgrupp ·

Vattenledningssystem som rinner genom stenar visar pålitlig datapipeline

Ett månatligt jobb på tolv rader

Python, endast standardbibliotek. Det paginerar genom hänvisande domäner och stoppar vid ett högljutt fel. Varje svar lägger sina rader i rows; lägg till per (10 till 5000) för större sidor, och loopen slutar när den har läst total rader.

python
import json, urllib.request as u
KEY='sk_live_...'
def get(**p):
    q='&'.join(f'{k}={v}' for k,v in p.items())
    url=f'https://seocheck.dev/api.php?{q}&key={KEY}'
    with u.urlopen(url) as r:
        return json.load(r)
rows, page = [], 1
while True:
    d = get(action='refdomains', q='example.com', page=page)
    if not d['ok']: raise SystemExit(d)
    rows += d['rows']
    if not d['rows'] or len(rows) >= d['total']: break
    page += 1
print(len(rows), 'of', d['total'], 'balance', d['_credits']['balance'])

Varför SEO backlink API-jobb misslyukas tyst

Inte med ett krasch. Med en tabell som saknar den sista sidan. Den vanliga orsaken är en loop som slutar på en gissning istället för på en räkning.

Kontrollera tre saker vid varje körning. Kom ok tillbaka som true? Nådde radantalet total? Visade _credits den balans du förväntar dig? Om något svar är nej, misslyukas jobbet och berätta för någon.

Tyst framgång är värre än ett högljt misslyckande. Ett jobb som avslutas med felaktiga rader ser friskt ut tills någon läser kalkylbladet.

Rate limits och långsamma svar betyder mindre här än på många API:er. Ett månatligt jobb kan helt enkelt försöka igen en timme senare. Vad som betyder något är att försök inte dubbeldebiterar dig för ett anrop som redan lyckades. Logga _credits-balansen före och efter varje körning och jämför. Ett hopp större än vad jobbet förväntade sig kostar betyder att något loopade. Utred det innan nästa körning.

Team som redan kör Airflow eller en vanlig cron på en liten server behöver inget nytt. En GitHub Actions-schemaläggning fungerar också. Formaten förblir detsamma: hämta, validera, lagra, varna. Se kostnadsjämförelsen om du väger detta mot en suite-export.

Vanliga inmatningsgropar

FallgropSymtomFix
Filtrering client-side efter pagineringLångsamma körningar, slösa sidorAnvänd sort och order server-side, klipp sedan
Paginering förbi capLoop slutar aldrigDeep pagination stoppar vid 50 000 rader; planera för det
Att behandla HTTP 402 som en buggJobb försöker igen för alltid402 betyder att krediterna tog slut; ladda upp, försök inte igen
Att behandla 401 som tillfälligSammaFel nyckel; varna och stoppa
Att jämföra månader blintPhantom dropsIndex uppdateras månatligen; jämför likvärt med likvärt
Att blanda poängleverantörerMeningslösa trenderEn källa per kalkylblad

En sund form för hela grejen

01

Håll en domänlista på ett ställe

Ett kalkylblad eller en tabell. En kolumn med domäner, inget annat först.

02

Poängsätt listan med bulk_dr

Upp till 2 000 domäner per anrop, en kredit. GET med domains= eller POST listan som body när den är lång.

03

Hämta detaljer endast för överlevare

Kör refdomains eller anchors på den övre skivan. Två kredit per anrop, upp till 1 000 rader vardera.

04

Lagra ögonblicksbilder, inte överskrivningar

Datera varje hämtning. Trender behöver historik.

05

Varna vid förändring

Ett DR-hopp på flera poäng på en leverantörsdomän är värt ett meddelande.

Google Sheets och CORS

CORS är öppet, så en browser-snippet eller en Apps Script kan anropa API:et direkt. Ett litet exempel för en cellfunktion. Funktionen returnerar Domain Rating för domänen i cellen.

javascript
function DR(domain){
  var url='https://seocheck.dev/api.php?action=domain&q='+encodeURIComponent(domain);
  var r=JSON.parse(UrlFetchApp.fetch(url).getContentText());
  return r.metrics.dr;
}
Stadig ek med djupa rötter representerar stabila månatliga uppdateringar

Färsghet och ärlighet

Indexet byggs om ungefär en gång i månaden från vår egen crawler. Förvänta dig fördröjning. Data äldre än några veckor är normalt. Schemalägg inte timvisa hämtningar; de returnerar samma sak och kostar kredit.

Välj dagen efter uppdateringen när du kan. Annars kör på samma dag varje månad och acceptera den lilla fördröjningen.

Fullständiga keyword-suites, dagliga crawls och rank tracking finns någon annanstans. Ahrefs och Semrush täcker dem; läs kostnadsjämförelsen innan du duplicerar något. Endpoint-referensen har varje parameter.

Fyra distinkta verktyg på en bänk representerar modulära pipeline-steg

Att designa jobbet så att du kan lita på det

En pipeline är bara så bra som dess svagaste körning. Bygg varje körning så att den lämnar bevis bakom sig, så att en dålig månad kan förklaras istället för att gissas på. Det extra arbetet är litet. Det sparar mycket argument senare, och det sparar också kredit.

Tänk i fyra steg: hämta, validera, lagra och varna. Håll varje steg enkelt. Varje steg bör kunna misslyukas på egen hand, och varje misslyckande bör säga vilket steg som bröt. De samma fyra stegen gäller för alla seo backlink API-jobb, oavsett språk du skriver det i.

Lagra det råa svaret innan du transformerar det

Spara JSON:n exakt som den kom tillbaka, med datumet och anropsparametrarna i filnamnet eller en rubrikrad. När ett nummer ser fel ut nästa kvartal kan du gå tillbaka till vad API:et faktiskt sa istället för till ett kalkylblad som någon redigerat.

Råfiler kostar lite att behålla. Ett kalkylblad som har överskrivits tre gånger kan inte berätta vad som hände i mars.

Håll en körningslogg med radantalet och balansen

Varje körning bör lägga till en rad i en logg: starttiden, gjorda anrop, returnerade rader, total-värdet och balansen från _credits. Loggen är det första stället att titta på när ett nummer flyttar sig.

Om de returnerade raderna inte matchar total är körningen ofullständig. Märk den som misslykad, behåll den partiella filen och slå inte ihop den med trenden.

Separera försök från omkörningar

Ett försök upprepar ett anrop som misslyukas utan svar. En omkörning upprepar ett helt jobb som avslutades men behöver göras om. Behandla dem olika, eftersom ett försök av ett anrop som faktiskt lyckades kan kosta kredit två gånger.

Om du inte kan berätta om ett anrop lyckades, läs loggen innan du skickar det igen. Den vana förhindrar de flesta överraskande avgifter.

Varna vid de misslyckanden som betyder något

En varning är bara användbar när någon agerar på den. Skicka en för en misslykad nyckel, en tom balans, ett radantal som inte matchar total och en kostnad långt över det förväntade beloppet. Lämna rutinframgångar utanför meddelandet, så slutar folk läsa det.

Schemaläggning utan att slösa kredit

Schemat bör följa datan, inte klockan. Ett jobb som körs varje timme betalar för samma ögonblicksbild tjugo fyra gånger om dagen, vilket är varför den månatliga rytmen betyder så mycket för denna typ av arbete.

Välj ett schema en gång och skriv ner det. Att ändra det varje månad är hur en trendlinje får artificiella steg.

Månadsvis slår timvis för denna data

Indexet byggs om ungefär en gång i månaden. Hämtningar oftare än det returnerar samma sak och kostar kredit. Om du behöver en extra körning, gör det efter en känd uppdatering, inte mitt i en.

Ett jobb, många domäner

Sätt varje domän i en enda lista och kör poängsättningen i ett pass. Ett bulk_dr-anrop hanterar upp till 2 000 domäner för en kredit, så en lista med 1 500 prospects kostar samma sak som en lista med tio. Dela inte på arbetet när en domän behöver djupare data, som refdomains.

Håll listan på ett ställe. Två kopior av en domänlista glider isär, och då jämför din trend olika uppsättningar av webbplatser.

Vem ska äga jobbet

Ge jobbet en ägare, även om det körs på en delad server. Någon bör svara när varningen avfyras, kontrollera balansen och avgöra om en misslykad månad behöver en omkörning. Utan en ägare kan ett jobb som misslyukas tyst gå obemärkt förbi under ett kvartal. Skriv ägarens namn i loggrubriken, så att nästa person vet vem de ska fråga.

Testa på en liten lista först

När du ändrar ett jobb, kör det på fem domäner innan du pekar det mot hela listan. Ett misstag i en loop visar sig på sekunder på en liten provstorlek och på kredit på en stor. Fem-domäntestet kostar nästan ingenting. Fem domäner är tillräckligt för att visa en loop.

Håll den testlistan i repositoryt bredvid jobbet, så att den är densamma varje gång du kontrollerar.

När en pipeline är det fel svaret

En pipeline förtjänar sin plats när du behöver samma nummer igen och igen. Välj rätt verktyg. För en enskild fråga är en manuell hämtning ofta det bättre verktyget. Var ärlig om vilken av de två du faktiskt behöver.

Den andra anledningen att hoppa över pipeline:n är arbetsformens form. Om frågan ändras varje vecka kommer ett fast jobb att fortsätta mäta fel sak.

En engångsexport är inte en pipeline

Säg att du behöver hänvisande domäner för en rival för en enskild pitch. Kör refdomains en gång, spara filen och gå vidare. Att bygga ett schemalagt jobb för det skulle lägga till underhåll utan att lägga till insikt.

När dina nummer möter annan data

Länkdatabesvarar en sorts fråga. Om du behöver koppla ihop det med keyword-rankningar, konverteringar eller samtalloggar, behåll kopplingen i ditt eget system och behåll länkögonblicksbilden som en input. Förvänta dig inte att API:et håller de andra källorna åt dig.

Bestäm vad du behåller, och hur länge

Bestäm, innan den första körningen, vilka fält du lagrar och hur länge du behåller dem på din sida. Klipp bort de rader du inte behöver. En mindre fil är lättare att dela med en kund eller en kollega, och lättare att ta bort när projektet avslutas.

Endpoint-referensen listar varje fält och kostnaden för varje anrop, vilket gör detta beslut lättare att skriva ner.

Förflygtningslista

  • Nyckel lagrad som en hemlighet, inte i repo.
  • Loop slutar på radantal, inte på hopp.
  • HTTP 401 och 402 hanteras separat.
  • Ögonblicksbilder daterade och behållna.
  • En poängleverantör per tabell.
  • Månadsligt schema, inte timvis.