Naar de inhoud springen
SEOCheck
SEOCheckAanmelden

Engineering

Zorg dat linkdata in een pipeline terechtkomt zonder dat deze kapotgaat

Een tabel één keer ophalen is eenvoudig. Elke maand een jaar lang ophalen zonder stille hiaten is het echte werk.

SEOCheck research team ·

Systeem van waterleidingen dat door rotsen stroomt, wat een betrouwbare datapipeline toont

Een maandelijkse taak in twaalf regels

Python, alleen de standaardbibliotheek. Het pageert door verwijzende domeinen heen en stopt bij een luidkeelse fout. Elke respons zet zijn rijen in rows; voeg per (10 tot 5000) toe voor grotere pagina's, en de lus stopt zodra hij total rijen heeft gelezen.

python
import json, urllib.request as u
KEY='sk_live_...'
def get(**p):
    q='&'.join(f'{k}={v}' for k,v in p.items())
    url=f'https://seocheck.dev/api.php?{q}&key={KEY}'
    with u.urlopen(url) as r:
        return json.load(r)
rows, page = [], 1
while True:
    d = get(action='refdomains', q='example.com', page=page)
    if not d['ok']: raise SystemExit(d)
    rows += d['rows']
    if not d['rows'] or len(rows) >= d['total']: break
    page += 1
print(len(rows), 'of', d['total'], 'balance', d['_credits']['balance'])

Waar seo backlink api jobs stil falen

Niet met een crash. Met een tabel waarin de laatste pagina ontbreekt. De gebruikelijke oorzaak is een lus die eindigt op een gok in plaats van op een telling.

Controleer drie dingen bij elke run. Komt ok terug als true? Heeft de rijkorting total bereikt? Toonde _credits het verwachte saldo? Als een van de antwoorden nee is, faal dan de taak en laat het iemand weten.

Stil succes is erger dan een luidkeelse fout. Een taak die eindigt met de verkeerde rijen ziet er gezond uit totdat iemand het spreadsheet leest.

Snelheidslimieten en langzame responsen zijn hier minder belangrijk dan bij veel andere API's. Een maandelijkse taak kan gewoon een uur later opnieuw proberen. Wat wel telt, is dat retries je niet dubbel betalen voor een call die al succesvol was. Log het _credits saldo voor en na elke run en vergelijk. Een sprong groter dan de verwachte kosten van de taak betekent dat er iets geloopt heeft. Onderzoek dit voordat de volgende run start.

Teams die al Airflow of een gewone cron op een kleine server draaien, hebben niets nieuws nodig. Een GitHub Actions schedule werkt ook. De structuur blijft hetzelfde: fetch, validate, store, alert. Zie de kostenvergelijking als je dit afweegt tegen een suite export.

Veelvoorkomende ingestievalkuilen

ValkuilSymptoomOplossing
Filteren client-side na pagineringLangzame runs, verspilde pagina'sGebruik sort en order server-side, knip daarna
Pagineren voorbij de capLus eindigt nooitDiepe paginering stopt bij 50.000 rijen; plan hierop
HTTP 402 behandelen als een bugTaak probeert oneindig opnieuw402 betekent dat credits op zijn; vul aan, probeer niet opnieuw
401 behandelen als tijdelijkZelfdeSlechte key; alert en stop
Maanden blind vergelijkenPhantoom dalingenIndex wordt maandelijks ververst; vergelijk gelijk met gelijk
Scores van verschillende vendors mengenOnzin trendsÉén bron per spreadsheet

Een verstandige structuur voor het geheel

01

Houd een domeinenlijst op één plek

Een spreadsheet of een tabel. Eén kolom met domeinen, verder niets in het begin.

02

Beoordeel de lijst met bulk_dr

Tot 2.000 domeinen per call, één credit. GET met domains= of POST de lijst als body wanneer deze lang is.

03

Haal details alleen op voor overlevenden

Voer refdomains of anchors uit op de top slice. Twee credits per call, tot 1.000 rijen elk.

04

Sla snapshots op, geen overschrijvingen

Geef elke pull een datum. Trends hebben geschiedenis nodig.

05

Alert bij verandering

Een DR-daling van enkele punten op een vendor-domein is een bericht waard.

Google Sheets en CORS

CORS is open, dus een browser snippet of een Apps Script kan de API direct aanroepen. Een klein voorbeeld voor een cel-functie. De functie retourneert de Domain Rating van het domein in de cel.

javascript
function DR(domain){
  var url='https://seocheck.dev/api.php?action=domain&q='+encodeURIComponent(domain);
  var r=JSON.parse(UrlFetchApp.fetch(url).getContentText());
  return r.metrics.dr;
}
Stoere eik met diepe wortels die stabiele maandelijkse updates symboliseert

Versheid en eerlijkheid

De index wordt ongeveer één keer per maand herbouwd vanuit onze eigen crawler. Verwacht vertraging. Data ouder dan een paar weken is normaal. Plan geen uurlijkse pulls; ze leveren hetzelfde op en kosten credits.

Kies de dag na de refresh wanneer dat kan. Anders draai je op dezelfde dag elke maand en accepteer je de kleine vertraging.

Volledige keyword suites, dagelijkse crawls en rank tracking zitten elders. Ahrefs en Semrush dekken dit; lees de kostenvergelijking voordat je iets dubbeleert. De endpoint reference heeft elke parameter.

Vier verschillende gereedschappen op een werkbank die modulaire pipelinefasen voorstellen

De taak ontwerpen zodat je erop kunt vertrouwen

Een pipeline is slechts zo goed als zijn zwakste run. Bouw elke run zo dat er bewijs achterblijft, zodat een slechte maand verklaard kan worden in plaats van geraden. De extra moeite is klein. Het bespaart veel discussie later, en het bespaart ook credits.

Denk in vier fasen: fetch, validate, store en alert. Houd elke fase eenvoudig. Elke fase moet zelfstandig kunnen falen, en elke fout moet zeggen welke fase het was. Dezelfde vier fasen gelden voor elke seo backlink api job, ongeacht de taal waarin je hem schrijft.

Sla de ruwe respons op voordat je hem transformeert

Sla de JSON precies op zoals deze terugkwam, met de datum en de call parameters in de bestandsnaam of een koptekstrij. Als een getal volgende kwartaal verkeerd lijkt, kun je terug naar wat de API eigenlijk zei, in plaats van naar een spreadsheet die iemand heeft bewerkt.

Ruwe bestanden kosten weinig om te bewaren. Een spreadsheet die drie keer is overschreven, kan je niet vertellen wat er in maart gebeurde.

Houd een run log bij met de rijkorting en het saldo

Elke run moet één regel toevoegen aan een log: de starttijd, de gemaakte calls, de teruggegeven rijen, de total waarde en het saldo uit _credits. De log is de eerste plek om te kijken als een getal verandert.

Als de teruggegeven rijen niet overeenkomen met total, is de run onvolledig. Markeer hem als gefaald, bewaar het gedeeltelijke bestand en voeg het niet toe aan de trend.

Scheid retries van reruns

Een retry herhaalt een call die faalde zonder antwoord. Een rerun herhaalt een hele taak die klaar was maar opnieuw moet worden uitgevoerd. Behandel ze anders, omdat een retry van een call die eigenlijk succesvol was, credits twee keer kan kosten.

Als je niet kunt zeggen of een call succesvol was, lees dan de log voordat je hem opnieuw verstuurt. Die ene gewoonte voorkomt de meeste verrassingsfacturen.

Alert op de fouten die ertoe doen

Een alert is alleen nuttig als iemand erop reageert. Stuur er één voor een gefaalde key, een leeg saldo, een rijkorting die niet overeenkomt met total en een kosten die ver boven het verwachte bedrag uitkomen. Laat routine successen buiten de boodschap, anders stoppen mensen ermee te lezen.

Plannen zonder credits te verspillen

Het schema moet de data volgen, niet de klok. Een taak die elk uur draait, betaalt voor dezelfde snapshot twintig keer per dag, vandaar dat het maandelijkse ritme zo belangrijk is voor dit soort werk.

Kies één schema en schrijf het op. Het elke maand veranderen is hoe een trendlijn kunstmatige stappen krijgt.

Maandelijks is beter dan uurlijks voor deze data

De index wordt ongeveer één keer per maand herbouwd. Pulls vaker dan dat leveren hetzelfde op en kosten credits. Als je een extra run nodig hebt, doe het dan na een bekende refresh, niet midden in een.

Eén taak, veel domeinen

Zet alle domeinen in één lijst en voer de scoring in één pass uit. Een bulk_dr call behandelt tot 2.000 domeinen voor één credit, dus een lijst van 1.500 prospects kost hetzelfde als een lijst van tien. Verdeel het werk alleen wanneer een domein diepere data nodig heeft, zoals refdomains.

Houd de lijst op één plek. Twee kopieën van een domeinenlijst lopen uit elkaar, en dan vergelijkt je trend verschillende sets sites.

Wie moet de taak eigenen?

Geef de taak één eigenaar, zelfs als deze op een gedeelde server draait. Iemand moet antwoord geven als het alert afgaat, het saldo controleren en beslissen of een gefaalde maand een rerun nodig heeft. Zonder eigenaar kan een taak die stil faalt een kwartaal onopgemerkt blijven. Schrijf de naam van de eigenaar in de logkoptekst, zodat de volgende persoon weet aan wie hij vragen moet.

Test eerst op een kleine lijst

Wanneer je een taak aanpast, draai hem dan op vijf domeinen voordat je hem op de volledige lijst richt. Een fout in een lus toont zich in seconden op een kleine steekproef en in credits op een grote. De test met vijf domeinen kost bijna niets. Vijf domeinen is genoeg om een lus te tonen.

Houd die testlijst in de repository naast de taak, zodat deze elke keer hetzelfde is als je controleert.

Wanneer een pipeline het verkeerde antwoord is

Een pipeline verdient zijn plaats wanneer je dezelfde cijfers keer op keer nodig hebt. Kies het juiste hulpmiddel. Voor een enkele vraag is een handmatige pull vaak het betere hulpmiddel. Wees eerlijk over welke van de twee je echt nodig hebt.

De andere reden om de pipeline over te slaan is de vorm van het werk. Als de vraag elke week verandert, zal een vaste taak steeds het verkeerde ding meten.

Een eenmalige export is geen pipeline

Stel dat je de verwijzende domeinen van één concurrent nodig hebt voor een enkele pitch. Voer refdomains één keer uit, sla het bestand op en ga verder. Een geplande taak bouwen voor dat doel voegt onderhoud toe zonder inzicht te bieden.

Wanneer je cijfers andere data ontmoeten

Linkdata beantwoordt één soort vraag. Als je het moet joinen met keyword rankings, conversies of call logs, houd de join in je eigen systeem en houd de link snapshot als één input. Verwacht niet dat de API de andere bronnen voor je vasthoudt.

Bespreek wat je bewaart, en hoe lang

Bespreek, voor de eerste run, welke velden je opslaat en hoe lang je ze aan je kant bewaart. Knip de rijen die je niet nodig hebt. Een kleiner bestand is makkelijker te delen met een klant of collega, en makkelijker te verwijderen als het project eindigt.

De endpoint reference somt elk veld op en de kosten van elke call, wat deze beslissing makkelijker maakt om vast te leggen.

Pre-flight lijst

  • Key opgeslagen als secret, niet in de repo.
  • Lus eindigt op rijkorting, niet op hoop.
  • HTTP 401 en 402 apart afgehandeld.
  • Snapshots gedateerd en bewaard.
  • Eén score vendor per tabel.
  • Maandelijks schema, niet uurlijks.