Engineering
Zorg dat linkdata in een pipeline terechtkomt zonder dat deze kapotgaat
Een tabel één keer ophalen is eenvoudig. Elke maand een jaar lang ophalen zonder stille hiaten is het echte werk.
SEOCheck research team ·

Een maandelijkse taak in twaalf regels
Python, alleen de standaardbibliotheek. Het pageert door verwijzende domeinen heen en stopt bij een luidkeelse fout. Elke respons zet zijn rijen in rows; voeg per (10 tot 5000) toe voor grotere pagina's, en de lus stopt zodra hij total rijen heeft gelezen.
import json, urllib.request as u
KEY='sk_live_...'
def get(**p):
q='&'.join(f'{k}={v}' for k,v in p.items())
url=f'https://seocheck.dev/api.php?{q}&key={KEY}'
with u.urlopen(url) as r:
return json.load(r)
rows, page = [], 1
while True:
d = get(action='refdomains', q='example.com', page=page)
if not d['ok']: raise SystemExit(d)
rows += d['rows']
if not d['rows'] or len(rows) >= d['total']: break
page += 1
print(len(rows), 'of', d['total'], 'balance', d['_credits']['balance'])Waar seo backlink api jobs stil falen
Niet met een crash. Met een tabel waarin de laatste pagina ontbreekt. De gebruikelijke oorzaak is een lus die eindigt op een gok in plaats van op een telling.
Controleer drie dingen bij elke run. Komt ok terug als true? Heeft de rijkorting total bereikt? Toonde _credits het verwachte saldo? Als een van de antwoorden nee is, faal dan de taak en laat het iemand weten.
Stil succes is erger dan een luidkeelse fout. Een taak die eindigt met de verkeerde rijen ziet er gezond uit totdat iemand het spreadsheet leest.
Snelheidslimieten en langzame responsen zijn hier minder belangrijk dan bij veel andere API's. Een maandelijkse taak kan gewoon een uur later opnieuw proberen. Wat wel telt, is dat retries je niet dubbel betalen voor een call die al succesvol was. Log het _credits saldo voor en na elke run en vergelijk. Een sprong groter dan de verwachte kosten van de taak betekent dat er iets geloopt heeft. Onderzoek dit voordat de volgende run start.
Teams die al Airflow of een gewone cron op een kleine server draaien, hebben niets nieuws nodig. Een GitHub Actions schedule werkt ook. De structuur blijft hetzelfde: fetch, validate, store, alert. Zie de kostenvergelijking als je dit afweegt tegen een suite export.
Veelvoorkomende ingestievalkuilen
| Valkuil | Symptoom | Oplossing |
|---|---|---|
| Filteren client-side na paginering | Langzame runs, verspilde pagina's | Gebruik sort en order server-side, knip daarna |
| Pagineren voorbij de cap | Lus eindigt nooit | Diepe paginering stopt bij 50.000 rijen; plan hierop |
| HTTP 402 behandelen als een bug | Taak probeert oneindig opnieuw | 402 betekent dat credits op zijn; vul aan, probeer niet opnieuw |
| 401 behandelen als tijdelijk | Zelfde | Slechte key; alert en stop |
| Maanden blind vergelijken | Phantoom dalingen | Index wordt maandelijks ververst; vergelijk gelijk met gelijk |
| Scores van verschillende vendors mengen | Onzin trends | Één bron per spreadsheet |
Een verstandige structuur voor het geheel
Houd een domeinenlijst op één plek
Een spreadsheet of een tabel. Eén kolom met domeinen, verder niets in het begin.
Beoordeel de lijst met bulk_dr
Tot 2.000 domeinen per call, één credit. GET met domains= of POST de lijst als body wanneer deze lang is.
Haal details alleen op voor overlevenden
Voer refdomains of anchors uit op de top slice. Twee credits per call, tot 1.000 rijen elk.
Sla snapshots op, geen overschrijvingen
Geef elke pull een datum. Trends hebben geschiedenis nodig.
Alert bij verandering
Een DR-daling van enkele punten op een vendor-domein is een bericht waard.
Google Sheets en CORS
CORS is open, dus een browser snippet of een Apps Script kan de API direct aanroepen. Een klein voorbeeld voor een cel-functie. De functie retourneert de Domain Rating van het domein in de cel.
function DR(domain){
var url='https://seocheck.dev/api.php?action=domain&q='+encodeURIComponent(domain);
var r=JSON.parse(UrlFetchApp.fetch(url).getContentText());
return r.metrics.dr;
}
Versheid en eerlijkheid
De index wordt ongeveer één keer per maand herbouwd vanuit onze eigen crawler. Verwacht vertraging. Data ouder dan een paar weken is normaal. Plan geen uurlijkse pulls; ze leveren hetzelfde op en kosten credits.
Kies de dag na de refresh wanneer dat kan. Anders draai je op dezelfde dag elke maand en accepteer je de kleine vertraging.
Volledige keyword suites, dagelijkse crawls en rank tracking zitten elders. Ahrefs en Semrush dekken dit; lees de kostenvergelijking voordat je iets dubbeleert. De endpoint reference heeft elke parameter.

De taak ontwerpen zodat je erop kunt vertrouwen
Een pipeline is slechts zo goed als zijn zwakste run. Bouw elke run zo dat er bewijs achterblijft, zodat een slechte maand verklaard kan worden in plaats van geraden. De extra moeite is klein. Het bespaart veel discussie later, en het bespaart ook credits.
Denk in vier fasen: fetch, validate, store en alert. Houd elke fase eenvoudig. Elke fase moet zelfstandig kunnen falen, en elke fout moet zeggen welke fase het was. Dezelfde vier fasen gelden voor elke seo backlink api job, ongeacht de taal waarin je hem schrijft.
Sla de ruwe respons op voordat je hem transformeert
Sla de JSON precies op zoals deze terugkwam, met de datum en de call parameters in de bestandsnaam of een koptekstrij. Als een getal volgende kwartaal verkeerd lijkt, kun je terug naar wat de API eigenlijk zei, in plaats van naar een spreadsheet die iemand heeft bewerkt.
Ruwe bestanden kosten weinig om te bewaren. Een spreadsheet die drie keer is overschreven, kan je niet vertellen wat er in maart gebeurde.
Houd een run log bij met de rijkorting en het saldo
Elke run moet één regel toevoegen aan een log: de starttijd, de gemaakte calls, de teruggegeven rijen, de total waarde en het saldo uit _credits. De log is de eerste plek om te kijken als een getal verandert.
Als de teruggegeven rijen niet overeenkomen met total, is de run onvolledig. Markeer hem als gefaald, bewaar het gedeeltelijke bestand en voeg het niet toe aan de trend.
Scheid retries van reruns
Een retry herhaalt een call die faalde zonder antwoord. Een rerun herhaalt een hele taak die klaar was maar opnieuw moet worden uitgevoerd. Behandel ze anders, omdat een retry van een call die eigenlijk succesvol was, credits twee keer kan kosten.
Als je niet kunt zeggen of een call succesvol was, lees dan de log voordat je hem opnieuw verstuurt. Die ene gewoonte voorkomt de meeste verrassingsfacturen.
Alert op de fouten die ertoe doen
Een alert is alleen nuttig als iemand erop reageert. Stuur er één voor een gefaalde key, een leeg saldo, een rijkorting die niet overeenkomt met total en een kosten die ver boven het verwachte bedrag uitkomen. Laat routine successen buiten de boodschap, anders stoppen mensen ermee te lezen.
Plannen zonder credits te verspillen
Het schema moet de data volgen, niet de klok. Een taak die elk uur draait, betaalt voor dezelfde snapshot twintig keer per dag, vandaar dat het maandelijkse ritme zo belangrijk is voor dit soort werk.
Kies één schema en schrijf het op. Het elke maand veranderen is hoe een trendlijn kunstmatige stappen krijgt.
Maandelijks is beter dan uurlijks voor deze data
De index wordt ongeveer één keer per maand herbouwd. Pulls vaker dan dat leveren hetzelfde op en kosten credits. Als je een extra run nodig hebt, doe het dan na een bekende refresh, niet midden in een.
Eén taak, veel domeinen
Zet alle domeinen in één lijst en voer de scoring in één pass uit. Een bulk_dr call behandelt tot 2.000 domeinen voor één credit, dus een lijst van 1.500 prospects kost hetzelfde als een lijst van tien. Verdeel het werk alleen wanneer een domein diepere data nodig heeft, zoals refdomains.
Houd de lijst op één plek. Twee kopieën van een domeinenlijst lopen uit elkaar, en dan vergelijkt je trend verschillende sets sites.
Wie moet de taak eigenen?
Geef de taak één eigenaar, zelfs als deze op een gedeelde server draait. Iemand moet antwoord geven als het alert afgaat, het saldo controleren en beslissen of een gefaalde maand een rerun nodig heeft. Zonder eigenaar kan een taak die stil faalt een kwartaal onopgemerkt blijven. Schrijf de naam van de eigenaar in de logkoptekst, zodat de volgende persoon weet aan wie hij vragen moet.
Test eerst op een kleine lijst
Wanneer je een taak aanpast, draai hem dan op vijf domeinen voordat je hem op de volledige lijst richt. Een fout in een lus toont zich in seconden op een kleine steekproef en in credits op een grote. De test met vijf domeinen kost bijna niets. Vijf domeinen is genoeg om een lus te tonen.
Houd die testlijst in de repository naast de taak, zodat deze elke keer hetzelfde is als je controleert.
Wanneer een pipeline het verkeerde antwoord is
Een pipeline verdient zijn plaats wanneer je dezelfde cijfers keer op keer nodig hebt. Kies het juiste hulpmiddel. Voor een enkele vraag is een handmatige pull vaak het betere hulpmiddel. Wees eerlijk over welke van de twee je echt nodig hebt.
De andere reden om de pipeline over te slaan is de vorm van het werk. Als de vraag elke week verandert, zal een vaste taak steeds het verkeerde ding meten.
Een eenmalige export is geen pipeline
Stel dat je de verwijzende domeinen van één concurrent nodig hebt voor een enkele pitch. Voer refdomains één keer uit, sla het bestand op en ga verder. Een geplande taak bouwen voor dat doel voegt onderhoud toe zonder inzicht te bieden.
Wanneer je cijfers andere data ontmoeten
Linkdata beantwoordt één soort vraag. Als je het moet joinen met keyword rankings, conversies of call logs, houd de join in je eigen systeem en houd de link snapshot als één input. Verwacht niet dat de API de andere bronnen voor je vasthoudt.
Bespreek wat je bewaart, en hoe lang
Bespreek, voor de eerste run, welke velden je opslaat en hoe lang je ze aan je kant bewaart. Knip de rijen die je niet nodig hebt. Een kleiner bestand is makkelijker te delen met een klant of collega, en makkelijker te verwijderen als het project eindigt.
De endpoint reference somt elk veld op en de kosten van elke call, wat deze beslissing makkelijker maakt om vast te leggen.
Pre-flight lijst
- Key opgeslagen als secret, niet in de repo.
- Lus eindigt op rijkorting, niet op hoop.
- HTTP 401 en 402 apart afgehandeld.
- Snapshots gedateerd en bewaard.
- Eén score vendor per tabel.
- Maandelijks schema, niet uurlijks.