Engineering
Linkdaten in eine Pipeline einspeisen, ohne sie zu beschädigen
Eine Tabelle einmal abzurufen, ist einfach. Sie jeden Monat für ein Jahr ohne stille Lücken abzurufen, ist die eigentliche Aufgabe.
SEOCheck-Research-Team ·

Ein monatlicher Job in zwölf Zeilen
Python, nur Standardbibliothek. Er paginiert durch verweisende Domains und stoppt bei einem deutlichen Fehler. Jede Antwort schreibt ihre Zeilen in rows; fügen Sie per (10 bis 5000) für größere Seiten hinzu, und die Schleife stoppt, sobald sie total Zeilen gelesen hat.
import json, urllib.request as u
KEY='sk_live_...'
def get(**p):
q='&'.join(f'{k}={v}' for k,v in p.items())
url=f'https://seocheck.dev/api.php?{q}&key={KEY}'
with u.urlopen(url) as r:
return json.load(r)
rows, page = [], 1
while True:
d = get(action='refdomains', q='example.com', page=page)
if not d['ok']: raise SystemExit(d)
rows += d['rows']
if not d['rows'] or len(rows) >= d['total']: break
page += 1
print(len(rows), 'of', d['total'], 'balance', d['_credits']['balance'])Warum SEO-Backlink-API-Jobs still versagen
Nicht mit einem Crash. Mit einer Tabelle, der die letzte Seite fehlt. Die übliche Ursache ist eine Schleife, die auf einer Schätzung statt auf einem Zähler endet.
Prüfen Sie bei jedem Lauf drei Dinge. War ok true? Hat die Zeilenanzahl total erreicht? Hat _credits den erwarteten Saldo angezeigt? Wenn eine Antwort nein lautet, brechen Sie den Job ab und informieren Sie jemanden.
Stiller Erfolg ist schlimmer als ein lauter Fehler. Ein Job, der mit den falschen Zeilen endet, sieht gesund aus, bis jemand das Sheet liest.
Rate Limits und langsame Antworten sind hier weniger wichtig als bei vielen APIs. Ein monatlicher Job kann einfach eine Stunde später erneut versuchen. Wichtig ist, dass Wiederholungen Sie nicht doppelt für einen bereits erfolgreichen Aufruf belasten. Protokollieren Sie den _credits-Saldo vor und nach jedem Lauf und vergleichen Sie ihn. Ein Sprung, der größer ist als die erwarteten Kosten des Jobs, bedeutet, dass etwas in einer Schleife lief. Untersuchen Sie dies vor dem nächsten Lauf.
Teams, die bereits Airflow oder einen einfachen Cron auf einem kleinen Server betreiben, benötigen nichts Neues. Ein GitHub Actions-Schedule funktioniert ebenfalls. Die Struktur bleibt gleich: Abrufen, Validieren, Speichern, Alarmieren. Siehe den Kostenvergleich, wenn Sie dies gegen einen Suite-Export abwägen.
Häufige Ingestion-Fallstricke
| Fallstrick | Symptom | Lösung |
|---|---|---|
| Clientseitiges Filtern nach der Paginierung | Langsame Läufe, verschwendete Seiten | Verwenden Sie sort und order serverseitig, dann schneiden |
| Paginierung über das Limit hinaus | Schleife endet nie | Deep Pagination stoppt bei 50.000 Zeilen; planen Sie dies ein |
| HTTP 402 als Bug behandeln | Job wiederholt sich endlos | 402 bedeutet, dass Credits aufgebraucht sind; laden Sie auf, wiederholen Sie nicht |
| 401 als vorübergehend behandeln | Gleiches | Schlüssel falsch; Alarm und Stopp |
| Monate blind vergleichen | Phantom-Rückgänge | Indexaktualisierungen monatlich; vergleichen Sie Gleiches mit Gleichem |
| Score-Anbieter mischen | Unsinnige Trends | Eine Quelle pro Sheet |
Eine sinnvolle Struktur für das Ganze
Behalten Sie eine Domain-Liste an einem Ort
Ein Sheet oder eine Tabelle. Eine Spalte mit Domains, sonst nichts am Anfang.
Listen mit bulk_dr bewerten
Bis zu 2.000 Domains pro Aufruf, ein Credit. GET mit domains= oder POST die Liste als Body, wenn sie lang ist.
Details nur für Überlebende abrufen
Führen Sie refdomains oder anchors für den oberen Ausschnitt aus. Zwei Credits pro Aufruf, bis zu 1.000 Zeilen jeweils.
Snapshots speichern, keine Überschreibungen
Jeden Abruf datieren. Trends benötigen Historie.
Bei Änderungen alarmieren
Ein DR-Rückgang um mehrere Punkte bei einer Vendor-Domain ist eine Nachricht wert.
Google Sheets und CORS
CORS ist offen, sodass ein Browser-Snippet oder ein Apps Script die API direkt aufrufen kann. Ein kleines Beispiel für eine Zellfunktion. Die Funktion gibt das Domain Rating der Domain in der Zelle zurück.
function DR(domain){
var url='https://seocheck.dev/api.php?action=domain&q='+encodeURIComponent(domain);
var r=JSON.parse(UrlFetchApp.fetch(url).getContentText());
return r.metrics.dr;
}
Aktualität und Ehrlichkeit
Der Index wird etwa einmal im Monat von unserem eigenen Crawler neu aufgebaut. Rechnen Sie mit Verzögerungen. Daten, die älter als ein paar Wochen sind, sind normal. Planen Sie keine stündlichen Abrufe; sie liefern dasselbe und kosten Credits.
Wählen Sie den Tag nach dem Refresh, wenn möglich. Andernfalls führen Sie den Job am selben Tag jeden Monat aus und akzeptieren die kleine Verzögerung.
Vollständige Keyword-Suiten, tägliche Crawls und Rank-Tracking gibt es woanders. Ahrefs und Semrush decken sie ab; lesen Sie den Kostenvergleich, bevor Sie etwas duplizieren. Die Endpoint-Referenz enthält jeden Parameter.

Den Job so gestalten, dass Sie ihm vertrauen können
Eine Pipeline ist nur so gut wie ihre schwächste Ausführung. Bauen Sie jede Ausführung so, dass sie Beweise hinterlässt, sodass ein schlechter Monat erklärt werden kann, statt erraten zu werden. Die zusätzliche Arbeit ist gering. Sie spart später viel Argumentation und spart auch Credits.
Denken Sie in vier Stufen: Abrufen, Validieren, Speichern und Alarmieren. Halten Sie jede Stufe einfach. Jede Stufe sollte eigenständig fehlschlagen können, und jeder Fehler sollte angeben, welche Stufe gebrochen ist. Dieselben vier Stufen gelten für jeden SEO-Backlink-API-Job, unabhängig von der Sprache, in der Sie ihn schreiben.
Speichern Sie die Rohantwort, bevor Sie sie transformieren
Speichern Sie das JSON genau so, wie es zurückkam, mit dem Datum und den Aufrufparametern im Dateinamen oder in einer Kopfzeile. Wenn eine Zahl im nächsten Quartal falsch aussieht, können Sie zurückgehen zu dem, was die API tatsächlich gesagt hat, statt zu einem Sheet, das jemand bearbeitet hat.
Rohdateien sind kostengünstig zu speichern. Ein Sheet, das dreimal überschrieben wurde, kann Ihnen nicht sagen, was im März passiert ist.
Führen Sie ein Laufprotokoll mit Zeilenanzahl und Saldo
Jeder Lauf sollte eine Zeile zu einem Protokoll hinzufügen: die Startzeit, die gemachten Aufrufe, die zurückgegebenen Zeilen, den total-Wert und den Saldo aus _credits. Das Protokoll ist der erste Ort, an dem man nachschaut, wenn eine Zahl sich bewegt.
Wenn die zurückgegebenen Zeilen nicht mit total übereinstimmen, ist der Lauf unvollständig. Markieren Sie ihn als fehlgeschlagen, behalten Sie die partielle Datei und fügen Sie sie nicht in den Trend ein.
Wiederholungen von Wiederholungen trennen
Eine Wiederholung wiederholt einen Aufruf, der ohne Antwort fehlgeschlagen ist. Eine Neuerstellung wiederholt einen ganzen Job, der beendet wurde, aber erneut ausgeführt werden muss. Behandeln Sie sie unterschiedlich, denn eine Wiederholung eines Aufrufs, der tatsächlich erfolgreich war, kann Credits doppelt kosten.
Wenn Sie nicht feststellen können, ob ein Aufruf erfolgreich war, lesen Sie das Protokoll, bevor Sie es erneut senden. Diese eine Gewohnheit verhindert die meisten überraschenden Gebühren.
Bei den relevanten Fehlern alarmieren
Ein Alarm ist nur nützlich, wenn jemand darauf reagiert. Senden Sie einen für einen fehlgeschlagenen Schlüssel, einen leeren Saldo, eine Zeilenanzahl, die nicht mit total übereinstimmt, und eine Kosten, die weit über dem erwarteten Wert liegt. Lassen Sie routinemäßige Erfolge aus der Nachricht weg, sonst hören die Leute auf, sie zu lesen.
Planen ohne Credits zu verschwenden
Der Zeitplan sollte den Daten folgen, nicht der Uhr. Ein Job, der jede Stunde läuft, zahlt für denselben Snapshot vierundzwanzigmal am Tag, weshalb der monatliche Rhythmus für diese Art von Arbeit so wichtig ist.
Wählen Sie einen Zeitplan einmal aus und schreiben Sie ihn auf. Ihn jeden Monat zu ändern, ist der Weg, wie eine Trendlinie künstliche Schritte aufnimmt.
Monatlich schlägt stündlich für diese Daten
Der Index wird etwa einmal im Monat neu aufgebaut. Häufigere Abrufe liefern dasselbe und kosten Credits. Wenn Sie einen zusätzlichen Lauf benötigen, führen Sie ihn nach einem bekannten Refresh aus, nicht mitten darin.
Ein Job, viele Domains
Legen Sie jede Domain in eine einzige Liste und führen Sie die Bewertung in einem Durchlauf durch. Ein bulk_dr-Aufruf behandelt bis zu 2.000 Domains für einen Credit, sodass eine Liste mit 1.500 Prospects genauso viel kostet wie eine Liste mit zehn. Teilen Sie die Arbeit nur auf, wenn eine Domain tiefere Daten benötigt, wie refdomains.
Halten Sie die Liste an einem Ort. Zwei Kopien einer Domain-Liste weichen auseinander, und dann vergleicht Ihr Trend verschiedene Sätze von Websites.
Wer sollte den Job besitzen
Geben Sie den Job einem Eigentümer, auch wenn er auf einem Shared-Server läuft. Jemand sollte antworten, wenn der Alarm ausgelöst wird, den Saldo prüfen und entscheiden, ob ein fehlgeschlagener Monat eine Neuerstellung benötigt. Ohne Eigentümer kann ein Job, der still fehlschlägt, ein Quartal lang unbemerkt bleiben. Schreiben Sie den Namen des Eigentümers in die Protokollkopfzeile, damit die nächste Person weiß, wen sie fragen soll.
Zuerst mit einer kleinen Liste testen
Wenn Sie einen Job ändern, führen Sie ihn mit fünf Domains aus, bevor Sie ihn auf die vollständige Liste richten. Ein Fehler in einer Schleife zeigt sich in Sekunden bei einer kleinen Stichprobe und in Credits bei einer großen. Der Test mit fünf Domains kostet fast nichts. Fünf Domains reichen aus, um eine Schleife zu zeigen.
Behalten Sie diese Testliste im Repository neben dem Job, damit sie jedes Mal, wenn Sie prüfen, dieselbe ist.
Wenn eine Pipeline die falsche Antwort ist
Eine Pipeline verdient ihren Platz, wenn Sie dieselben Zahlen immer wieder benötigen. Wählen Sie das richtige Werkzeug. Für eine einzelne Frage ist ein manueller Abruf oft das bessere Werkzeug. Seien Sie ehrlich darüber, welche der beiden Sie tatsächlich benötigen.
Der andere Grund, die Pipeline zu überspringen, ist die Form der Arbeit. Wenn sich die Frage jede Woche ändert, wird ein fester Job weiterhin das Falsche messen.
Ein einmaliger Export ist keine Pipeline
Sagen Sie, Sie benötigen die verweisenden Domains eines Rivalen für eine einzelne Pitch. Führen Sie refdomains einmal aus, speichern Sie die Datei und fahren Sie fort. Einen geplanten Job dafür zu bauen, würde Wartung hinzufügen, ohne Erkenntnis.
Wenn Ihre Zahlen auf andere Daten treffen
Linkdaten beantworten eine Art von Frage. Wenn Sie sie mit Keyword-Rankings, Conversions oder Anrufprotokollen verbinden müssen, halten Sie die Join in Ihrem eigenen System und halten Sie den Link-Snapshot als eine Eingabe. Erwarten Sie nicht, dass die API die anderen Quellen für Sie hält.
Entscheiden Sie, was Sie behalten, und wie lange
Entscheiden Sie vor dem ersten Lauf, welche Felder Sie speichern und wie lange Sie sie auf Ihrer Seite aufbewahren. Kürzen Sie die Zeilen, die Sie nicht benötigen. Eine kleinere Datei ist einfacher mit einem Kunden oder Kollegen zu teilen und einfacher zu löschen, wenn das Projekt endet.
Die Endpoint-Referenz listet jedes Feld und die Kosten jedes Aufrufs auf, was diese Entscheidung einfacher zu dokumentieren macht.
Pre-Flight-Liste
- Schlüssel als Secret gespeichert, nicht im Repo.
- Schleife endet bei Zeilenanzahl, nicht bei Hoffnung.
- HTTP 401 und 402 separat behandelt.
- Snapshots datiert und gespeichert.
- Ein Score-Anbieter pro Tabelle.
- Monatlicher Zeitplan, nicht stündlich.