Ingénierie
Intégrez les données de liens dans un pipeline sans le casser
Extraire un tableau une fois est facile. L'extraire chaque mois pendant un an sans trous silencieux est le vrai travail.
Équipe de recherche SEOCheck ·

Un job mensuel en douze lignes
Python, bibliothèque standard uniquement. Il parcourt les domaines référents et s'arrête en cas d'erreur bruyante. Chaque réponse place ses lignes dans rows ; ajoutez per (10 à 5000) pour des pages plus grandes, et la boucle s'arrête une fois qu'elle a lu total lignes.
import json, urllib.request as u
KEY='sk_live_...'
def get(**p):
q='&'.join(f'{k}={v}' for k,v in p.items())
url=f'https://seocheck.dev/api.php?{q}&key={KEY}'
with u.urlopen(url) as r:
return json.load(r)
rows, page = [], 1
while True:
d = get(action='refdomains', q='example.com', page=page)
if not d['ok']: raise SystemExit(d)
rows += d['rows']
if not d['rows'] or len(rows) >= d['total']: break
page += 1
print(len(rows), 'of', d['total'], 'balance', d['_credits']['balance'])Pourquoi les jobs de l'API backlink SEO échouent silencieusement
Pas avec un crash. Avec un tableau qui manque la dernière page. La cause habituelle est une boucle qui se termine sur une supposition au lieu d'un comptage.
Vérifiez trois choses à chaque exécution. ok est-il revenu vrai ? Le nombre de lignes a-t-il atteint total ? _credits a-t-il affiché le solde que vous attendez ? Si l'une des réponses est non, échouez le job et prévenez quelqu'un.
Un succès silencieux est pire qu'un échec bruyant. Un job qui se termine avec les mauvaises lignes semble sain jusqu'à ce que quelqu'un lise la feuille.
Les limites de débit et les réponses lentes comptent moins ici que sur de nombreuses API. Un job mensuel peut simplement réessayer une heure plus tard. Ce qui compte, c'est que les réessais ne vous facturent pas deux fois pour un appel qui a déjà réussi. Journalisez le solde _credits avant et après chaque exécution et comparez. Une augmentation supérieure au coût attendu du job signifie qu'une boucle a tourné. Enquêtez avant la prochaine exécution.
Les équipes qui exécutent déjà Airflow ou un cron simple sur un petit serveur n'ont besoin de rien de nouveau. Un schedule GitHub Actions fonctionne aussi. La structure reste la même : récupérer, valider, stocker, alerter. Consultez la comparaison des coûts si vous pesez cela contre une exportation de suite.
Pièges courants d'ingestion
| Piège | Symptôme | Correction |
|---|---|---|
| Filtrage côté client après la pagination | Exécutions lentes, pages gaspillées | Utilisez sort et order côté serveur, puis coupez |
| Pagination au-delà du plafond | La boucle ne se termine jamais | La pagination profonde s'arrête à 50 000 lignes ; prévoyez-le |
| Considérer le HTTP 402 comme un bug | Le job réessaie indéfiniment | 402 signifie que les crédits sont épuisés ; rechargez, ne réessayez pas |
| Considérer le 401 comme transitoire | Identique | Clé invalide ; alertez et arrêtez |
| Comparer les mois à l'aveugle | Chutes fantômes | Les index sont actualisés mensuellement ; comparez comparable avec comparable |
| Mélanger les fournisseurs de score | Tendances absurdes | Une source par feuille |
Une structure sensée pour l'ensemble
Gardez une liste de domaines à un seul endroit
Une feuille ou une table. Une colonne de domaines, rien d'autre au début.
Scannez la liste avec bulk_dr
Jusqu'à 2 000 domaines par appel, un crédit. GET avec domains= ou POST la liste dans le corps quand elle est longue.
Extrayez les détails uniquement pour les survivants
Exécutez refdomains ou anchors sur le segment supérieur. Deux crédits par appel, jusqu'à 1 000 lignes chacun.
Stockez des instantanés, pas des écrasements
Datez chaque extraction. Les tendances ont besoin d'historique.
Alertez en cas de changement
Une chute de DR de plusieurs points sur un domaine de fournisseur vaut un message.
Google Sheets et CORS
Le CORS est ouvert, donc un extrait de navigateur ou un Apps Script peut appeler l'API directement. Un petit exemple pour une fonction de cellule. La fonction retourne le Domain Rating du domaine dans la cellule.
function DR(domain){
var url='https://seocheck.dev/api.php?action=domain&q='+encodeURIComponent(domain);
var r=JSON.parse(UrlFetchApp.fetch(url).getContentText());
return r.metrics.dr;
}
Fraîcheur et honnêteté
L'index est reconstruit environ une fois par mois à partir de notre propre crawler. Attendez-vous à un décalage. Les données vieilles de quelques semaines sont normales. Ne planifiez pas d'extractions horaires ; elles retournent la même chose et coûtent des crédits.
Choisissez le jour après la reconstruction quand c'est possible. Sinon, exécutez le même jour chaque mois et acceptez le petit décalage.
Les suites de mots-clés complètes, les crawls quotidiens et le suivi de positionnement vivent ailleurs. Ahrefs et Semrush les couvrent ; lisez la comparaison des coûts avant de dupliquer quoi que ce soit. La référence des endpoints contient tous les paramètres.

Concevoir le job pour pouvoir lui faire confiance
Un pipeline n'est bon que si son exécution la plus faible l'est aussi. Construisez chaque exécution pour laisser des preuves, afin qu'un mois mauvais puisse être expliqué plutôt que deviné. Le travail supplémentaire est minime. Il économise beaucoup d'arguments plus tard, et il économise aussi des crédits.
Pensez en quatre étapes : récupérer, valider, stocker et alerter. Gardez chaque étape simple. Chaque étape devrait pouvoir échouer seule, et chaque échec devrait dire quelle étape a cassé. Les mêmes quatre étapes s'appliquent à tout job api backlink seo, quelle que soit la langue dans laquelle vous l'écrivez.
Stockez la réponse brute avant de la transformer
Sauvegardez le JSON exactement comme il est revenu, avec la date et les paramètres d'appel dans le nom de fichier ou une ligne d'en-tête. Quand un nombre semble faux le trimestre prochain, vous pouvez revenir à ce que l'API a réellement dit au lieu d'une feuille que quelqu'un a modifiée.
Les fichiers bruts coûtent peu à garder. Une feuille de calcul qui a été écrasée trois fois ne peut pas vous dire ce qui s'est passé en mars.
Gardez un journal d'exécution avec le nombre de lignes et le solde
Chaque exécution devrait ajouter une ligne à un journal : l'heure de début, les appels effectués, les lignes retournées, la valeur total et le solde de _credits. Le journal est le premier endroit où regarder quand un nombre bouge.
Si les lignes retournées ne correspondent pas à total, l'exécution est incomplète. Marquez-la comme échouée, gardez le fichier partiel, et ne le fusionnez pas dans la tendance.
Séparez les réessais des relances
Un retry répète un appel qui a échoué sans réponse. Un rerun répète un job entier qui est terminé mais doit être refait. Traitez-les différemment, car un retry d'un appel qui a en fait réussi peut coûter des crédits deux fois.
Si vous ne pouvez pas dire si un appel a réussi, lisez le journal avant de l'envoyer à nouveau. Cette seule habitude prévient la plupart des frais surprises.
Alertez sur les échecs qui comptent
Une alerte n'est utile que si quelqu'un agit dessus. Envoyez-en une pour une clé échouée, un solde vide, un nombre de lignes qui ne correspond pas à total et un coût bien supérieur au chiffre attendu. Laissez les succès de routine hors du message, ou les gens cesseront de le lire.
Planification sans gaspiller de crédits
Le schedule devrait suivre les données, pas l'horloge. Un job qui s'exécute toutes les heures paie pour le même instantané vingt-quatre fois par jour, c'est pourquoi le rythme mensuel est si important pour ce type de travail.
Choisissez un schedule une fois et notez-le. Le changer chaque mois est la façon dont une ligne de tendance acquiert des marches artificielles.
Mensuel bat horaire pour ces données
L'index est reconstruit environ une fois par mois. Les extractions plus fréquentes retournent la même chose et coûtent des crédits. Si vous avez besoin d'une exécution supplémentaire, faites-la après une reconstruction connue, pas au milieu d'une.
Un job, plusieurs domaines
Mettez tous les domaines dans une seule liste et exécutez le scoring en un seul passage. Un appel bulk_dr gère jusqu'à 2 000 domaines pour un crédit, donc une liste de 1 500 prospects coûte autant qu'une liste de dix. Divisez le travail uniquement quand un domaine a besoin de données plus profondes, comme refdomains.
Gardez la liste à un seul endroit. Deux copies d'une liste de domaines divergent, et ensuite votre tendance compare des ensembles de sites différents.
Qui devrait être propriétaire du job
Donnez un seul propriétaire au job, même s'il s'exécute sur un serveur partagé. Quelqu'un devrait répondre quand l'alerte se déclenche, vérifier le solde et décider si un mois échoué a besoin d'une relance. Sans propriétaire, un job qui échoue silencieusement peut passer inaperçu pendant un trimestre. Écrivez le nom du propriétaire dans l'en-tête du journal, pour que la prochaine personne sache à qui demander.
Testez d'abord sur une petite liste
Quand vous changez un job, exécutez-le sur cinq domaines avant de le pointer vers la liste complète. Une erreur dans une boucle se montre en quelques secondes sur un petit échantillon et en crédits sur un grand. Le test à cinq domaines coûte presque rien. Cinq domaines suffisent pour montrer une boucle.
Gardez cette liste de test dans le dépôt à côté du job, pour qu'elle soit la même chaque fois que vous vérifiez.
Quand un pipeline est la mauvaise réponse
Un pipeline mérite sa place quand vous avez besoin des mêmes nombres encore et encore. Choisissez le bon outil. Pour une question unique, une extraction manuelle est souvent le meilleur outil. Soyez honnête sur lequel des deux vous avez réellement besoin.
L'autre raison de sauter le pipeline est la forme du travail. Si la question change chaque semaine, un job fixe continuera de mesurer la mauvaise chose.
Une exportation ponctuelle n'est pas un pipeline
Disons que vous avez besoin des domaines référents d'un rival pour un seul pitch. Exécutez refdomains une fois, sauvegardez le fichier et passez à autre chose. Construire un job planifié pour cela ajouterait de la maintenance sans ajouter d'aperçu.
Quand vos chiffres rencontrent d'autres données
Les données de liens répondent à un type de question. Si vous avez besoin de les joindre avec des positions de mots-clés, des conversions ou des journaux d'appels, gardez la jointure dans votre propre système et gardez l'instantané de lien comme une entrée. Ne vous attendez pas à ce que l'API garde les autres sources pour vous.
Décidez ce que vous gardez, et pour combien de temps
Décidez, avant la première exécution, quels champs vous stockez et combien de temps vous les gardez de votre côté. Réduisez les lignes dont vous n'avez pas besoin. Un fichier plus petit est plus facile à partager avec un client ou un collègue, et plus facile à supprimer quand le projet se termine.
La référence des endpoints liste chaque champ et le coût de chaque appel, ce qui rend cette décision plus facile à noter.
Liste pré-vol
- Clé stockée comme secret, pas dans le repo.
- La boucle se termine sur le nombre de lignes, pas sur l'espoir.
- HTTP 401 et 402 gérés séparément.
- Instantanés datés et conservés.
- Un fournisseur de score par tableau.
- Schedule mensuel, pas horaire.