Ingegneria
Inserisci i dati dei link in una pipeline senza romperla
Estrarre una tabella una volta è facile. Estrarla ogni mese per un anno senza lacune silenziose è il vero lavoro.
Team di ricerca SEOCheck ·

Un job mensile in dodici righe
Python, solo libreria standard. Scorre i domini di riferimento e si ferma in caso di errore evidente. Ogni risposta inserisce le sue righe in rows; aggiungi per (da 10 a 5000) per pagine più grandi, e il ciclo si interrompe una volta lette le righe total.
import json, urllib.request as u
KEY='sk_live_...'
def get(**p):
q='&'.join(f'{k}={v}' for k,v in p.items())
url=f'https://seocheck.dev/api.php?{q}&key={KEY}'
with u.urlopen(url) as r:
return json.load(r)
rows, page = [], 1
while True:
d = get(action='refdomains', q='example.com', page=page)
if not d['ok']: raise SystemExit(d)
rows += d['rows']
if not d['rows'] or len(rows) >= d['total']: break
page += 1
print(len(rows), 'of', d['total'], 'balance', d['_credits']['balance'])Perché i job dell'API backlink SEO falliscono silenziosamente
Non con un crash. Con una tabella che manca dell'ultima pagina. La causa più comune è un ciclo che termina basandosi su un'ipotesi invece che su un conteggio.
Controlla tre cose ad ogni esecuzione. ok è tornato true? Il conteggio delle righe ha raggiunto total? _credits mostra il saldo che ti aspetti? Se una qualsiasi risposta è no, fallisci il job e avvisa qualcuno.
Il successo silenzioso è peggiore di un fallimento rumoroso. Un job che termina con le righe sbagliate sembra sano finché qualcuno non legge il foglio.
I limiti di frequenza e le risposte lente contano meno qui rispetto a molte API. Un job mensile può semplicemente riprovare un'ora dopo. Ciò che conta è che i retry non ti addebitino due volte per una chiamata già avvenuta. Registra il saldo _credits prima e dopo ogni esecuzione e confrontalo. Un salto superiore al costo previsto del job significa che qualcosa è andato in loop. Indagalo prima della prossima esecuzione.
I team che eseguono già Airflow o un semplice cron su un piccolo server non hanno bisogno di nulla di nuovo. Anche una pianificazione di GitHub Actions funziona. La struttura rimane la stessa: fetch, validazione, archiviazione, alert. Consulta il confronto sui costi se stai valutando questa opzione rispetto a un'esportazione di suite.
Insidie comuni nell'ingestione
| Insidia | Sintomo | Soluzione |
|---|---|---|
| Filtraggio lato client dopo la paginazione | Esecuzioni lente, pagine sprecate | Usa sort e order lato server, poi taglia |
| Paginazione oltre il limite | Il ciclo non finisce mai | La paginazione profonda si ferma a 50.000 righe; prevedilo |
| Trattare l'HTTP 402 come un bug | Il job riprova all'infinito | 402 significa che i crediti sono esauriti; ricarica, non riprovare |
| Trattare il 401 come transitorio | Uguale | Chiave errata; avvisa e fermati |
| Confrontare i mesi acriticamente | Cali fantasma | Gli indici vengono aggiornati mensilmente; confronta dati omogenei |
| Mescolare fornitori di punteggi | Trend insensati | Una fonte per foglio |
Una struttura sensata per il tutto
Mantieni un elenco di domini in un unico punto
Un foglio o un database. Una colonna di domini, nient'altro all'inizio.
Valuta l'elenco con bulk_dr
Fino a 2.000 domini per chiamata, un credito. GET con domains= o POST l'elenco come body quando è lungo.
Estrai i dettagli solo per i sopravvissuti
Esegui refdomains o anchors sulla fetta superiore. Due crediti per chiamata, fino a 1.000 righe ciascuna.
Archivia snapshot, non sovrascritture
Data ogni estrazione. I trend hanno bisogno di cronologia.
Avvisa sui cambiamenti
Un calo di DR di diversi punti su un dominio vendor merita un messaggio.
Fogli Google e CORS
Il CORS è aperto, quindi uno snippet nel browser o uno Apps Script possono chiamare l'API direttamente. Un piccolo esempio per una funzione di cella. La funzione restituisce il Domain Rating del dominio nella cella.
function DR(domain){
var url='https://seocheck.dev/api.php?action=domain&q='+encodeURIComponent(domain);
var r=JSON.parse(UrlFetchApp.fetch(url).getContentText());
return r.metrics.dr;
}
Freschezza e onestà
L'indice viene ricostruito circa una volta al mese dal nostro crawler. Ci si aspetta un ritardo. Dati più vecchi di alcune settimane sono normali. Non pianificare estrazioni orarie; restituiscono la stessa cosa e costano crediti.
Scegli il giorno successivo all'aggiornamento quando puoi. Altrimenti esegui lo stesso giorno ogni mese e accetta il piccolo ritardo.
Suite complete di parole chiave, crawl giornalieri e monitoraggio delle posizioni vivono altrove. Ahrefs e Semrush li coprono; leggi il confronto sui costi prima di duplicare qualsiasi cosa. Il riferimento agli endpoint ha tutti i parametri.

Progettare il job in modo da potergli fidare
Una pipeline è buona quanto la sua esecuzione più debole. Costruisci ogni esecuzione in modo che lasci tracce, così che un mese brutto possa essere spiegato piuttosto che indovinato. Il lavoro extra è minimo. Risparmia molte discussioni in seguito e risparmia anche crediti.
Pensa in quattro fasi: fetch, validazione, archiviazione e alert. Mantieni ciascuna semplice. Ogni fase dovrebbe essere in grado di fallire autonomamente, e ogni fallimento dovrebbe indicare quale fase si è rotta. Le stesse quattro fasi si applicano a qualsiasi job api backlink seo, indipendentemente dal linguaggio in cui lo scrivi.
Archivia la risposta grezza prima di trasformarla
Salva il JSON esattamente come è arrivato, con la data e i parametri della chiamata nel nome del file o in una riga di intestazione. Quando un numero sembra sbagliato il prossimo trimestre, puoi tornare a ciò che l'API ha effettivamente detto invece che a un foglio modificato da qualcuno.
I file grezzi costano poco da mantenere. Un foglio sovrascritto tre volte non può dirti cosa è successo a marzo.
Tieni un registro delle esecuzioni con il conteggio delle righe e il saldo
Ogni esecuzione dovrebbe aggiungere una riga a un log: l'ora di inizio, le chiamate effettuate, le righe restituite, il valore total e il saldo da _credits. Il log è il primo posto da controllare quando un numero cambia.
Se le righe restituite non corrispondono a total, l'esecuzione è incompleta. Segnala come fallita, mantieni il file parziale e non unirlo al trend.
Separa i retry dai rerun
Un retry ripete una chiamata fallita senza risposta. Un rerun ripete un lavoro intero che è terminato ma deve essere rifatto. Trattali diversamente, perché un retry di una chiamata che è effettivamente riuscita può costare crediti due volte.
Se non puoi dire se una chiamata è riuscita, leggi il log prima di inviarla di nuovo. Questa abitudine previene la maggior parte delle spese impreviste.
Avvisa sui fallimenti che contano
Un alert è utile solo se qualcuno agisce su di esso. Inviane uno per una chiave fallita, un saldo vuoto, un conteggio delle righe che non corrisponde a total e un costo molto superiore alla figura prevista. Escludi i successi di routine dal messaggio, o le persone smetteranno di leggerlo.
Pianificazione senza sprecare crediti
La pianificazione dovrebbe seguire i dati, non l'orologio. Un job che gira ogni ora paga lo stesso snapshot ventiquattro volte al giorno, motivo per cui il ritmo mensile è così importante per questo tipo di lavoro.
Scegli una pianificazione una volta e annotala. Cambiarla ogni mese è il modo in cui una linea di trend acquisisce gradini artificiali.
Mensile batte orario per questi dati
L'indice viene ricostruito circa una volta al mese. Estrazioni più frequenti restituiscono la stessa cosa e costano crediti. Se hai bisogno di un'ulteriore esecuzione, fallo dopo un aggiornamento noto, non nel mezzo di uno.
Un job, molti domini
Metti ogni dominio in un unico elenco ed esegui la valutazione in un solo passaggio. Una chiamata bulk_dr gestisce fino a 2.000 domini per un credito, quindi un elenco di 1.500 prospect costa quanto un elenco di dieci. Dividi il lavoro solo quando un dominio richiede dati più approfonditi, come refdomains.
Mantieni l'elenco in un unico punto. Due copie di un elenco di domini divergono, e poi il tuo trend confronta insiemi diversi di siti.
Chi dovrebbe possedere il job
Assegna un proprietario al job, anche se gira su un server condiviso. Qualcuno dovrebbe rispondere quando scatta l'alert, controllare il saldo e decidere se un mese fallito necessita di un rerun. Senza un proprietario, un job che fallisce silenziosamente può passare inosservato per un trimestre. Scrivi il nome del proprietario nell'intestazione del log, così la persona successiva sa a chi chiedere.
Testa prima su un piccolo elenco
Quando cambi un job, eseguilo su cinque domini prima di puntarlo sull'elenco completo. Un errore in un ciclo si manifesta in secondi su un piccolo campione e in crediti su uno grande. Il test a cinque domini costa quasi nulla. Cinque domini sono sufficienti per mostrare un ciclo.
Mantieni quell'elenco di test nel repository accanto al job, così è lo stesso ogni volta che lo controlli.
Quando una pipeline è la risposta sbagliata
Una pipeline si guadagna il suo posto quando hai bisogno degli stessi numeri ancora e ancora. Scegli lo strumento giusto. Per una domanda singola, un'estrazione manuale è spesso lo strumento migliore. Sii onesto su quale dei due ti serve realmente.
L'altro motivo per saltare la pipeline è la forma del lavoro. Se la domanda cambia ogni settimana, un job fisso continuerà a misurare la cosa sbagliata.
Un'esportazione una tantum non è una pipeline
Immagina di aver bisogno dei domini di riferimento di un singolo concorrente per una singola proposta. Esegui refdomains una volta, salva il file e vai avanti. Creare un job pianificato per quello aggiungerebbe manutenzione senza aggiungere approfondimenti.
Quando i tuoi numeri incontrano altri dati
I dati dei link rispondono a un tipo di domanda. Se hai bisogno di unirli con classifiche di parole chiave, conversioni o registri delle chiamate, mantieni l'unione nel tuo sistema e mantieni lo snapshot dei link come un input. Non aspettarti che l'API contenga le altre fonti per te.
Decidi cosa conservi e per quanto tempo
Decidi, prima della prima esecuzione, quali campi archivi e per quanto tempo li mantieni dalla tua parte. Taglia le righe che non ti servono. Un file più piccolo è più facile da condividere con un cliente o un collega ed è più facile da eliminare quando il progetto termina.
Il riferimento agli endpoint elenca ogni campo e il costo di ogni chiamata, il che rende questa decisione più facile da annotare.
Lista pre-volo
- Chiave memorizzata come segreto, non nel repo.
- Il ciclo termina sul conteggio delle righe, non sulla speranza.
- HTTP 401 e 402 gestiti separatamente.
- Snapshot datati e conservati.
- Un fornitore di punteggi per tabella.
- Pianificazione mensile, non oraria.