Vai al contenuto
SEOCheck
SEOCheckRegistrati

Ingegneria

Inserisci i dati dei link in una pipeline senza romperla

Estrarre una tabella una volta è facile. Estrarla ogni mese per un anno senza lacune silenziose è il vero lavoro.

Team di ricerca SEOCheck ·

Sistema di tubi dell'acqua che scorre tra le rocce che mostra una pipeline di dati affidabile

Un job mensile in dodici righe

Python, solo libreria standard. Scorre i domini di riferimento e si ferma in caso di errore evidente. Ogni risposta inserisce le sue righe in rows; aggiungi per (da 10 a 5000) per pagine più grandi, e il ciclo si interrompe una volta lette le righe total.

python
import json, urllib.request as u
KEY='sk_live_...'
def get(**p):
    q='&'.join(f'{k}={v}' for k,v in p.items())
    url=f'https://seocheck.dev/api.php?{q}&key={KEY}'
    with u.urlopen(url) as r:
        return json.load(r)
rows, page = [], 1
while True:
    d = get(action='refdomains', q='example.com', page=page)
    if not d['ok']: raise SystemExit(d)
    rows += d['rows']
    if not d['rows'] or len(rows) >= d['total']: break
    page += 1
print(len(rows), 'of', d['total'], 'balance', d['_credits']['balance'])

Perché i job dell'API backlink SEO falliscono silenziosamente

Non con un crash. Con una tabella che manca dell'ultima pagina. La causa più comune è un ciclo che termina basandosi su un'ipotesi invece che su un conteggio.

Controlla tre cose ad ogni esecuzione. ok è tornato true? Il conteggio delle righe ha raggiunto total? _credits mostra il saldo che ti aspetti? Se una qualsiasi risposta è no, fallisci il job e avvisa qualcuno.

Il successo silenzioso è peggiore di un fallimento rumoroso. Un job che termina con le righe sbagliate sembra sano finché qualcuno non legge il foglio.

I limiti di frequenza e le risposte lente contano meno qui rispetto a molte API. Un job mensile può semplicemente riprovare un'ora dopo. Ciò che conta è che i retry non ti addebitino due volte per una chiamata già avvenuta. Registra il saldo _credits prima e dopo ogni esecuzione e confrontalo. Un salto superiore al costo previsto del job significa che qualcosa è andato in loop. Indagalo prima della prossima esecuzione.

I team che eseguono già Airflow o un semplice cron su un piccolo server non hanno bisogno di nulla di nuovo. Anche una pianificazione di GitHub Actions funziona. La struttura rimane la stessa: fetch, validazione, archiviazione, alert. Consulta il confronto sui costi se stai valutando questa opzione rispetto a un'esportazione di suite.

Insidie comuni nell'ingestione

InsidiaSintomoSoluzione
Filtraggio lato client dopo la paginazioneEsecuzioni lente, pagine sprecateUsa sort e order lato server, poi taglia
Paginazione oltre il limiteIl ciclo non finisce maiLa paginazione profonda si ferma a 50.000 righe; prevedilo
Trattare l'HTTP 402 come un bugIl job riprova all'infinito402 significa che i crediti sono esauriti; ricarica, non riprovare
Trattare il 401 come transitorioUgualeChiave errata; avvisa e fermati
Confrontare i mesi acriticamenteCali fantasmaGli indici vengono aggiornati mensilmente; confronta dati omogenei
Mescolare fornitori di punteggiTrend insensatiUna fonte per foglio

Una struttura sensata per il tutto

01

Mantieni un elenco di domini in un unico punto

Un foglio o un database. Una colonna di domini, nient'altro all'inizio.

02

Valuta l'elenco con bulk_dr

Fino a 2.000 domini per chiamata, un credito. GET con domains= o POST l'elenco come body quando è lungo.

03

Estrai i dettagli solo per i sopravvissuti

Esegui refdomains o anchors sulla fetta superiore. Due crediti per chiamata, fino a 1.000 righe ciascuna.

04

Archivia snapshot, non sovrascritture

Data ogni estrazione. I trend hanno bisogno di cronologia.

05

Avvisa sui cambiamenti

Un calo di DR di diversi punti su un dominio vendor merita un messaggio.

Fogli Google e CORS

Il CORS è aperto, quindi uno snippet nel browser o uno Apps Script possono chiamare l'API direttamente. Un piccolo esempio per una funzione di cella. La funzione restituisce il Domain Rating del dominio nella cella.

javascript
function DR(domain){
  var url='https://seocheck.dev/api.php?action=domain&q='+encodeURIComponent(domain);
  var r=JSON.parse(UrlFetchApp.fetch(url).getContentText());
  return r.metrics.dr;
}
Robusta quercia con radici profonde che rappresenta aggiornamenti mensili stabili

Freschezza e onestà

L'indice viene ricostruito circa una volta al mese dal nostro crawler. Ci si aspetta un ritardo. Dati più vecchi di alcune settimane sono normali. Non pianificare estrazioni orarie; restituiscono la stessa cosa e costano crediti.

Scegli il giorno successivo all'aggiornamento quando puoi. Altrimenti esegui lo stesso giorno ogni mese e accetta il piccolo ritardo.

Suite complete di parole chiave, crawl giornalieri e monitoraggio delle posizioni vivono altrove. Ahrefs e Semrush li coprono; leggi il confronto sui costi prima di duplicare qualsiasi cosa. Il riferimento agli endpoint ha tutti i parametri.

Quattro strumenti distinti su un banco che rappresentano fasi modulari della pipeline

Progettare il job in modo da potergli fidare

Una pipeline è buona quanto la sua esecuzione più debole. Costruisci ogni esecuzione in modo che lasci tracce, così che un mese brutto possa essere spiegato piuttosto che indovinato. Il lavoro extra è minimo. Risparmia molte discussioni in seguito e risparmia anche crediti.

Pensa in quattro fasi: fetch, validazione, archiviazione e alert. Mantieni ciascuna semplice. Ogni fase dovrebbe essere in grado di fallire autonomamente, e ogni fallimento dovrebbe indicare quale fase si è rotta. Le stesse quattro fasi si applicano a qualsiasi job api backlink seo, indipendentemente dal linguaggio in cui lo scrivi.

Archivia la risposta grezza prima di trasformarla

Salva il JSON esattamente come è arrivato, con la data e i parametri della chiamata nel nome del file o in una riga di intestazione. Quando un numero sembra sbagliato il prossimo trimestre, puoi tornare a ciò che l'API ha effettivamente detto invece che a un foglio modificato da qualcuno.

I file grezzi costano poco da mantenere. Un foglio sovrascritto tre volte non può dirti cosa è successo a marzo.

Tieni un registro delle esecuzioni con il conteggio delle righe e il saldo

Ogni esecuzione dovrebbe aggiungere una riga a un log: l'ora di inizio, le chiamate effettuate, le righe restituite, il valore total e il saldo da _credits. Il log è il primo posto da controllare quando un numero cambia.

Se le righe restituite non corrispondono a total, l'esecuzione è incompleta. Segnala come fallita, mantieni il file parziale e non unirlo al trend.

Separa i retry dai rerun

Un retry ripete una chiamata fallita senza risposta. Un rerun ripete un lavoro intero che è terminato ma deve essere rifatto. Trattali diversamente, perché un retry di una chiamata che è effettivamente riuscita può costare crediti due volte.

Se non puoi dire se una chiamata è riuscita, leggi il log prima di inviarla di nuovo. Questa abitudine previene la maggior parte delle spese impreviste.

Avvisa sui fallimenti che contano

Un alert è utile solo se qualcuno agisce su di esso. Inviane uno per una chiave fallita, un saldo vuoto, un conteggio delle righe che non corrisponde a total e un costo molto superiore alla figura prevista. Escludi i successi di routine dal messaggio, o le persone smetteranno di leggerlo.

Pianificazione senza sprecare crediti

La pianificazione dovrebbe seguire i dati, non l'orologio. Un job che gira ogni ora paga lo stesso snapshot ventiquattro volte al giorno, motivo per cui il ritmo mensile è così importante per questo tipo di lavoro.

Scegli una pianificazione una volta e annotala. Cambiarla ogni mese è il modo in cui una linea di trend acquisisce gradini artificiali.

Mensile batte orario per questi dati

L'indice viene ricostruito circa una volta al mese. Estrazioni più frequenti restituiscono la stessa cosa e costano crediti. Se hai bisogno di un'ulteriore esecuzione, fallo dopo un aggiornamento noto, non nel mezzo di uno.

Un job, molti domini

Metti ogni dominio in un unico elenco ed esegui la valutazione in un solo passaggio. Una chiamata bulk_dr gestisce fino a 2.000 domini per un credito, quindi un elenco di 1.500 prospect costa quanto un elenco di dieci. Dividi il lavoro solo quando un dominio richiede dati più approfonditi, come refdomains.

Mantieni l'elenco in un unico punto. Due copie di un elenco di domini divergono, e poi il tuo trend confronta insiemi diversi di siti.

Chi dovrebbe possedere il job

Assegna un proprietario al job, anche se gira su un server condiviso. Qualcuno dovrebbe rispondere quando scatta l'alert, controllare il saldo e decidere se un mese fallito necessita di un rerun. Senza un proprietario, un job che fallisce silenziosamente può passare inosservato per un trimestre. Scrivi il nome del proprietario nell'intestazione del log, così la persona successiva sa a chi chiedere.

Testa prima su un piccolo elenco

Quando cambi un job, eseguilo su cinque domini prima di puntarlo sull'elenco completo. Un errore in un ciclo si manifesta in secondi su un piccolo campione e in crediti su uno grande. Il test a cinque domini costa quasi nulla. Cinque domini sono sufficienti per mostrare un ciclo.

Mantieni quell'elenco di test nel repository accanto al job, così è lo stesso ogni volta che lo controlli.

Quando una pipeline è la risposta sbagliata

Una pipeline si guadagna il suo posto quando hai bisogno degli stessi numeri ancora e ancora. Scegli lo strumento giusto. Per una domanda singola, un'estrazione manuale è spesso lo strumento migliore. Sii onesto su quale dei due ti serve realmente.

L'altro motivo per saltare la pipeline è la forma del lavoro. Se la domanda cambia ogni settimana, un job fisso continuerà a misurare la cosa sbagliata.

Un'esportazione una tantum non è una pipeline

Immagina di aver bisogno dei domini di riferimento di un singolo concorrente per una singola proposta. Esegui refdomains una volta, salva il file e vai avanti. Creare un job pianificato per quello aggiungerebbe manutenzione senza aggiungere approfondimenti.

Quando i tuoi numeri incontrano altri dati

I dati dei link rispondono a un tipo di domanda. Se hai bisogno di unirli con classifiche di parole chiave, conversioni o registri delle chiamate, mantieni l'unione nel tuo sistema e mantieni lo snapshot dei link come un input. Non aspettarti che l'API contenga le altre fonti per te.

Decidi cosa conservi e per quanto tempo

Decidi, prima della prima esecuzione, quali campi archivi e per quanto tempo li mantieni dalla tua parte. Taglia le righe che non ti servono. Un file più piccolo è più facile da condividere con un cliente o un collega ed è più facile da eliminare quando il progetto termina.

Il riferimento agli endpoint elenca ogni campo e il costo di ogni chiamata, il che rende questa decisione più facile da annotare.

Lista pre-volo

  • Chiave memorizzata come segreto, non nel repo.
  • Il ciclo termina sul conteggio delle righe, non sulla speranza.
  • HTTP 401 e 402 gestiti separatamente.
  • Snapshot datati e conservati.
  • Un fornitore di punteggi per tabella.
  • Pianificazione mensile, non oraria.