Sari la conținut
SEOCheck
SEOCheckÎnregistrare

Inginerie

Introdu datele linkurilor într-un pipeline fără a-l strica

Solicitarea unui tabel o singură dată este ușoară. Solicitarea lui în fiecare lună timp de un an, fără goluri invizibile, este adevărata provocare.

Echipa de cercetare SEOCheck ·

Sistem de țevi de apă curgând prin stânci, arătând un pipeline de date fiabil

Un job lunar în douăsprezece linii

Python, doar biblioteca standard. Parcurge domeniile care fac trimitere și se oprește la o eroare vizibilă. Fiecare răspuns își adaugă rândurile în rows; adaugă per (10 până la 5000) pentru pagini mai mari, iar bucla se oprește odată ce a citit total rânduri.

python
import json, urllib.request as u
KEY='sk_live_...'
def get(**p):
    q='&'.join(f'{k}={v}' for k,v in p.items())
    url=f'https://seocheck.dev/api.php?{q}&key={KEY}'
    with u.urlopen(url) as r:
        return json.load(r)
rows, page = [], 1
while True:
    d = get(action='refdomains', q='example.com', page=page)
    if not d['ok']: raise SystemExit(d)
    rows += d['rows']
    if not d['rows'] or len(rows) >= d['total']: break
    page += 1
print(len(rows), 'of', d['total'], 'balance', d['_credits']['balance'])

De ce joburile API backlink SEO eșuează în tăcere

Nu cu un crash. Ci cu un tabel care îi lipsește ultima pagină. Cauza obișnuită este o buclă care se termină pe baza unei presupuneri, nu pe baza unui număr.

Verifică trei lucruri la fiecare rulare. A revenit ok cu valoarea true? A atins numărul de rânduri total? A afișat _credits soldul pe care îl aștepți? Dacă unul dintre răspunsuri este „nu”, eșuează jobul și anunță pe cineva.

Succesul invizibil este mai rău decât un eșec vizibil. Un job care se termină cu numărul greșit de rânduri pare sănătos până când cineva citește foaia de calcul.

Limitele de rată și răspunsurile lente contează mai puțin aici decât la multe alte API-uri. Un job lunar poate pur și simplu să repete apelul după o oră. Ceea ce contează este ca repetările să nu te taxeze de două ori pentru un apel care a reușit deja. Înregistrează soldul _credits înainte și după fiecare rulare și compară. O creștere mai mare decât costul așteptat al jobului înseamnă că a rulat o buclă. Investigheaz-o înainte de următoarea rulare.

Echipele care rulează deja Airflow sau un cron simplu pe un server mic nu au nevoie de nimic nou. Un program GitHub Actions funcționează și el. Structura rămâne aceeași: preia, validează, stochează, alertează. Vezi comparația de costuri dacă evaluezi acest lucru în raport cu o exportare din suită.

Capcane comune de ingestie

CapcanăSimptomRezolvare
Filtrarea pe partea de client după paginareRulări lente, pagini risipiteFolosește sort și order pe partea de server, apoi taie
Paginare dincolo de limităBucla nu se termină niciodatăPaginarea profundă se oprește la 50.000 de rânduri; planifică în consecință
Tratarea HTTP 402 ca un bugJobul se reîncearcă la infinit402 înseamnă că au expirat creditele; reîncarcă, nu repeta
Tratarea 401 ca tranzitorieLa felCheie greșită; alertează și oprește
Compararea lunilor oarbăScăderi fantomăReîmprospătarea indexului este lunară; compară similar cu similar
Amestecarea furnizorilor de scoruriTenduri absurdeUn singur furnizor de scoruri pe foaie

O structură rezonabilă pentru întregul proces

01

Păstrează o listă de domenii într-un singur loc

O foaie de calcul sau un tabel. O singură coloană de domenii, nimic altceva la început.

02

Scorurile listei cu bulk_dr

Până la 2.000 de domenii per apel, un credit. GET cu domains= sau POST lista ca body când este lungă.

03

Solicită detalii doar pentru supraviețuitori

Rulează refdomains sau anchors pe stratul superior. Două credite per apel, până la 1.000 de rânduri fiecare.

04

Stochează instantanee, nu suprascrieri

Datează fiecare solicitare. Tendurile au nevoie de istoric.

05

Alertează la schimbare

O scădere a DR cu câteva puncte pe un domeniu de furnizor merită un mesaj.

Google Sheets și CORS

CORS este deschis, așa că un snippet din browser sau un Apps Script pot apela API-ul direct. Un exemplu mic pentru o funcție de celulă. Funcția returnează Domain Rating-ul domeniului din celulă.

javascript
function DR(domain){
  var url='https://seocheck.dev/api.php?action=domain&q='+encodeURIComponent(domain);
  var r=JSON.parse(UrlFetchApp.fetch(url).getContentText());
  return r.metrics.dr;
}
Copac solid de stejar cu rădăcini adânci, reprezentând actualizări lunare stabile

Prospețime și onestitate

Indexul este reconstruit aproximativ o dată pe lună din propriul crawler. Așteaptă o întârziere. Datele mai vechi de câteva săptămâni sunt normale. Nu programa solicitări orare; returnează același lucru și costă credite.

Alege ziua de după reîmprospătare când poți. În caz contrar, rulează în aceeași zi în fiecare lună și acceptă micile întârzieri.

Suite complete de cuvinte cheie, crawl-uri zilnice și urmărirea clasărilor se află altundeva. Ahrefs și Semrush le acoperă; citește comparația de costuri înainte de a duplica ceva. Referința endpoint-urilor are fiecare parametru.

Patru instrumente distincte pe o bancă, reprezentând etape modulare ale pipeline-ului

Proiectarea jobului astfel încât să poți avea încredere în el

Un pipeline este la fel de bun cât cea mai slabă rulare a sa. Construiește fiecare rulare astfel încât să lase dovezi în urmă, astfel încât o lună proastă să poată fi explicată, nu ghicită. Efortul suplimentar este mic. Salvează multă dezbatere ulterior și salvează și credite.

Gândește în patru etape: preia, validează, stochează și alertează. Fiecare etapă să fie simplă. Fiecare etapă ar trebui să poată eșua independent, iar fiecare eșec ar trebui să spună care etapă a cedat. Aceleași patru etape se aplică oricărui job API backlink SEO, indiferent de limbajul în care este scris.

Stochează răspunsul brut înainte de a-l transforma

Salvează JSON exact așa cum a revenit, cu data și parametrii apelului în numele fișierului sau într-un rând de antet. Când un număr pare greșit trimestrul viitor, te poți întoarce la ceea ce a spus API-ul, nu la o foaie de calcul editată de cineva.

Fișierele brute costă puțin să fie păstrate. O foaie de calcul care a fost suprascrisă de trei ori nu îți poate spune ce s-a întâmplat în martie.

Păstrează un jurnal de rulări cu numărul de rânduri și soldul

Fiecare rulare ar trebui să adauge o linie la un jurnal: ora de început, apelurile efectuate, rândurile returnate, valoarea total și soldul din _credits. Jurnalul este primul loc de căutat când un număr se schimbă.

Dacă rândurile returnate nu se potrivesc cu total, rularea este incompletă. Marcheaz-o ca eșuată, păstrează fișierul parțial și nu-l fuziona cu tendura.

Separa repetările de relucrări

O repetare repetă un apel care a eșuat fără un răspuns. O relucrare repetă un job întreg care s-a terminat, dar trebuie refăcut. Tratează-le diferit, deoarece o repetare a unui apel care a reușit de fapt poate costa credite de două ori.

Dacă nu poți spune dacă un apel a reușit, citește jurnalul înainte de a-l trimite din nou. Acest obicei previne majoritatea taxărilor surpriză.

Alertează la eșecurile care contează

O alertă este utilă doar când cineva acționează asupra ei. Trimite una pentru o cheie eșuată, un sold gol, un număr de rânduri care nu se potrivește cu total și un cost mult peste figura așteptată. Lasă succesele de rutină în afara mesajului, sau oamenii vor înceta să îl citească.

Programarea fără risipirea de credite

Programul ar trebui să urmeze datele, nu ceasul. Un job care rulează în fiecare oră plătește același instantaneu de douăzeci și patru de ori pe zi, de aceea ritmul lunar este atât de important pentru acest tip de muncă.

Alege un program o dată și notează-l. Schimbarea lui în fiecare lună este modul în care o linie de tendere capătă pași artificiali.

Lunar bate orarul pentru aceste date

Indexul este reconstruit aproximativ o dată pe lună. Solicitărilor mai frecvente decât atât returnează același lucru și costă credite. Dacă ai nevoie de o rulare suplimentară, fă-o după o reîmprospătare cunoscută, nu în mijlocul uneia.

Un job, multe domenii

Pune fiecare domeniu într-o singură listă și rulează scorarea într-un singur pass. Un apel bulk_dr gestionează până la 2.000 de domenii pentru un credit, așa că o listă de 1.500 de prospecte costă la fel ca o listă de zece. Împarte munca doar când un domeniu are nevoie de date mai profunde, cum ar fi refdomains.

Păstrează lista într-un singur loc. Două copii ale unei liste de domenii se despart, iar apoi tendura ta compară seturi diferite de site-uri.

Cine ar trebui să dețină jobul

Dă jobului un singur proprietar, chiar dacă rulează pe un server partajat. Cineva ar trebui să răspundă când se declanșează alerta, să verifice soldul și să decidă dacă o lună eșuată are nevoie de o relucrare. Fără un proprietar, un job care eșuează în tăcere poate trece neobservat timp de un trimestru. Scrie numele proprietarului în antetul jurnalului, astfel încât următoarea persoană să știe cui să se adreseze.

Testează mai întâi pe o listă mică

Când schimbi un job, rulează-l pe cinci domenii înainte de a-l direcționa către lista completă. O greșeală într-o buclă se arată în secunde pe un eșantion mic și în credite pe unul mare. Testul pe cinci domenii costă aproape nimic. Cinci domenii sunt suficiente pentru a arăta o buclă.

Păstrează acea listă de test în repository lângă job, astfel încât să fie aceeași de fiecare dată când verifici.

Când un pipeline este răspunsul greșit

Un pipeline își câștigă locul când ai nevoie de aceleași numere din nou și din nou. Alege instrumentul potrivit. Pentru o singură întrebare, o solicitare manuală este adesea instrumentul mai bun. Fii onest cu privire la care dintre cele două ai nevoie de fapt.

Celălalt motiv pentru a sări peste pipeline este forma muncii. Dacă întrebarea se schimbă în fiecare săptămână, un job fix va continua să măsoare lucrul greșit.

Un export unic nu este un pipeline

Să zicem că ai nevoie de domeniile care fac trimitere ale unui singur rival pentru o singură propunere. Rulează refdomains o dată, salvează fișierul și mergi mai departe. Construirea unui job programat pentru asta ar adăuga mentenanță fără a adăuga insight-uri.

Când numerele tale se întâlnesc cu alte date

Datele linkurilor răspund la un fel de întrebare. Dacă ai nevoie să le alături cu clasări de cuvinte cheie, conversii sau jurnale de apeluri, păstrează alăturarea în propriul sistem și păstrează instantaneul linkurilor ca un singur input. Nu te aștepta ca API-ul să țină celelalte surse pentru tine.

Decide ce păstrezi și cât timp

Decide, înainte de prima rulare, ce câmpuri stochezi și cât timp le păstrezi pe partea ta. Taie rândurile de care nu ai nevoie. Un fișier mai mic este mai ușor de partajat cu un client sau un coleg și mai ușor de șters când se termină proiectul.

Referința endpoint-urilor listează fiecare câmp și costul fiecărui apel, ceea ce face această decizie mai ușor de notat.

Listă pre-zbor

  • Cheie stocată ca secret, nu în repo.
  • Bucla se termină pe numărul de rânduri, nu pe speranță.
  • HTTP 401 și 402 gestionate separat.
  • Instantanee dataate și păstrate.
  • Un singur furnizor de scoruri pe tabel.
  • Program lunar, nu orar.