Přejít na obsah
SEOCheck
SEOCheckRegistrovat se

Inženýrství

Napojte data o odkazech do potrubí bez jeho poškození

Stáhnout tabulku jednou je snadné. Stáhnout ji každý měsíc po dobu roku bez tichých mezer je skutečná práce.

Výzkumný tým SEOCheck ·

Systém vodovodních potrubí tekoucí skrz skály ukazující spolehlivé datové potrubí

Měsíční úloha v dvanácti řádcích

Python, pouze standardní knihovna. Stránkuje přes domény, které odkazují, a zastaví se při hlasité chybě. Každá odpověď vloží své řádky do rows; přidejte per (10 až 5000) pro větší stránky a smyčka se zastaví, jakmile přečte total řádků.

python
import json, urllib.request as u
KEY='sk_live_...'
def get(**p):
    q='&'.join(f'{k}={v}' for k,v in p.items())
    url=f'https://seocheck.dev/api.php?{q}&key={KEY}'
    with u.urlopen(url) as r:
        return json.load(r)
rows, page = [], 1
while True:
    d = get(action='refdomains', q='example.com', page=page)
    if not d['ok']: raise SystemExit(d)
    rows += d['rows']
    if not d['rows'] or len(rows) >= d['total']: break
    page += 1
print(len(rows), 'of', d['total'], 'balance', d['_credits']['balance'])

Proč úlohy API pro zpětná odkazy selhávají tichým způsobem

Ne pádem. Tabulkou, které chybí poslední stránka. Častou příčinou je smyčka, která končí na odhadu místo na počtu.

Zkontrolujte tři věci při každém běhu. Vrátil se ok jako true? Dosáhl počet řádků total? Ukazoval _credits zůstatek, který očekáváte? Pokud je odpověď ne, selžte úlohu a informujte někoho.

Tichý úspěch je horší než hlasitý neúspěch. Úloha, která skončí se špatným počtem řádků, vypadá zdravě, dokud někdo nečte tabulku.

Limity rychlosti a pomalé odpovědi jsou zde méně důležité než u mnoha API. Měsíční úloha může prostě zkusit znovu o hodinu později. Důležité je, aby se při opakování nezaplatilo dvakrát za volání, které již bylo úspěšné. Zaznamenejte zůstatek _credits před a po každém běhu a porovnejte. Skok větší než očekávané náklady úlohy znamená, že něco se opakuje. Prošetřete to před dalším během.

Týmy, které již provozují Airflow nebo obyčejný cron na malém serveru, nepotřebují nic nového. Funguje také plán GitHub Actions. Tvar zůstává stejný: stáhnout, ověřit, uložit, upozornit. Podívejte se na srovnání nákladů, pokud zvažujete toto proti exportu sady nástrojů.

Běžné pasti ingestace

PastaPříznakOprava
Filtrování na straně klienta po stránkováníPomalé běhy, plýtvání stránkamiPoužijte sort a order na straně serveru, poté ořízněte
Stránkování přes limitSmyčka nikdy neskončíHluboké stránkování končí u 50 000 řádků; počítejte s tím
Považování HTTP 402 za chybuÚloha se opakuje donekonečna402 znamená, že došly kredity; přidejte je, neopakovat
Považování 401 za přechodný stavStejnéŠpatný klíč; upozornit a zastavit
Slepé porovnávání měsícůFantomové poklesyObnova indexu probíhá měsíčně; porovnávejte podobné s podobným
Míchání poskytovatelů skóreNesmyslné trendyJeden zdroj na tabulku

Rozumný tvar pro celý soubor

01

Udržujte seznam domén na jednom místě

Tabulka nebo tabulka. Jeden sloupec domén, nic jiného na začátku.

02

Ohodnoťte seznam pomocí bulk_dr

Až 2 000 domén na volání, jeden kredit. GET s domains= nebo POST seznam jako tělo, když je dlouhý.

03

Stáhněte si podrobnosti pouze pro přeživší

Spusťte refdomains nebo anchors na horní části. Dva kredity na volání, až 1 000 řádků každé.

04

Ukládejte snímky, ne přepisy

Datumujte každé stažení. Trendy potřebují historii.

05

Upozornění na změnu

Pokles DR o několik bodů u domény poskytovatele stojí za zprávu.

Google Sheets a CORS

CORS je otevřený, takže snippet prohlížeče nebo Apps Script může volat API přímo. Malý příklad pro funkci buňky. Funkce vrací Domain Rating domény v buňce.

javascript
function DR(domain){
  var url='https://seocheck.dev/api.php?action=domain&q='+encodeURIComponent(domain);
  var r=JSON.parse(UrlFetchApp.fetch(url).getContentText());
  return r.metrics.dr;
}
Pevný dub s hlubokými kořeny představující stabilní měsíční aktualizace

Čerstvost a upřímnost

Index se obnovuje přibližně jednou měsíčně z našeho vlastního crawleru. Očekávejte zpoždění. Data starší než několik týdnů je normální. Neplánujte hodinová stažení; vrátí to samé a stojí kredity.

Vyberte den po obnově, když můžete. Jinak spusťte ve stejný den každý měsíc a přijměte malé zpoždění.

Plné sady klíčových slov, denní crawly a sledování pozic žijí jinde. Ahrefs a Semrush je pokrývají; přečtěte si srovnání nákladů předtím, než cokoli duplikujete. Referenční příručka endpointů má každý parametr.

Čtyři odlišné nástroje na lavičce představující modulární fáze potrubí

Navrhování úlohy, které můžete důvěřovat

Potrubí je dobré jen tak, jako jeho nejslabší běh. Sestavte každý běh tak, aby zanechal důkaz, aby se špatný měsíc dal vysvětlit, nikoli hádat. Dodatečná práce je malá. Ušetří mnoho argumentů později a také kredity.

Myslete ve čtyřech fázích: stáhnout, ověřit, uložit a upozornit. Udržujte každou jednoduchou. Každá fáze by měla selhat sama o sobě a každé selhání by mělo říct, která fáze se rozbila. Stejných čtyř fází se držíte u jakékoli úlohy API pro zpětná odkazy, bez ohledu na jazyk, ve kterém ji píšete.

Uložte surovou odpověď před jejím transformováním

Uložte JSON přesně tak, jak přišel, s datem a parametry volání v názvu souboru nebo v záhlaví řádku. Když se číslo příští čtvrtletí zdá být špatné, můžete se vrátit k tomu, co API skutečně řeklo, místo k tabulce, kterou někdo upravil.

Surové soubory stojí málo na udržení. Tabulka, která byla přepsána třikrát, vám neřekne, co se stalo v březnu.

Udržujte protokol běhu s počtem řádků a zůstatkem

Každý běh by měl přidat jeden řádek do protokolu: čas spuštění, provedená volání, vrácené řádky, hodnota total a zůstatek z _credits. Protokol je první místo, kam se podívat, když se číslo hýbe.

Pokud se vrácené řádky neshodují s total, běh je neúplný. Označte jej jako selhání, ponechte částečný soubor a nespojujte ho s trendem.

Oddělte opakování od přeběhů

Opakování opakuje volání, které selhalo bez odpovědi. Přeběh opakuje celou úlohu, která skončila, ale musí být znovu provedena. Zacházejte s nimi jinak, protože opakování volání, které ve skutečnosti uspělo, může stát kredity dvakrát.

Pokud nemůžete zjistit, zda volání uspělo, přečtěete protokol předtím, než ho znovu odešlete. Tato jedna zvyklost zabrání většině překvapivých poplatků.

Upozornění na důležité selhání

Upozornění je užitečné pouze tehdy, když na něj někdo zareaguje. Pošlete jedno pro selhaný klíč, prázdný zůstatek, počet řádků, který se neshoduje s total, a náklady výrazně vyšší než očekávaná částka. Nechte běžné úspěchy mimo zprávu, nebo lidé přestanou číst.

Plánování bez plýtvání kredity

Plán by měl následovat data, ne hodiny. Úloha, která běží každou hodinu, platí za stejný snímek dvacet čtyřkrát denně, proto má měsíční rytmus pro tento druh práce takový význam.

Vyberte plán jednou a zapište si ho. Změna každým měsícem je způsob, jakým trendová čára získává umělé kroky.

Měsíční beatuje hodinové pro tato data

Index se obnovuje přibližně jednou měsíčně. Stažení častěji vrací to samé a stojí kredity. Pokud potřebujete další běh, proveďte ho po známé obnově, ne uprostřed jedné.

Jedna úloha, mnoho domén

Vložte každou doménu do jednoho seznamu a spusťte hodnocení v jednom průchodu. Volání bulk_dr zvládne až 2 000 domén za jeden kredit, takže seznam 1 500 potenciálních zákazníků stojí stejně jako seznam deseti. Rozdělte práci pouze tehdy, když doména potřebuje hlubší data, jako refdomains.

Udržujte seznam na jednom místě. Dvě kopie seznamu domén se od sebe vzdálí a pak váš trend porovnává různé sady webů.

Kdo by měl úlohu vlastnit

Dejte úloze jednoho majitele, i když běží na sdíleném serveru. Někdo by měl odpovědět, když se spustí upozornění, zkontrolovat zůstatek a rozhodnout, zda selhaný měsíc potřebuje přeběh. Bez majitele může úloha, která selhává tichým způsobem, zůstat bez povšimnutí po čtvrtletí. Zapište jméno majitele do záhlaví protokolu, aby další osoba věděla, koho se zeptat.

Nejprve otestujte na malém seznamu

Když změníte úlohu, spusťte ji na pěti doménách předtím, než ji nasměrujete na celý seznam. Chyba ve smyčce se projeví za sekundy na malé vzorce a za kredity na velké. Test na pěti doménách stojí téměř nic. Pět domén stačí k ukázání smyčky.

Udržujte tento testovací seznam v repozitáři vedle úlohy, aby byl vždy stejný při kontrole.

Když je potrubí špatnou odpovědí

Potrubí si zaslouží své místo, když potřebujete stejná čísla znovu a znovu. Vyberte správný nástroj. Pro jednu otázku je často lepší nástroj manuální stažení. Buďte upřímní o tom, kterou z dvou věcí skutečně potřebujete.

Dalším důvodem k přeskočení potrubí je tvar práce. Pokud se otázka mění každý týden, pevná úloha bude měřit stále něco špatného.

Jednorázový export není potrubí

Řekněě, že potřebujete odkazující domény jednoho rivala pro jednu pitch. Spusťte refdomains jednou, uložte soubor a pokračujte. Vytvoření plánované úlohy pro to by přidalo údržbu bez přidání vhledu.

Když se vaše čísla setkají s jinými daty

Data o odkazích odpovídají jednomu druhu otázky. Pokud potřebujete je spojit s klíčovými pozicemi, konverzemi nebo záznamy hovorů, udržujte join ve svém vlastním systému a udržujte snímek odkazu jako jeden vstup. Neočekávejte, že API bude držet ostatní zdroje za vás.

Rozhodněte, co si ponecháte a jak dlouho

Rozhodněte se před prvním během, která pole uložíte a jak dlouho je budete u sebe udržovat. Ořízněte řádky, které nepotřebujete. Menší soubor je snazší sdílet se klientem nebo kolegou a snazší smazat, když projekt skončí.

Referenční příručka endpointů uvádí každé pole a náklady každého volání, což usnadňuje zápis tohoto rozhodnutí.

Předletový seznam

  • Klíč uložený jako tajný, ne v repozitáři.
  • Smyčka končí na počtu řádků, ne na naději.
  • HTTP 401 a 402 řešeny odděleně.
  • Snímky datumované a udržované.
  • Jeden dodavatel skóre na tabulku.
  • Měsíční plán, ne hodinový.