Przejdź do treści
SEOCheck
SEOCheckZarejestruj się

Inżynieria

Umieść dane linków w potoku, nie zaburzając jego działania

Pobranie tabeli raz jest łatwe. Pobieranie jej co miesiąc przez rok bez cichych luk to prawdziwe wyzwanie.

Zespół badawczy SEOCheck ·

System rur wodnych płynących przez skały pokazujący niezawodny potok danych

Miesięczne zadanie w dwunastu liniach

Python, tylko biblioteka standardowa. Przechodzi przez domeny odsyłające i zatrzymuje się przy głośnym błędzie. Każda odpowiedź umieszcza swoje wiersze w rows; dodaj per (od 10 do 5000) dla większych stron, a pętla zatrzyma się, gdy odczyta total wierszy.

python
import json, urllib.request as u
KEY='sk_live_...'
def get(**p):
    q='&'.join(f'{k}={v}' for k,v in p.items())
    url=f'https://seocheck.dev/api.php?{q}&key={KEY}'
    with u.urlopen(url) as r:
        return json.load(r)
rows, page = [], 1
while True:
    d = get(action='refdomains', q='example.com', page=page)
    if not d['ok']: raise SystemExit(d)
    rows += d['rows']
    if not d['rows'] or len(rows) >= d['total']: break
    page += 1
print(len(rows), 'of', d['total'], 'balance', d['_credits']['balance'])

Dlaczego zadania API backlinków SEO kończą się cicho

Nie awarią. Tabele brakuje ostatniej strony. Najczęstszą przyczyną jest pętla, która kończy się na zgadowaniu, a nie na liczniku.

Sprawdzaj trzy rzeczy przy każdym uruchomieniu. Czy ok zwróciło true? Czy liczba wierszy osiągnęła total? Czy _credits pokazało spodziewane saldo? Jeśli którakolwiek odpowiedź brzmi „nie”, oznacz zadanie jako nieudane i powiadom odpowiednią osobę.

Ciche sukcesy są gorsze niż głośne porażki. Zadanie, które kończy się niewłaściwą liczbą wierszy, wygląda na zdrowe, dopóki ktoś nie przeczyta arkusza.

Limity szybkości i wolne odpowiedzi mają mniejsze znaczenie w tym przypadku niż w wielu innych API. Miesięczne zadanie może po prostu ponowić próbę godzinę później. Ważne jest, aby ponowienia nie obciążały Cię podwójnie za wywołanie, które już się powiodło. Zaloguj saldo _credits przed i po każdym uruchomieniu i porównaj je. Skok większy niż przewidywany koszt zadania oznacza, że coś się zapętliło. Zbadaj to przed kolejnym uruchomieniem.

Zespoły, które już uruchamiają Airflow lub zwykłego crona na małym serwerze, nie potrzebują niczego nowego. Działa też harmonogram GitHub Actions. Struktura pozostaje ta sama: pobierz, zwaliduj, zapisz, alert. Zobacz porównanie kosztów, jeśli rozważasz to w porównaniu do eksportu z pakietu narzędzi.

Typowe pułapki pobierania danych

PułapkaObjawRozwiązanie
Filtrowanie po stronie klienta po paginacjiWolne uruchomienia, zmarnowane stronyUżyj sort i order po stronie serwera, a następnie odfiltruj
Paginacja poza limitemPętla nigdy się nie kończyGłęboka paginacja zatrzymuje się na 50 000 wierszy; zaplanuj to
Traktowanie HTTP 402 jako błęduZadanie ponawia próbę w nieskończoność402 oznacza wyczerpanie kredytów; doładuj, nie ponawiaj
Traktowanie 401 jako przejściowegoTo samoNieprawidłowy klucz; alert i zatrzymanie
Ślepe porównywanie miesięcyFantomowe spadkiIndeks odświeżany jest co miesiąc; porównuj podobne do podobnych
Mieszanie dostawców ocenBezsensowne trendyJródło na arkusz

Rozsądny kształt całej struktury

01

Przechowuj listę domen w jednym miejscu

Arkusz lub tabela. Jedna kolumna domen, nic więcej na początku.

02

Oceń listę za pomocą bulk_dr

Do 2000 domen w jednym wywołaniu, jeden kredyt. GET z domains= lub POST listy jako ciało, gdy jest długa.

03

Pobierz szczegóły tylko dla przetrwanych

Uruchom refdomains lub anchors dla najlepszej części. Dwa kredyty za wywołanie, do 1000 wierszy każde.

04

Przechowuj migawki, nie nadpisuj

Datuj każde pobranie. Trendy potrzebują historii.

05

Alert przy zmianie

Spadek DR o kilka punktów w domenie dostawcy wart jest wiadomości.

Arkusze Google i CORS

CORS jest otwarty, więc fragment przeglądarki lub Apps Script mogą wywoływać API bezpośrednio. Mały przykład funkcji komórki. Funkcja zwraca Domain Rating domeny w komórce.

javascript
function DR(domain){
  var url='https://seocheck.dev/api.php?action=domain&q='+encodeURIComponent(domain);
  var r=JSON.parse(UrlFetchApp.fetch(url).getContentText());
  return r.metrics.dr;
}
Solidny dąb z głębokimi korzeniami reprezentujący stabilne miesięczne aktualizacje

Świeżość i uczciwość

Indeks jest przebudowywany około raz w miesiącu na podstawie własnego crawlera. Oczekuj opóźnień. Dane starsze niż kilka tygodni są normalne. Nie planuj godzinnych pobrań; zwrócą to samo i zużyją kredyty.

Wybierz dzień po odświeżeniu, jeśli to możliwe. W przeciwnym razie uruchamiaj tego samego dnia każdego miesiąca i zaakceptuj małe opóźnienie.

Pełne pakiety słów kluczowych, codzienne crawle i śledzenie pozycji żyją gdzie indziej. Ahrefs i Semrush je pokrywają; przeczytaj porównanie kosztów przed zduplikowaniem czegokolwiek. Dokumentacja endpointów zawiera każdy parametr.

Cztery różne narzędzia na ławce reprezentujące modułowe etapy potoku

Projektowanie zadania, któremu możesz zaufać

Potok jest tylko tak dobry, jak jego najsłabsze uruchomienie. Zbuduj każde uruchomienie tak, aby zostawiało po sobie dowody, dzięki czemu zły miesiąc można wyjaśnić, a nie zgadywać. Dodatkowa praca jest niewielka. Oszczędza dużo argumentów później i oszczędza kredyty.

Myśl w czterech etapach: pobierz, zwaliduj, zapisz i alert. Zachowaj prostotę każdego etapu. Każdy etap powinien móc zawieść samodzielnie, a każdy błąd powinien wskazywać, który etap się zepsuł. Te same cztery etapy dotyczą dowolnego zadania API backlinków SEO, niezależnie od języka, w którym jest napisane.

Przechowuj surową odpowiedź przed jej przekształceniem

Zapisz JSON dokładnie tak, jak wrócił, z datą i parametrami wywołania w nazwie pliku lub wierszu nagłówkowym. Gdy w przyszłym kwartale liczba będzie wyglądać źle, możesz wrócić do tego, co faktycznie powiedziało API, a nie do arkusza, który ktoś edytował.

Pliki surowe kosztują mało w utrzymaniu. Arkusz, który został nadpisany trzy razy, nie powie Ci, co stało się w marcu.

Przechowuj dziennik uruchomień z liczbą wierszy i saldem

Każde uruchomienie powinno dodawać jedną linię do dziennika: czas rozpoczęcia, wykonane wywołania, zwrócone wiersze, wartość total i saldo z _credits. Dziennik to pierwsze miejsce, do którego warto zajrzeć, gdy liczba się zmienia.

Jeśli zwrócone wiersze nie pasują do total, uruchomienie jest niekompletne. Oznacz je jako nieudane, zachowaj częściowy plik i nie łącz go z trendem.

Oddziel ponowienia prób od ponownych uruchomień

Ponowienie powtarza wywołanie, które nie zwróciło odpowiedzi. Ponowne uruchomienie powtarza całe zadanie, które się zakończyło, ale musi zostać wykonane ponownie. Traktuj je inaczej, ponieważ ponowienie wywołania, które faktycznie się powiodło, może kosztować podwójnie.

Jeśli nie możesz stwierdzić, czy wywołanie się powiodło, przeczytaj dziennik przed ponownym wysłaniem. Ta jedna nawyk zapobiega większości niespodziewanych obciążeń.

Alert przy istotnych błędach

Alert jest użyteczny tylko wtedy, gdy ktoś na niego zareaguje. Wyślij go przy nieprawidłowym kluczu, pustym saldzie, liczbie wierszy niepasującej do total i koszcie znacznie przekraczającym spodziewaną kwotę. Pozbądź się rutynowych sukcesów z wiadomości, inaczej ludzie przestaną je czytać.

Harmonogramowanie bez marnowania kredytów

Harmonogram powinien podążać za danymi, a nie za zegarem. Zadanie uruchamiane co godzinę płaci za tę samą migawkę dwadzieścia cztery razy dziennie, dlatego rytm miesięczny ma tak duże znaczenie w tego rodzaju pracach.

Wybierz harmonogram raz i zapisz go. Zmiana go co miesiąc to sposób, w jaki linia trendu nabiera sztucznych skoków.

Miesięczny beatuje godzinowy dla tych danych

Indeks jest przebudowywany około raz w miesiącu. Pobrania częściej niż to zwrócą to samo i zużyją kredyty. Jeśli potrzebujesz dodatkowego uruchomienia, zrób je po znanym odświeżeniu, a nie w jego trakcie.

Jedno zadanie, wiele domen

Umieść wszystkie domeny na jednej liście i uruchom ocenę w jednym przejściu. Wywołanie bulk_dr obsługuje do 2000 domen za jeden kredyt, więc lista 1500 potencjalnych klientów kosztuje tyle samo, co lista dziesięciu. Podziel pracę tylko wtedy, gdy domena wymaga głębszych danych, takich jak refdomains.

Przechowuj listę w jednym miejscu. Dwie kopie listy domen rozjeżdżają się, a następnie Twój trend porównuje różne zestawy stron.

Kto powinien zarządzać zadaniem

Przypisz jedno zadanie jednemu właścicielowi, nawet jeśli działa na współdzielonym serwerze. Ktoś powinien odpowiadać, gdy zadzwoni alert, sprawdzić saldo i zdecydować, czy nieudany miesiąc wymaga ponownego uruchomienia. Bez właściciela zadanie, które kończy się cicho, może pozostać niezauważone przez kwartał. Zapisz imię właściciela w nagłówku dziennika, aby następna osoba wiedziała, kogo zapytać.

Przetestuj najpierw na małej liście

Gdy zmieniasz zadanie, uruchom je na pięciu domenach, zanim wskażesz mu pełną listę. Błąd w pętli ujawni się w kilka sekund na małej próbce, a w kredytach na dużej. Test na pięciu domenach kosztuje prawie nic. Pięć domen wystarczy, aby pokazać pętlę.

Przechowuj tę listę testową w repozytorium obok zadania, aby była taka sama przy każdym sprawdzaniu.

Kiedy potok jest niewłaściwą odpowiedzią

Potok zasługuje na miejsce, gdy potrzebujesz tych samych liczb ponownie i ponownie. Wybierz odpowiednie narzędzie. Dla jednego pytania ręczne pobranie jest często lepszym narzędziem. Bądź szczery co do tego, czego naprawdę potrzebujesz.

Drugim powodem do pominięcia potoku jest charakter pracy. Jeśli pytanie zmienia się co tydzień, ustalone zadanie będzie mierzyć coś innego.

Jednorazowy eksport to nie potok

Powiedz, że potrzebujesz domen odsyłających jednego rywala do jednego pitchu. Uruchom refdomains raz, zapisz plik i idź dalej. Zbudowanie zadania zaplanowanego dla tego celu doda utrzymanie bez dodania wiedzy.

Kiedy Twoje liczby spotykają inne dane

Dane linków odpowiadają na jeden rodzaj pytania. Jeśli musisz połączyć je z rankingami słów kluczowych, konwersjami lub logami połączeń, zachowaj join w swoim systemie i traktuj migawkę linków jako jedno źródło. Nie oczekuj, że API będzie przechowywać inne źródła dla Ciebie.

Zdecyduj, co przechowujesz i jak długo

Zdecyduj przed pierwszym uruchomieniem, które pola przechowujesz i jak długo trzymasz je po swojej stronie. Odfiltruj wiersze, których nie potrzebujesz. Mniejszy plik jest łatwiejszy do udostępnienia klientowi lub koledze i łatwiejszy do usunięcia po zakończeniu projektu.

Dokumentacja endpointów wymienia każde pole i koszt każdego wywołania, co ułatwia zapisanie tej decyzji.

Lista wstępna

  • Klucz przechowywany jako sekret, nie w repozytorium.
  • Pętla kończy się na liczbie wierszy, nie na nadziei.
  • HTTP 401 i 402 obsługiwane osobno.
  • Migawki datowane i przechowywane.
  • Jeden dostawca ocen na tabelę.
  • Harmonogram miesięczny, nie godzinowy.