Inżynieria
Umieść dane linków w potoku, nie zaburzając jego działania
Pobranie tabeli raz jest łatwe. Pobieranie jej co miesiąc przez rok bez cichych luk to prawdziwe wyzwanie.
Zespół badawczy SEOCheck ·

Miesięczne zadanie w dwunastu liniach
Python, tylko biblioteka standardowa. Przechodzi przez domeny odsyłające i zatrzymuje się przy głośnym błędzie. Każda odpowiedź umieszcza swoje wiersze w rows; dodaj per (od 10 do 5000) dla większych stron, a pętla zatrzyma się, gdy odczyta total wierszy.
import json, urllib.request as u
KEY='sk_live_...'
def get(**p):
q='&'.join(f'{k}={v}' for k,v in p.items())
url=f'https://seocheck.dev/api.php?{q}&key={KEY}'
with u.urlopen(url) as r:
return json.load(r)
rows, page = [], 1
while True:
d = get(action='refdomains', q='example.com', page=page)
if not d['ok']: raise SystemExit(d)
rows += d['rows']
if not d['rows'] or len(rows) >= d['total']: break
page += 1
print(len(rows), 'of', d['total'], 'balance', d['_credits']['balance'])Dlaczego zadania API backlinków SEO kończą się cicho
Nie awarią. Tabele brakuje ostatniej strony. Najczęstszą przyczyną jest pętla, która kończy się na zgadowaniu, a nie na liczniku.
Sprawdzaj trzy rzeczy przy każdym uruchomieniu. Czy ok zwróciło true? Czy liczba wierszy osiągnęła total? Czy _credits pokazało spodziewane saldo? Jeśli którakolwiek odpowiedź brzmi „nie”, oznacz zadanie jako nieudane i powiadom odpowiednią osobę.
Ciche sukcesy są gorsze niż głośne porażki. Zadanie, które kończy się niewłaściwą liczbą wierszy, wygląda na zdrowe, dopóki ktoś nie przeczyta arkusza.
Limity szybkości i wolne odpowiedzi mają mniejsze znaczenie w tym przypadku niż w wielu innych API. Miesięczne zadanie może po prostu ponowić próbę godzinę później. Ważne jest, aby ponowienia nie obciążały Cię podwójnie za wywołanie, które już się powiodło. Zaloguj saldo _credits przed i po każdym uruchomieniu i porównaj je. Skok większy niż przewidywany koszt zadania oznacza, że coś się zapętliło. Zbadaj to przed kolejnym uruchomieniem.
Zespoły, które już uruchamiają Airflow lub zwykłego crona na małym serwerze, nie potrzebują niczego nowego. Działa też harmonogram GitHub Actions. Struktura pozostaje ta sama: pobierz, zwaliduj, zapisz, alert. Zobacz porównanie kosztów, jeśli rozważasz to w porównaniu do eksportu z pakietu narzędzi.
Typowe pułapki pobierania danych
| Pułapka | Objaw | Rozwiązanie |
|---|---|---|
| Filtrowanie po stronie klienta po paginacji | Wolne uruchomienia, zmarnowane strony | Użyj sort i order po stronie serwera, a następnie odfiltruj |
| Paginacja poza limitem | Pętla nigdy się nie kończy | Głęboka paginacja zatrzymuje się na 50 000 wierszy; zaplanuj to |
| Traktowanie HTTP 402 jako błędu | Zadanie ponawia próbę w nieskończoność | 402 oznacza wyczerpanie kredytów; doładuj, nie ponawiaj |
| Traktowanie 401 jako przejściowego | To samo | Nieprawidłowy klucz; alert i zatrzymanie |
| Ślepe porównywanie miesięcy | Fantomowe spadki | Indeks odświeżany jest co miesiąc; porównuj podobne do podobnych |
| Mieszanie dostawców ocen | Bezsensowne trendy | Jródło na arkusz |
Rozsądny kształt całej struktury
Przechowuj listę domen w jednym miejscu
Arkusz lub tabela. Jedna kolumna domen, nic więcej na początku.
Oceń listę za pomocą bulk_dr
Do 2000 domen w jednym wywołaniu, jeden kredyt. GET z domains= lub POST listy jako ciało, gdy jest długa.
Pobierz szczegóły tylko dla przetrwanych
Uruchom refdomains lub anchors dla najlepszej części. Dwa kredyty za wywołanie, do 1000 wierszy każde.
Przechowuj migawki, nie nadpisuj
Datuj każde pobranie. Trendy potrzebują historii.
Alert przy zmianie
Spadek DR o kilka punktów w domenie dostawcy wart jest wiadomości.
Arkusze Google i CORS
CORS jest otwarty, więc fragment przeglądarki lub Apps Script mogą wywoływać API bezpośrednio. Mały przykład funkcji komórki. Funkcja zwraca Domain Rating domeny w komórce.
function DR(domain){
var url='https://seocheck.dev/api.php?action=domain&q='+encodeURIComponent(domain);
var r=JSON.parse(UrlFetchApp.fetch(url).getContentText());
return r.metrics.dr;
}
Świeżość i uczciwość
Indeks jest przebudowywany około raz w miesiącu na podstawie własnego crawlera. Oczekuj opóźnień. Dane starsze niż kilka tygodni są normalne. Nie planuj godzinnych pobrań; zwrócą to samo i zużyją kredyty.
Wybierz dzień po odświeżeniu, jeśli to możliwe. W przeciwnym razie uruchamiaj tego samego dnia każdego miesiąca i zaakceptuj małe opóźnienie.
Pełne pakiety słów kluczowych, codzienne crawle i śledzenie pozycji żyją gdzie indziej. Ahrefs i Semrush je pokrywają; przeczytaj porównanie kosztów przed zduplikowaniem czegokolwiek. Dokumentacja endpointów zawiera każdy parametr.

Projektowanie zadania, któremu możesz zaufać
Potok jest tylko tak dobry, jak jego najsłabsze uruchomienie. Zbuduj każde uruchomienie tak, aby zostawiało po sobie dowody, dzięki czemu zły miesiąc można wyjaśnić, a nie zgadywać. Dodatkowa praca jest niewielka. Oszczędza dużo argumentów później i oszczędza kredyty.
Myśl w czterech etapach: pobierz, zwaliduj, zapisz i alert. Zachowaj prostotę każdego etapu. Każdy etap powinien móc zawieść samodzielnie, a każdy błąd powinien wskazywać, który etap się zepsuł. Te same cztery etapy dotyczą dowolnego zadania API backlinków SEO, niezależnie od języka, w którym jest napisane.
Przechowuj surową odpowiedź przed jej przekształceniem
Zapisz JSON dokładnie tak, jak wrócił, z datą i parametrami wywołania w nazwie pliku lub wierszu nagłówkowym. Gdy w przyszłym kwartale liczba będzie wyglądać źle, możesz wrócić do tego, co faktycznie powiedziało API, a nie do arkusza, który ktoś edytował.
Pliki surowe kosztują mało w utrzymaniu. Arkusz, który został nadpisany trzy razy, nie powie Ci, co stało się w marcu.
Przechowuj dziennik uruchomień z liczbą wierszy i saldem
Każde uruchomienie powinno dodawać jedną linię do dziennika: czas rozpoczęcia, wykonane wywołania, zwrócone wiersze, wartość total i saldo z _credits. Dziennik to pierwsze miejsce, do którego warto zajrzeć, gdy liczba się zmienia.
Jeśli zwrócone wiersze nie pasują do total, uruchomienie jest niekompletne. Oznacz je jako nieudane, zachowaj częściowy plik i nie łącz go z trendem.
Oddziel ponowienia prób od ponownych uruchomień
Ponowienie powtarza wywołanie, które nie zwróciło odpowiedzi. Ponowne uruchomienie powtarza całe zadanie, które się zakończyło, ale musi zostać wykonane ponownie. Traktuj je inaczej, ponieważ ponowienie wywołania, które faktycznie się powiodło, może kosztować podwójnie.
Jeśli nie możesz stwierdzić, czy wywołanie się powiodło, przeczytaj dziennik przed ponownym wysłaniem. Ta jedna nawyk zapobiega większości niespodziewanych obciążeń.
Alert przy istotnych błędach
Alert jest użyteczny tylko wtedy, gdy ktoś na niego zareaguje. Wyślij go przy nieprawidłowym kluczu, pustym saldzie, liczbie wierszy niepasującej do total i koszcie znacznie przekraczającym spodziewaną kwotę. Pozbądź się rutynowych sukcesów z wiadomości, inaczej ludzie przestaną je czytać.
Harmonogramowanie bez marnowania kredytów
Harmonogram powinien podążać za danymi, a nie za zegarem. Zadanie uruchamiane co godzinę płaci za tę samą migawkę dwadzieścia cztery razy dziennie, dlatego rytm miesięczny ma tak duże znaczenie w tego rodzaju pracach.
Wybierz harmonogram raz i zapisz go. Zmiana go co miesiąc to sposób, w jaki linia trendu nabiera sztucznych skoków.
Miesięczny beatuje godzinowy dla tych danych
Indeks jest przebudowywany około raz w miesiącu. Pobrania częściej niż to zwrócą to samo i zużyją kredyty. Jeśli potrzebujesz dodatkowego uruchomienia, zrób je po znanym odświeżeniu, a nie w jego trakcie.
Jedno zadanie, wiele domen
Umieść wszystkie domeny na jednej liście i uruchom ocenę w jednym przejściu. Wywołanie bulk_dr obsługuje do 2000 domen za jeden kredyt, więc lista 1500 potencjalnych klientów kosztuje tyle samo, co lista dziesięciu. Podziel pracę tylko wtedy, gdy domena wymaga głębszych danych, takich jak refdomains.
Przechowuj listę w jednym miejscu. Dwie kopie listy domen rozjeżdżają się, a następnie Twój trend porównuje różne zestawy stron.
Kto powinien zarządzać zadaniem
Przypisz jedno zadanie jednemu właścicielowi, nawet jeśli działa na współdzielonym serwerze. Ktoś powinien odpowiadać, gdy zadzwoni alert, sprawdzić saldo i zdecydować, czy nieudany miesiąc wymaga ponownego uruchomienia. Bez właściciela zadanie, które kończy się cicho, może pozostać niezauważone przez kwartał. Zapisz imię właściciela w nagłówku dziennika, aby następna osoba wiedziała, kogo zapytać.
Przetestuj najpierw na małej liście
Gdy zmieniasz zadanie, uruchom je na pięciu domenach, zanim wskażesz mu pełną listę. Błąd w pętli ujawni się w kilka sekund na małej próbce, a w kredytach na dużej. Test na pięciu domenach kosztuje prawie nic. Pięć domen wystarczy, aby pokazać pętlę.
Przechowuj tę listę testową w repozytorium obok zadania, aby była taka sama przy każdym sprawdzaniu.
Kiedy potok jest niewłaściwą odpowiedzią
Potok zasługuje na miejsce, gdy potrzebujesz tych samych liczb ponownie i ponownie. Wybierz odpowiednie narzędzie. Dla jednego pytania ręczne pobranie jest często lepszym narzędziem. Bądź szczery co do tego, czego naprawdę potrzebujesz.
Drugim powodem do pominięcia potoku jest charakter pracy. Jeśli pytanie zmienia się co tydzień, ustalone zadanie będzie mierzyć coś innego.
Jednorazowy eksport to nie potok
Powiedz, że potrzebujesz domen odsyłających jednego rywala do jednego pitchu. Uruchom refdomains raz, zapisz plik i idź dalej. Zbudowanie zadania zaplanowanego dla tego celu doda utrzymanie bez dodania wiedzy.
Kiedy Twoje liczby spotykają inne dane
Dane linków odpowiadają na jeden rodzaj pytania. Jeśli musisz połączyć je z rankingami słów kluczowych, konwersjami lub logami połączeń, zachowaj join w swoim systemie i traktuj migawkę linków jako jedno źródło. Nie oczekuj, że API będzie przechowywać inne źródła dla Ciebie.
Zdecyduj, co przechowujesz i jak długo
Zdecyduj przed pierwszym uruchomieniem, które pola przechowujesz i jak długo trzymasz je po swojej stronie. Odfiltruj wiersze, których nie potrzebujesz. Mniejszy plik jest łatwiejszy do udostępnienia klientowi lub koledze i łatwiejszy do usunięcia po zakończeniu projektu.
Dokumentacja endpointów wymienia każde pole i koszt każdego wywołania, co ułatwia zapisanie tej decyzji.
Lista wstępna
- Klucz przechowywany jako sekret, nie w repozytorium.
- Pętla kończy się na liczbie wierszy, nie na nadziei.
- HTTP 401 i 402 obsługiwane osobno.
- Migawki datowane i przechowywane.
- Jeden dostawca ocen na tabelę.
- Harmonogram miesięczny, nie godzinowy.