Інженерія
Вставте дані посилань у конвеєр, не зламавши його
Отримати таблицю один раз — легко. Отримувати її щомісяця протягом року без тихих пропусків — це справжня робота.
Дослідницька команда SEOCheck ·

Щомісячна задача за дванадцять рядків
Python, тільки стандартна бібліотека. Скрипт перебирає реферуючі домени та зупиняється при гучній помилці. Кожна відповідь записує свої рядки в rows; додайте per (від 10 до 5000) для більших сторінок, і цикл завершиться, коли буде прочитано total рядків.
import json, urllib.request as u
KEY='sk_live_...'
def get(**p):
q='&'.join(f'{k}={v}' for k,v in p.items())
url=f'https://seocheck.dev/api.php?{q}&key={KEY}'
with u.urlopen(url) as r:
return json.load(r)
rows, page = [], 1
while True:
d = get(action='refdomains', q='example.com', page=page)
if not d['ok']: raise SystemExit(d)
rows += d['rows']
if not d['rows'] or len(rows) >= d['total']: break
page += 1
print(len(rows), 'of', d['total'], 'balance', d['_credits']['balance'])Чому завдання API зворотних посилань SEO завершуються тихо
Не з крахом. А з таблицею, в якій бракує останньої сторінки. Зазвичай причина в циклі, що завершується на підозрі, а не на підрахунку.
Перевіряйте три речі під час кожного запуску. Чи повернулося ok рівним true? Чи досягла кількість рядків total? Чи показав _credits очікуваний баланс? Якщо хоча б одна відповідь «ні», завершіть задачу з помилкою та повідомте когось.
Тихий успіх гірший за гучну невдачу. Задача, що завершується з неправильними рядками, виглядає здоровою, доки хтось не прочитає таблицю.
Ліміти швидкості та повільні відповіді мають менше значення тут, ніж у багатьох API. Щомісячну задачу можна просто повторити через годину. Важливо, щоб повторні спроби не стягували подвійну плату за запит, який уже успішний. Логуйте баланс _credits до і після кожного запуску та порівнюйте. Стрибок більший, ніж очікувана вартість задачі, означає, що щось зациклилося. Дослідіть це до наступного запуску.
Командам, які вже використовують Airflow або звичайний cron на маленькому сервері, не потрібне нічого нового. Підходить і розклад GitHub Actions. Структура залишається незмінною: отримати, перевірити, зберегти, сповістити. Перегляньте порівняння витрат, якщо ви зважуєте це проти експорту з повного набору інструментів.
Поширені помилки збору даних
| Пастка | Симптом | Виправлення |
|---|---|---|
| Фільтрація на стороні клієнта після пагінації | Повільні запуски, марні сторінки | Використовуйте sort та order на стороні сервера, потім відріжте |
| Пагінація за межами ліміту | Цикл ніколи не завершується | Глибока пагінація зупиняється на 50 000 рядків; плануйте це |
| Сприйняття HTTP 402 як помилки | Задача повторюється нескінченно | 402 означає, що закінчилися кредити; поповніть, не повторюйте |
| Сприйняття 401 як тимчасової помилки | Те саме | Невірний ключ; сповіщення та зупинка |
| Сліпе порівняння місяців | Фантомні втрати | Індекс оновлюється щомісяця; порівнюйте подібне з подібним |
| Змішування постачальників оцінок | Безглузді тренди | Один постачальник оцінок на таблицю |
Розумна структура для всієї системи
Тримайте список доменів в одному місці
Таблиця або база даних. Один стовпець доменів, нічого іншого спочатку.
Оцініть список за допомогою bulk_dr
До 2000 доменів за запит, один кредит. GET з domains= або POST списку як тіла запиту, коли він довгий.
Отримуйте деталі лише для тих, що вижили
Запустіть refdomains або anchors для верхньої частини. Два кредити за запит, до 1000 рядків кожен.
Зберігайте знімки, а не перезаписуйте
Датуйте кожен збір. Трендів потрібна історія.
Сповіщайте про зміни
Випадок падіння DR на кілька балів для домену постачальника вартий повідомлення.
Google Sheets та CORS
CORS відкритий, тому фрагмент браузера або Apps Script може викликати API напряму. Крихітний приклад для функції клітинки. Функція повертає Domain Rating домену в клітинці.
function DR(domain){
var url='https://seocheck.dev/api.php?action=domain&q='+encodeURIComponent(domain);
var r=JSON.parse(UrlFetchApp.fetch(url).getContentText());
return r.metrics.dr;
}
Свіжість та чесність
Індекс перебудовується приблизно раз на місяць з нашого власного краулера. Очікуйте затримки. Дані старші за кілька тижнів — це нормально. Не плануйте щогодинні збори; вони повертають те саме і коштують кредитів.
Обирайте день після оновлення, коли це можливо. Інакше запускайте в той самий день кожного місяця та приймайте невелику затримку.
Повні набори ключових слів, щоденні краули та відстеження позицій знаходяться десь інакше. Ahrefs та Semrush покривають їх; прочитайте порівняння витрат, перш ніж дублювати щось. Довідник ендпоінтів містить кожен параметр.

Проектування задачі так, щоб їй можна було довіряти
Конвеєр такий самий, як його найслабший запуск. Створіть кожен запуск так, щоб він залишав докази, щоб поганий місяць можна було пояснити, а не вгадати. Додаткова робота невелика. Вона економить багато суперечок пізніше, а також кредити.
Думайте в чотирьох етапах: отримати, перевірити, зберегти та сповістити. Зберігайте кожен етап простим. Кожен етап повинен мати можливість завершитися з помилкою самостійно, і кожна помилка повинна вказувати, який етап зламався. Ті ж чотири етапи застосовуються до будь-якої задачі API зворотних посилань SEO, незалежно від мови, якою ви її пишете.
Зберігайте сирі дані до їх трансформації
Збережіть JSON точно таким, яким він повернувся, з датою та параметрами запиту в імені файлу або в заголовному рядку. Коли наступного кварталу число здасться неправильним, ви зможете повернутися до того, що насправді сказала API, а не до таблиці, яку хтось редагував.
Сирі файли коштують мало для зберігання. Таблиця, яку перезаписали тричі, не розкаже вам, що сталося в березні.
Тримайте журнал запусків з кількістю рядків та балансом
Кожен запуск повинен додавати один рядок до журналу: час початку, виконані запити, повернені рядки, значення total та баланс з _credits. Журнал — це перше місце, куди варто подивитися, коли число змінюється.
Якщо повернені рядки не збігаються з total, запуск неповний. Позначте його як невдалий, збережіть частковий файл і не об'єднуйте його з трендом.
Відокремте повторні спроби від повторних запусків
Повторна спроба повторює запит, який не дав відповіді. Повторний запуск повторює всю задачу, яка завершилася, але потребує повторного виконання. Ставтеся до них по-різному, тому що повторна спроба запиту, який насправді успішний, може коштувати кредитів удвічі.
Якщо ви не можете визначити, чи успішний запит, прочитайте журнал перед повторним надсиланням. Ця одна звичка запобігає більшості несподіваних платежів.
Сповіщайте про важливі невдачі
Сповіщення корисне лише тоді, коли хтось діє на його основі. Надсилайте його для невдалого ключа, порожнього балансу, кількості рядків, що не збігається з total, та вартості, значно вищої за очікувану. Не включайте звичайні успіхи в повідомлення, інакше люди перестануть його читати.
Планування без марнування кредитів
Розклад повинен слідувати за даними, а не за годинником. Задача, що запускається щогодини, платить за той самий знімок двадцять чотири рази на день, тому щомісячний ритм так важливий для цього виду робіт.
Оберіть розклад один раз і запишіть його. Зміна його щомісяця — це те, як лінія тренду набирає штучні стрибки.
Щомісячний переважає щогодинний для цих даних
Індекс перебудовується приблизно раз на місяць. Збори частіше повертають те саме і коштують кредитів. Якщо вам потрібен додатковий запуск, зробіть його після відомого оновлення, а не в середині одного.
Одна задача, багато доменів
Помістіть кожен домен в один список і запустіть оцінювання за один прохід. Запит bulk_dr обробляє до 2000 доменів за один кредит, тому список із 1500 потенційних клієнтів коштує стільки ж, скільки список із десяти. Розділяйте роботу лише тоді, коли домену потрібні глибші дані, такі як refdomains.
Тримайте список в одному місці. Дві копії списку доменів розходяться, і тоді ваш тренд порівнює різні набори сайтів.
Хто повинен керувати задачею
Дайте задачі одного власця, навіть якщо вона запускається на спільному сервері. Хтось повинен відповідати, коли спрацює сповіщення, перевіряти баланс та вирішувати, чи потребує невдалий місяць повторного запуску. Без власця задача, що завершується тихо, може залишитися непомітною протягом кварталу. Напишіть ім'я власця в заголовку журналу, щоб наступна людина знала, до кого звертатися.
Протестуйте спочатку на маленькому списку
Коли ви змінюєте задачу, запустіть її на п'яти доменах, перш ніж направляти її на повний список. Помилка в циклі проявляється за секунди на маленькій вибірці та кредитами на великій. Тест на п'яти доменах коштує майже нічого. П'ять доменів достатньо, щоб показати цикл.
Тримайте цей тестовий список в репозиторії поруч із задачею, щоб він був однаковим кожного разу, коли ви перевіряєте.
Коли конвеєр — неправильна відповідь
Конвеєр заробляє своє місце, коли вам потрібні ті самі числа знову і знову. Оберіть правильний інструмент. Для одного питання ручний збір часто є кращим інструментом. Будьте чесні щодо того, який із двох вам насправді потрібен.
Інша причина пропустити конвеєр — форма роботи. Якщо питання змінюється щотижня, фіксована задача продовжуватиме вимірювати не те.
Разовий експорт — не конвеєр
Уявіть, що вам потрібні реферуючі домени одного конкурента для одного пітчу. Запустіть refdomains один раз, збережіть файл і йдіть далі. Створення планованої задачі для цього додасть обслуговування без додавання інсайтів.
Коли ваші числа зустрічаються з іншими даними
Дані посилань відповідають на один вид питань. Якщо вам потрібно приєднати їх до ключових слів, конверсій або журналів дзвінків, залишайте приєднання у своїй системі та тримайте знімок посилань як один із вхідних даних. Не очікуйте, що API триматиме для вас інші джерела.
Вирішіть, що ви зберігаєте та як довго
Вирішіть, перш ніж перший запуск, які поля ви зберігаєте та як довго ви їх тримаєте на своїй стороні. Відріжте рядки, які вам не потрібні. Менший файл легше поділитися з клієнтом або колегою, і легше видалити, коли проект завершується.
Довідник ендпоінтів перелічує кожне поле та вартість кожного запиту, що полегшує запис цього рішення.
Попередній список
- Ключ збережено як секрет, не в репозиторії.
- Цикл завершується за кількістю рядків, а не надією.
- HTTP 401 та 402 обробляються окремо.
- Знімки датовані та збережені.
- Один постачальник оцінок на таблицю.
- Щомісячний розклад, не щогодинний.