Инженерия
Внедрите данные ссылок в пайплайн без сбоев
Загрузить таблицу один раз — легко. Загружать её каждый месяц в течение года без скрытых пробелов — вот настоящая работа.
Исследовательская команда SEOCheck ·

Ежемесячная задача за двенадцать строк
Python, только стандартная библиотека. Она проходит по страницам ссылающихся доменов и останавливается при явной ошибке. Каждый ответ добавляет свои строки в rows; добавьте per (от 10 до 5000) для больших страниц, и цикл остановится, как только будет прочитано total строк.
import json, urllib.request as u
KEY='sk_live_...'
def get(**p):
q='&'.join(f'{k}={v}' for k,v in p.items())
url=f'https://seocheck.dev/api.php?{q}&key={KEY}'
with u.urlopen(url) as r:
return json.load(r)
rows, page = [], 1
while True:
d = get(action='refdomains', q='example.com', page=page)
if not d['ok']: raise SystemExit(d)
rows += d['rows']
if not d['rows'] or len(rows) >= d['total']: break
page += 1
print(len(rows), 'of', d['total'], 'balance', d['_credits']['balance'])Почему задачи API обратных ссылок SEO завершаются тихо
Не с крашем. А с таблицей, в которой отсутствует последняя страница. Обычная причина — цикл, который завершается по догадке, а не по подсчёту.
Проверяйте три вещи при каждом запуске. Вернулось ли ok как true? Достигла ли строка total? Показал ли _credits ожидаемый баланс? Если любой ответ — нет, завершите задачу и сообщите об этом.
Тихий успех хуже громкого сбоя. Задача, которая завершается с неверным количеством строк, выглядит здоровой, пока кто-то не прочитает таблицу.
Лимиты частоты запросов и медленные ответы здесь менее важны, чем во многих API. Ежемесячную задачу можно просто повторить через час. Главное, чтобы повторные вызовы не списывали кредит дважды за уже успешный запрос. Логируйте баланс _credits до и после каждого запуска и сравнивайте. Скачок, превышающий ожидаемую стоимость задачи, означает, что цикл зациклился. Изучите это перед следующим запуском.
Командам, которые уже используют Airflow или обычный cron на небольшом сервере, не нужно ничего нового. Подойдёт и расписание GitHub Actions. Структура остаётся прежней: получить, проверить, сохранить, оповестить. См. сравнение стоимости, если вы сравниваете это с экспортом из полного набора инструментов.
Типичные ошибки при сборе данных
| Ошибка | Симптом | Решение |
|---|---|---|
| Фильтрация на клиенте после пагинации | Медленные запуски, потраченные впустую страницы | Используйте sort и order на сервере, затем обрезайте |
| Пагинация за пределами лимита | Цикл никогда не заканчивается | Глубокая пагинация останавливается на 50 000 строк; учитывайте это |
| Восприятие HTTP 402 как бага | Задача бесконечно повторяется | 402 означает, что кредиты закончились; пополните баланс, не повторяйте запрос |
| Восприятие 401 как временной ошибки | То же самое | Неверный ключ; оповестите и остановите |
| Слепое сравнение месяцев | Фантомные падения | Индекс обновляется ежемесячно; сравнивайте сопоставимые данные |
| Смешивание поставщиков оценок | Бессмысленные тренды | Один источник на таблицу |
Разумная структура для всей системы
Храните список доменов в одном месте
Таблицу или базу данных. Один столбец с доменами, ничего лишнего на начальном этапе.
Оцените список с помощью bulk_dr
До 2000 доменов за вызов, один кредит. GET с параметром domains= или POST списка в теле запроса, если он длинный.
Загружайте детали только для оставшихся
Запустите refdomains или anchors для верхней части списка. Два кредита за вызов, до 1000 строк каждый.
Сохраняйте снимки, а не перезаписывайте
Датируйте каждый забор данных. Тренд требует истории.
Оповещайте об изменениях
Падение DR на несколько пунктов у домена поставщика оценки стоит сообщения.
Google Sheets и CORS
CORS открыт, поэтому сниппет в браузере или Apps Script может вызывать API напрямую. Небольшой пример для функции ячейки. Функция возвращает Domain Rating домена из ячейки.
function DR(domain){
var url='https://seocheck.dev/api.php?action=domain&q='+encodeURIComponent(domain);
var r=JSON.parse(UrlFetchApp.fetch(url).getContentText());
return r.metrics.dr;
}
Свежесть и честность
Индекс перестраивается примерно раз в месяц на основе нашего собственного краулера. Ожидайте задержку. Данные старше нескольких недель — это нормально. Не планируйте почасовые загрузки; они возвращают одни и те же данные и тратят кредиты.
Выберите день после обновления, если возможно. В противном случае запускайте в один и тот же день каждый месяц и принимайте небольшую задержку.
Полные наборы ключевых слов, ежедневные краулы и отслеживание позиций находятся в других сервисах. Ahrefs и Semrush покрывают их; прочитайте сравнение стоимости, прежде чем дублировать что-либо. В справочнике по эндпоинтам указаны все параметры.

Проектирование задачи, которой можно доверять
Пайплайн не лучше своего самого слабого запуска. Настройте каждый запуск так, чтобы он оставлял следы, чтобы плохой месяц можно было объяснить, а не гадать. Дополнительные усилия невелики. Они экономят много споров позже и тоже экономят кредиты.
Думайте в четыре этапа: получить, проверить, сохранить и оповестить. Держите каждый этап простым. Каждый этап должен иметь возможность завершиться с ошибкой независимо, и каждый сбой должен указывать, какой этап сломался. Те же четыре этапа применимы к любой задаче API обратных ссылок SEO, независимо от языка программирования.
Сохраняйте сырой ответ до его преобразования
Сохраните JSON точно таким, каким он вернулся, с датой и параметрами вызова в имени файла или в заголовочной строке. Когда через квартал какое-то число покажется неверным, вы сможете вернуться к тому, что на самом деле сказала API, а не к таблице, которую кто-то редактировал.
Сырые файлы стоят мало для хранения. Таблица, которую перезаписывали три раза, не расскажет вам, что произошло в марте.
Ведите журнал запусков с количеством строк и балансом
Каждый запуск должен добавлять одну строку в журнал: время начала, выполненные вызовы, возвращённые строки, значение total и баланс из _credits. Журнал — это первое место, куда нужно смотреть, когда число меняется.
Если возвращённые строки не совпадают с total, запуск неполный. Отметьте его как неудачный, сохраните частичный файл и не объединяйте его с трендом.
Разделяйте повторные вызовы и повторные запуски
Повторный вызов (retry) повторяет запрос, который не дал ответа. Повторный запуск (rerun) повторяет всю задачу, которая завершилась, но требует повторного выполнения. Относитесь к ним по-разному, потому что повторный вызов запроса, который на самом деле был успешным, может стоить кредитов дважды.
Если вы не можете определить, был ли запрос успешным, прочитайте журнал перед повторной отправкой. Эта привычка предотвращает большинство неожиданных списаний.
Оповещайте о значимых сбоях
Оповещение полезно только тогда, когда кто-то реагирует на него. Отправляйте его при сбое ключа, пустом балансе, количестве строк, не совпадающем с total, и стоимости, значительно превышающей ожидаемую. Не включайте в сообщение рутинные успехи, иначе люди перестанут его читать.
Планирование без траты кредитов
Расписание должно следовать за данными, а не за часами. Задача, которая запускается каждый час, платит за один и тот же снимок двадцать четыре раза в день, поэтому месячный ритм так важен для этой работы.
Выберите расписание один раз и запишите его. Изменение его каждый месяц — это то, как тренд приобретает искусственные скачки.
Ежемесячное обновление лучше почасового для этих данных
Индекс перестраивается примерно раз в месяц. Запросы чаще этого возвращают одни и те же данные и тратят кредиты. Если вам нужен дополнительный запуск, делайте его после известного обновления, а не посреди него.
Одна задача, много доменов
Поместите все домены в один список и запустите оценку за один проход. Вызов bulk_dr обрабатывает до 2000 доменов за один кредит, поэтому список из 1500 потенциальных клиентов стоит столько же, сколько список из десяти. Разделяйте работу только тогда, когда домену нужны более глубокие данные, такие как refdomains.
Храните список в одном месте. Две копии списка доменов расходятся, и тогда ваш тренд сравнивает разные наборы сайтов.
Кто должен управлять задачей
Назначьте одному владельцу задачу, даже если она запускается на общем сервере. Кто-то должен отвечать, когда срабатывает оповещение, проверять баланс и решать, нужно ли перезапускать задачу после неудачного месяца. Без владельца тихий сбой задачи может остаться незамеченным в течение квартала. Запишите имя владельца в заголовок журнала, чтобы следующий человек знал, к кому обратиться.
Сначала протестируйте на небольшом списке
Когда вы меняете задачу, запустите её на пяти доменах, прежде чем направлять её на полный список. Ошибка в цикле проявится за секунды на малой выборке и за кредиты на большой. Тест на пяти доменах стоит почти ничего. Пяти доменов достаточно, чтобы показать зацикливание.
Храните этот тестовый список в репозитории рядом с задачей, чтобы он был одинаковым каждый раз, когда вы проверяете.
Когда пайплайн — неправильный ответ
Пайплайн оправдывает себя, когда вам нужны одни и те же числа снова и снова. Выберите правильный инструмент. Для одного вопроса ручной запрос часто является лучшим инструментом. Будьте честны в том, что вам на самом деле нужно.
Другая причина пропустить пайплайн — характер работы. Если вопрос меняется каждую неделю, фиксированная задача будет продолжать измерять не то.
Разовый экспорт — не пайплайн
Допустим, вам нужны ссылающиеся домены одного конкурента для одной презентации. Запустите refdomains один раз, сохраните файл и идите дальше. Создание запланированной задачи для этого добавит поддержку без добавления инсайтов.
Когда ваши числа встречаются с другими данными
Данные ссылок отвечают на один вид вопросов. Если вам нужно объединить их с ключевыми позициями, конверсиями или журналами звонков, держите объединение в своей системе и храните снимок ссылок как один из входных данных. Не ожидайте, что API будет хранить другие источники для вас.
Решите, что вы сохраняете и как долго
Решите перед первым запуском, какие поля вы сохраняете и как долго храните их на своей стороне. Удалите ненужные строки. Меньший файл легче передать клиенту или коллеге и легче удалить, когда проект завершится.
В справочнике по эндпоинтам перечислены все поля и стоимость каждого вызова, что упрощает принятие этого решения.
Предварительный список
- Ключ сохранён как секрет, а не в репозитории.
- Цикл заканчивается по количеству строк, а не на надежде.
- HTTP 401 и 402 обрабатываются отдельно.
- Снимки датированы и сохраняются.
- Один поставщик оценок на таблицу.
- Ежемесячное расписание, а не почасовое.