工程
将链接数据导入管道而不使其失效
一次性拉取表格很容易。每月拉取一次,持续一年且没有静默缺失,才是真正的挑战。
SEOCheck 研究团队 ·

十二行代码实现月度任务
仅使用 Python 标准库。它会分页获取引用域名,并在出现明显错误时停止。每个响应将其行放入 rows 中;添加 per(10 到 5000)以获取更大的页面,当读取完 total 行后循环停止。
import json, urllib.request as u
KEY='sk_live_...'
def get(**p):
q='&'.join(f'{k}={v}' for k,v in p.items())
url=f'https://seocheck.dev/api.php?{q}&key={KEY}'
with u.urlopen(url) as r:
return json.load(r)
rows, page = [], 1
while True:
d = get(action='refdomains', q='example.com', page=page)
if not d['ok']: raise SystemExit(d)
rows += d['rows']
if not d['rows'] or len(rows) >= d['total']: break
page += 1
print(len(rows), 'of', d['total'], 'balance', d['_credits']['balance'])SEO 外链 API 任务为何静默失败
不是崩溃,而是表格缺少最后一页。通常原因是循环基于猜测而非计数结束。
每次运行时检查三件事。ok 返回 true 了吗?行数达到 total 了吗?_credits 显示了你预期的余额吗?如果任何一项为否,则任务失败并通知相关人员。
静默成功比大声失败更糟糕。一个行数错误的任务看起来运行正常,直到有人查看电子表格。
速率限制和慢响应在此处比在许多 API 中影响更小。月度任务只需在一小时后重试即可。重要的是,重试不应为已成功的调用重复收费。记录每次运行前后的 _credits 余额并进行比较。如果余额下降幅度大于任务预期成本,意味着循环重复执行。在下一次运行前调查此问题。
已经运行 Airflow 或在小型服务器上运行普通 cron 的团队不需要任何新工具。GitHub Actions 调度也可以。流程保持不变:获取、验证、存储、警报。如果你正在将其与套件导出进行比较,请参阅成本对比。
常见的摄入陷阱
| 陷阱 | 症状 | 修复方法 |
|---|---|---|
| 分页后在客户端过滤 | 运行缓慢,浪费页面 | 在服务器端使用 sort 和 order,然后截断 |
| 超出上限的分页 | 循环永不结束 | 深度分页在 50,000 行处停止;需为此做计划 |
| 将 HTTP 402 视为错误 | 任务无限重试 | 402 表示积分耗尽;充值,不要重试 |
| 将 401 视为临时错误 | 同上 | 密钥错误;警报并停止 |
| 盲目比较月份 | 幽灵式下降 | 索引每月刷新;同类比较 |
| 混合分数供应商 | 无意义的趋势 | 每个电子表格一个来源 |
整体合理的结构
在一个地方维护域名列表
一个电子表格或一个表。第一列只放域名,不要有其他内容。
使用 bulk_dr 对列表进行评分
每次调用最多 2,000 个域名,消耗一个积分。GET 请求使用 domains= 参数,或在列表较长时 POST 列表作为请求体。
仅对幸存者拉取详细信息
对顶部切片运行 refdomains 或 anchors。每次调用消耗两个积分,每个调用最多返回 1,000 行。
存储快照,而非覆盖
每次拉取都标记日期。趋势需要历史数据。
变更时发出警报
供应商域名的 DR 下降几个点就值得发送一条消息。
Google Sheets 和 CORS
CORS 已开放,因此浏览器片段或 Apps Script 可以直接调用 API。单元格函数的一个简单示例。该函数返回单元格中域名的域名评级。
function DR(domain){
var url='https://seocheck.dev/api.php?action=domain&q='+encodeURIComponent(domain);
var r=JSON.parse(UrlFetchApp.fetch(url).getContentText());
return r.metrics.dr;
}
新鲜度与诚实
索引大约每月从我们自己的爬虫重新构建一次。预期会有延迟。几周前的数据是正常的。不要安排每小时拉取;它们返回相同的内容并消耗积分。
如果可能,选择在刷新后的第二天运行。否则,每月在同一天运行并接受小幅延迟。
完整的关键词套件、每日爬取和排名追踪位于其他地方。Ahrefs 和 Semrush 覆盖这些功能;在复制任何内容之前,请阅读成本对比。端点参考列出了所有参数。

设计任务以确保其可信
管道的质量取决于其最弱的一次运行。构建每次运行以留下证据,以便在出现糟糕的月份时能够解释而非猜测。额外的工作量很小。它能节省大量后续的争论,也能节省积分。
思考四个阶段:获取、验证、存储和警报。保持每个阶段简单。每个阶段应能独立失败,每次失败都应说明是哪个阶段出了问题。这四个阶段适用于任何语言编写的 seo backlink api 任务。
在转换之前存储原始响应
按原样保存返回的 JSON,并在文件名或标题行中包含日期和调用参数。当下一个季度某个数字看起来不正确时,你可以回溯到 API 实际返回的内容,而不是某人编辑过的电子表格。
保留原始文件的成本很低。被覆盖三次的电子表格无法告诉你三月发生了什么。
保留包含行数和余额的运行日志
每次运行应在日志中添加一行:开始时间、进行的调用、返回的行数、total 值以及来自 _credits 的余额。当数字发生变化时,日志是首先要查看的地方。
如果返回的行数与 total 不匹配,则运行不完整。将其标记为失败,保留部分文件,不要将其合并到趋势中。
将重试与重运行分开
重试是重复一次未得到响应的调用。重运行是重复一个已完成但需要重新执行的任务。区别对待它们,因为对实际成功的调用进行重试可能会双倍消耗积分。
如果你无法确定调用是否成功,请在再次发送之前读取日志。这一习惯可以防止大多数意外费用。
对重要的失败发出警报
只有当有人采取行动时,警报才有用。对密钥失败、余额为空、行数与 total 不匹配以及成本远高于预期值的情况发送警报。将常规成功排除在消息之外,否则人们将不再阅读它。
在不浪费积分的情况下调度
调度应跟随数据,而不是时钟。每小时运行的任务每天为相同的快照支付二十四次费用,这就是为什么月度节奏对此类工作如此重要。
选择一次调度并记录下来。每月更改调度是趋势线出现人工阶梯的原因。
月度优于小时
索引大约每月重新构建一次。更频繁的拉取返回相同的内容并消耗积分。如果需要额外运行,请在已知的刷新之后进行,而不是在刷新中间进行。
一个任务,多个域名
将所有域名放入单个列表,并一次性运行评分。bulk_dr 调用每次可处理多达 2,000 个域名,消耗一个积分,因此 1,500 个潜在客户的列表成本与十个客户的列表相同。仅当域名需要更深层次的数据(如 refdomains)时才拆分工作。
将列表保存在一个地方。域名列表的两个副本会偏离,然后你的趋势会比较不同的网站集合。
谁应拥有该任务
即使任务在共享服务器上运行,也指定一个所有者。当警报触发时,应有人负责回答、检查余额并决定失败的月份是否需要重运行。如果没有所有者,静默失败的任务可能会在季度内未被发现。在日志标题中写下所有者的名字,以便下一个人知道该问谁。
先在小型列表上测试
更改任务时,在将其指向完整列表之前,先在五个域名上运行。循环中的错误在小样本上几秒钟内就会显现,而在大样本上则会消耗积分。五个域名的测试成本几乎为零。五个域名足以展示循环。
将测试列表保留在存储库中任务旁边,以便每次检查时保持一致。
当管道不是正确答案时
当你需要反复获取相同的数字时,管道才值得拥有。选择合适的工具。对于单个问题,手动拉取通常是更好的工具。诚实地评估你实际需要的工具。
跳过管道的另一个原因是工作的性质。如果问题每周都在变化,固定的任务将不断测量错误的东西。
一次性导出不是管道
假设你需要一个竞争对手的引用域名用于单次演示。运行一次 refdomains,保存文件并继续。为此构建计划任务会增加维护成本而不会增加洞察力。
当你的数字与其他数据相遇时
链接数据回答一类问题。如果需要将其与关键词排名、转化或通话日志连接,请在自己的系统中进行连接,并将链接快照作为一个输入。不要期望 API 为你保存其他来源。
决定保留什么,以及保留多久
在第一次运行之前,决定存储哪些字段以及在你的端保留多久。修剪不需要的行。较小的文件更容易与客户或同事共享,在项目结束时也更容易删除。
端点参考列出了每个字段和每次调用的成本,这使得更容易记录此决定。
预飞行清单
- 密钥存储为秘密,不在存储库中。
- 循环基于行数结束,而非希望。
- HTTP 401 和 402 分别处理。
- 快照已标记日期并保留。
- 每个表一个分数供应商。
- 月度调度,而非小时。