跳过内容
SEOCheck领取 $100 免费额度

工程

将链接数据导入管道而不使其失效

一次性拉取表格很容易。每月拉取一次,持续一年且没有静默缺失,才是真正的挑战。

SEOCheck 研究团队 ·

流经岩石的水管系统,展示可靠的数据管道

十二行代码实现月度任务

仅使用 Python 标准库。它会分页获取引用域名,并在出现明显错误时停止。每个响应将其行放入 rows 中;添加 per(10 到 5000)以获取更大的页面,当读取完 total 行后循环停止。

python
import json, urllib.request as u
KEY='sk_live_...'
def get(**p):
    q='&'.join(f'{k}={v}' for k,v in p.items())
    url=f'https://seocheck.dev/api.php?{q}&key={KEY}'
    with u.urlopen(url) as r:
        return json.load(r)
rows, page = [], 1
while True:
    d = get(action='refdomains', q='example.com', page=page)
    if not d['ok']: raise SystemExit(d)
    rows += d['rows']
    if not d['rows'] or len(rows) >= d['total']: break
    page += 1
print(len(rows), 'of', d['total'], 'balance', d['_credits']['balance'])

SEO 外链 API 任务为何静默失败

不是崩溃,而是表格缺少最后一页。通常原因是循环基于猜测而非计数结束。

每次运行时检查三件事。ok 返回 true 了吗?行数达到 total 了吗?_credits 显示了你预期的余额吗?如果任何一项为否,则任务失败并通知相关人员。

静默成功比大声失败更糟糕。一个行数错误的任务看起来运行正常,直到有人查看电子表格。

速率限制和慢响应在此处比在许多 API 中影响更小。月度任务只需在一小时后重试即可。重要的是,重试不应为已成功的调用重复收费。记录每次运行前后的 _credits 余额并进行比较。如果余额下降幅度大于任务预期成本,意味着循环重复执行。在下一次运行前调查此问题。

已经运行 Airflow 或在小型服务器上运行普通 cron 的团队不需要任何新工具。GitHub Actions 调度也可以。流程保持不变:获取、验证、存储、警报。如果你正在将其与套件导出进行比较,请参阅成本对比。

常见的摄入陷阱

陷阱症状修复方法
分页后在客户端过滤运行缓慢,浪费页面在服务器端使用 sort 和 order,然后截断
超出上限的分页循环永不结束深度分页在 50,000 行处停止;需为此做计划
将 HTTP 402 视为错误任务无限重试402 表示积分耗尽;充值,不要重试
将 401 视为临时错误同上密钥错误;警报并停止
盲目比较月份幽灵式下降索引每月刷新;同类比较
混合分数供应商无意义的趋势每个电子表格一个来源

整体合理的结构

01

在一个地方维护域名列表

一个电子表格或一个表。第一列只放域名,不要有其他内容。

02

使用 bulk_dr 对列表进行评分

每次调用最多 2,000 个域名,消耗一个积分。GET 请求使用 domains= 参数,或在列表较长时 POST 列表作为请求体。

03

仅对幸存者拉取详细信息

对顶部切片运行 refdomains 或 anchors。每次调用消耗两个积分,每个调用最多返回 1,000 行。

04

存储快照,而非覆盖

每次拉取都标记日期。趋势需要历史数据。

05

变更时发出警报

供应商域名的 DR 下降几个点就值得发送一条消息。

Google Sheets 和 CORS

CORS 已开放,因此浏览器片段或 Apps Script 可以直接调用 API。单元格函数的一个简单示例。该函数返回单元格中域名的域名评级。

javascript
function DR(domain){
  var url='https://seocheck.dev/api.php?action=domain&q='+encodeURIComponent(domain);
  var r=JSON.parse(UrlFetchApp.fetch(url).getContentText());
  return r.metrics.dr;
}
根系深厚的坚固橡树,代表稳定的月度更新

新鲜度与诚实

索引大约每月从我们自己的爬虫重新构建一次。预期会有延迟。几周前的数据是正常的。不要安排每小时拉取;它们返回相同的内容并消耗积分。

如果可能,选择在刷新后的第二天运行。否则,每月在同一天运行并接受小幅延迟。

完整的关键词套件、每日爬取和排名追踪位于其他地方。Ahrefs 和 Semrush 覆盖这些功能;在复制任何内容之前,请阅读成本对比。端点参考列出了所有参数。

工作台上四种不同的工具,代表模块化的管道阶段

设计任务以确保其可信

管道的质量取决于其最弱的一次运行。构建每次运行以留下证据,以便在出现糟糕的月份时能够解释而非猜测。额外的工作量很小。它能节省大量后续的争论,也能节省积分。

思考四个阶段:获取、验证、存储和警报。保持每个阶段简单。每个阶段应能独立失败,每次失败都应说明是哪个阶段出了问题。这四个阶段适用于任何语言编写的 seo backlink api 任务。

在转换之前存储原始响应

按原样保存返回的 JSON,并在文件名或标题行中包含日期和调用参数。当下一个季度某个数字看起来不正确时,你可以回溯到 API 实际返回的内容,而不是某人编辑过的电子表格。

保留原始文件的成本很低。被覆盖三次的电子表格无法告诉你三月发生了什么。

保留包含行数和余额的运行日志

每次运行应在日志中添加一行:开始时间、进行的调用、返回的行数、total 值以及来自 _credits 的余额。当数字发生变化时,日志是首先要查看的地方。

如果返回的行数与 total 不匹配,则运行不完整。将其标记为失败,保留部分文件,不要将其合并到趋势中。

将重试与重运行分开

重试是重复一次未得到响应的调用。重运行是重复一个已完成但需要重新执行的任务。区别对待它们,因为对实际成功的调用进行重试可能会双倍消耗积分。

如果你无法确定调用是否成功,请在再次发送之前读取日志。这一习惯可以防止大多数意外费用。

对重要的失败发出警报

只有当有人采取行动时,警报才有用。对密钥失败、余额为空、行数与 total 不匹配以及成本远高于预期值的情况发送警报。将常规成功排除在消息之外,否则人们将不再阅读它。

在不浪费积分的情况下调度

调度应跟随数据,而不是时钟。每小时运行的任务每天为相同的快照支付二十四次费用,这就是为什么月度节奏对此类工作如此重要。

选择一次调度并记录下来。每月更改调度是趋势线出现人工阶梯的原因。

月度优于小时

索引大约每月重新构建一次。更频繁的拉取返回相同的内容并消耗积分。如果需要额外运行,请在已知的刷新之后进行,而不是在刷新中间进行。

一个任务,多个域名

将所有域名放入单个列表,并一次性运行评分。bulk_dr 调用每次可处理多达 2,000 个域名,消耗一个积分,因此 1,500 个潜在客户的列表成本与十个客户的列表相同。仅当域名需要更深层次的数据(如 refdomains)时才拆分工作。

将列表保存在一个地方。域名列表的两个副本会偏离,然后你的趋势会比较不同的网站集合。

谁应拥有该任务

即使任务在共享服务器上运行,也指定一个所有者。当警报触发时,应有人负责回答、检查余额并决定失败的月份是否需要重运行。如果没有所有者,静默失败的任务可能会在季度内未被发现。在日志标题中写下所有者的名字,以便下一个人知道该问谁。

先在小型列表上测试

更改任务时,在将其指向完整列表之前,先在五个域名上运行。循环中的错误在小样本上几秒钟内就会显现,而在大样本上则会消耗积分。五个域名的测试成本几乎为零。五个域名足以展示循环。

将测试列表保留在存储库中任务旁边,以便每次检查时保持一致。

当管道不是正确答案时

当你需要反复获取相同的数字时,管道才值得拥有。选择合适的工具。对于单个问题,手动拉取通常是更好的工具。诚实地评估你实际需要的工具。

跳过管道的另一个原因是工作的性质。如果问题每周都在变化,固定的任务将不断测量错误的东西。

一次性导出不是管道

假设你需要一个竞争对手的引用域名用于单次演示。运行一次 refdomains,保存文件并继续。为此构建计划任务会增加维护成本而不会增加洞察力。

当你的数字与其他数据相遇时

链接数据回答一类问题。如果需要将其与关键词排名、转化或通话日志连接,请在自己的系统中进行连接,并将链接快照作为一个输入。不要期望 API 为你保存其他来源。

决定保留什么,以及保留多久

在第一次运行之前,决定存储哪些字段以及在你的端保留多久。修剪不需要的行。较小的文件更容易与客户或同事共享,在项目结束时也更容易删除。

端点参考列出了每个字段和每次调用的成本,这使得更容易记录此决定。

预飞行清单

  • 密钥存储为秘密,不在存储库中。
  • 循环基于行数结束,而非希望。
  • HTTP 401 和 402 分别处理。
  • 快照已标记日期并保留。
  • 每个表一个分数供应商。
  • 月度调度,而非小时。