Bỏ qua để đến nội dung
SEOCheck
SEOCheckĐăng ký

Kỹ thuật

Đưa dữ liệu liên kết vào đường ống mà không làm gián đoạn nó

Lấy một bảng một lần thì dễ. Lấy nó mỗi tháng trong một năm mà không có khoảng trống âm thầm mới là công việc thực sự.

Đội ngũ nghiên cứu SEOCheck ·

Hệ thống ống nước chảy qua đá thể hiện đường ống dữ liệu đáng tin cậy

Công việc hàng tháng trong mười hai dòng

Python, chỉ dùng thư viện chuẩn. Nó phân trang qua các tên miền giới thiệu và dừng lại khi có lỗi lớn. Mỗi phản hồi đưa các hàng của nó vào rows; thêm per (10 đến 5000) cho các trang lớn hơn, và vòng lặp dừng lại khi đã đọc hết total hàng.

python
import json, urllib.request as u
KEY='sk_live_...'
def get(**p):
    q='&'.join(f'{k}={v}' for k,v in p.items())
    url=f'https://seocheck.dev/api.php?{q}&key={KEY}'
    with u.urlopen(url) as r:
        return json.load(r)
rows, page = [], 1
while True:
    d = get(action='refdomains', q='example.com', page=page)
    if not d['ok']: raise SystemExit(d)
    rows += d['rows']
    if not d['rows'] or len(rows) >= d['total']: break
    page += 1
print(len(rows), 'of', d['total'], 'balance', d['_credits']['balance'])

Tại sao các công việc api backlink seo thất bại một cách âm thầm

Không phải với một lỗi sập. Với một bảng bị thiếu trang cuối cùng. Nguyên nhân thường là một vòng lặp kết thúc dựa trên một phỏng đoán thay vì dựa trên một số đếm.

Kiểm tra ba điều trong mỗi lần chạy. ok có trả về true không? Số hàng có đạt total không? _credits có hiển thị số dư bạn mong đợi không? Nếu bất kỳ câu trả lời nào là không, hãy làm hỏng công việc và thông báo cho ai đó.

Thành công âm thầm còn tệ hơn một thất bại ồn ào. Một công việc kết thúc với các hàng sai trông có vẻ khỏe mạnh cho đến khi ai đó đọc bảng tính.

Giới hạn tốc độ và phản hồi chậm ít quan trọng hơn ở đây so với nhiều API khác. Một công việc hàng tháng chỉ cần thử lại sau một giờ. Điều quan trọng là các lần thử lại không tính phí đúp cho một lệnh gọi đã thành công. Hãy ghi lại số dư _credits trước và sau mỗi lần chạy và so sánh. Một mức tăng lớn hơn chi phí dự kiến của công việc có nghĩa là có một vòng lặp nào đó. Hãy điều tra nó trước lần chạy tiếp theo.

Các nhóm đã chạy Airflow hoặc cron đơn giản trên một máy chủ nhỏ không cần gì mới. Lịch trình GitHub Actions cũng hoạt động. Hình dạng vẫn giống nhau: lấy, xác thực, lưu trữ, cảnh báo. Xem so sánh chi phí nếu bạn đang cân nhắc điều này so với xuất bộ công cụ.

Những cạm bẫy thu thập dữ liệu phổ biến

Cạm bẫyTriệu chứngCách khắc phục
Lọc phía máy khách sau khi phân trangChạy chậm, lãng phí trangSử dụng sort và order phía máy chủ, sau đó cắt
Phân trang vượt quá giới hạnVòng lặp không bao giờ kết thúcPhân trang sâu dừng ở 50.000 hàng; hãy lên kế hoạch cho điều đó
Coi HTTP 402 là một lỗiCông việc thử lại mãi mãi402 có nghĩa là hết tín dụng; hãy nạp thêm, không thử lại
Coi 401 là tạm thờiGiống nhauKhóa không đúng; cảnh báo và dừng
So sánh các tháng một cách mù quángSự sụt giảm maLàm mới chỉ mục hàng tháng; so sánh tương tự với tương tự
Trộn các nhà cung cấp điểm sốXu hướng vô lýMột nguồn cho mỗi bảng tính

Một hình dạng hợp lý cho toàn bộ quy trình

01

Giữ một danh sách tên miền ở một nơi

Một bảng tính hoặc một bảng. Một cột tên miền, không có gì khác ban đầu.

02

Điểm danh sách với bulk_dr

Tối đa 2.000 tên miền mỗi lệnh gọi, một tín dụng. GET với domains= hoặc POST danh sách làm thân khi nó dài.

03

Chỉ lấy chi tiết cho những người sống sót

Chạy refdomains hoặc anchors trên phần lớn nhất. Hai tín dụng mỗi lệnh gọi, tối đa 1.000 hàng mỗi lần.

04

Lưu các bản chụp, không ghi đè

Đánh dấu ngày cho mỗi lần kéo. Xu hướng cần lịch sử.

05

Cảnh báo khi có thay đổi

Một sự sụt giảm DR vài điểm trên một tên miền nhà cung cấp đáng để gửi một thông báo.

Google Sheets và CORS

CORS được mở, vì vậy một đoạn trình duyệt hoặc Apps Script có thể gọi API trực tiếp. Một ví dụ nhỏ cho một hàm ô. Hàm trả về Điểm xếp hạng tên miền của tên miền trong ô.

javascript
function DR(domain){
  var url='https://seocheck.dev/api.php?action=domain&q='+encodeURIComponent(domain);
  var r=JSON.parse(UrlFetchApp.fetch(url).getContentText());
  return r.metrics.dr;
}
Cây sồi vững chãi với bộ rễ sâu đại diện cho các bản cập nhật hàng tháng ổn định

Độ tươi mới và sự trung thực

Chỉ mục được xây dựng lại khoảng một lần một tháng từ trình thu thập dữ liệu của chúng tôi. Hãy mong đợi độ trễ. Dữ liệu cũ hơn vài tuần là bình thường. Không lên lịch kéo hàng giờ; chúng trả về cùng một thứ và tốn tín dụng.

Hãy chọn ngày sau khi làm mới khi bạn có thể. Nếu không, hãy chạy vào cùng một ngày mỗi tháng và chấp nhận độ trễ nhỏ.

Các bộ công cụ từ khóa đầy đủ, thu thập dữ liệu hàng ngày và theo dõi xếp hạng sống ở nơi khác. Ahrefs và Semrush bao gồm chúng; hãy đọc so sánh chi phí trước khi sao chép bất cứ điều gì. Tham chiếu điểm cuối có mọi tham số.

Bốn công cụ riêng biệt trên bàn đại diện cho các giai đoạn đường ống mô-đun

Thiết kế công việc để bạn có thể tin tưởng nó

Một đường ống chỉ tốt như lần chạy yếu nhất của nó. Hãy xây dựng mỗi lần chạy để lại bằng chứng, để một tháng xấu có thể được giải thích thay vì đoán mò. Công việc bổ sung là nhỏ. Nó tiết kiệm rất nhiều tranh luận sau này, và nó cũng tiết kiệm tín dụng.

Hãy nghĩ theo bốn giai đoạn: lấy, xác thực, lưu trữ và cảnh báo. Giữ mỗi giai đoạn đơn giản. Mỗi giai đoạn nên có thể thất bại riêng biệt, và mỗi thất bại nên nói rõ giai đoạn nào bị hỏng. Cùng bốn giai đoạn này áp dụng cho bất kỳ công việc api backlink seo nào, bất kể ngôn ngữ bạn viết nó bằng gì.

Lưu phản hồi thô trước khi chuyển đổi nó

Lưu JSON chính xác như khi nó trả về, với ngày và các tham số lệnh gọi trong tên tệp hoặc hàng tiêu đề. Khi một số trông sai vào quý tiếp theo, bạn có thể quay lại những gì API thực sự nói thay vì một bảng tính mà ai đó đã chỉnh sửa.

Các tệp thô tốn ít chi phí để giữ. Một bảng tính đã bị ghi đè ba lần không thể cho bạn biết những gì đã xảy ra vào tháng Ba.

Giữ một nhật ký chạy với số hàng và số dư

Mỗi lần chạy nên thêm một dòng vào nhật ký: thời gian bắt đầu, các lệnh gọi đã thực hiện, số hàng trả về, giá trị total và số dư từ _credits. Nhật ký là nơi đầu tiên để xem khi một số thay đổi.

Nếu số hàng trả về không khớp với total, lần chạy không hoàn tất. Đánh dấu nó là thất bại, giữ tệp một phần và không hợp nhất nó vào xu hướng.

Tách các lần thử lại khỏi các lần chạy lại

Một lần thử lại lặp lại một lệnh gọi đã thất bại mà không có câu trả lời. Một lần chạy lại lặp lại toàn bộ công việc đã kết thúc nhưng cần được thực hiện lại. Hãy đối xử khác nhau, vì một lần thử lại của một lệnh gọi thực sự đã thành công có thể tốn tín dụng hai lần.

Nếu bạn không thể cho biết liệu một lệnh gọi đã thành công hay chưa, hãy đọc nhật ký trước khi gửi lại. Thói quen đó ngăn hầu hết các khoản phí bất ngờ.

Cảnh báo về những thất bại quan trọng

Một cảnh báo chỉ hữu ích khi ai đó hành động dựa trên nó. Gửi một cảnh báo cho một khóa bị lỗi, một số dư trống, một số hàng không khớp với total và chi phí cao hơn nhiều so với số dự kiến. Hãy bỏ qua những thành công thông thường khỏi thông báo, hoặc mọi người sẽ ngừng đọc nó.

Lên lịch mà không lãng phí tín dụng

Lịch trình nên theo dữ liệu, không theo đồng hồ. Một công việc chạy mỗi giờ trả tiền cho cùng một bản chụp hai mươi bốn lần một ngày, đó là lý do tại sao nhịp điệu hàng tháng rất quan trọng đối với loại công việc này.

Chọn một lịch trình một lần và ghi nó xuống. Thay đổi nó mỗi tháng là cách một đường xu hướng nhận được các bước nhân tạo.

Hàng tháng tốt hơn hàng giờ cho dữ liệu này

Chỉ mục được xây dựng lại khoảng một lần một tháng. Các lần kéo thường xuyên hơn trả về cùng một thứ và tốn tín dụng. Nếu bạn cần một lần chạy bổ sung, hãy thực hiện nó sau khi làm mới đã biết, không phải ở giữa một lần làm mới.

Một công việc, nhiều tên miền

Đặt mọi tên miền vào một danh sách duy nhất và chạy chấm điểm trong một lần. Một lệnh gọi bulk_dr xử lý tối đa 2.000 tên miền cho một tín dụng, vì vậy một danh sách 1.500 ứng viên tốn cùng chi phí với một danh sách mười tên miền. Chỉ chia công việc khi một tên miền cần dữ liệu sâu hơn, chẳng hạn như refdomains.

Giữ danh sách ở một nơi. Hai bản sao của danh sách tên miền sẽ lệch nhau, và sau đó xu hướng của bạn so sánh các bộ trang web khác nhau.

Ai nên sở hữu công việc

Giao công việc cho một chủ sở hữu, ngay cả khi nó chạy trên một máy chủ chia sẻ. Ai đó nên trả lời khi cảnh báo kích hoạt, kiểm tra số dư và quyết định xem một tháng thất bại có cần chạy lại hay không. Không có chủ sở hữu, một công việc thất bại âm thầm có thể không được chú ý trong một quý. Hãy viết tên chủ sở hữu vào tiêu đề nhật ký, để người tiếp theo biết hỏi ai.

Kiểm tra trên một danh sách nhỏ trước

Khi bạn thay đổi một công việc, hãy chạy nó trên năm tên miền trước khi chỉ nó vào danh sách đầy đủ. Một lỗi trong vòng lặp thể hiện trong vài giây trên một mẫu nhỏ và trong tín dụng trên một mẫu lớn. Bài kiểm tra năm tên miền tốn gần như không có gì. Năm tên miền là đủ để cho thấy một vòng lặp.

Giữ danh sách thử nghiệm đó trong kho lưu trữ bên cạnh công việc, để nó giống nhau mỗi lần bạn kiểm tra.

Khi một đường ống là câu trả lời sai

Một đường ống kiếm được vị trí của nó khi bạn cần cùng một số lại và lại. Hãy chọn công cụ phù hợp. Đối với một câu hỏi đơn lẻ, một lần kéo thủ công thường là công cụ tốt hơn. Hãy trung thực về việc bạn thực sự cần cái nào trong hai cái.

Lý do khác để bỏ qua đường ống là hình dạng của công việc. Nếu câu hỏi thay đổi mỗi tuần, một công việc cố định sẽ tiếp tục đo lường những thứ sai lầm.

Một lần xuất một lần không phải là một đường ống

Giả sử bạn cần các tên miền giới thiệu của một đối thủ duy nhất cho một lời đề xuất duy nhất. Chạy refdomains một lần, lưu tệp và tiếp tục. Xây dựng một công việc được lên lịch cho điều đó sẽ thêm bảo trì mà không thêm thông tin chi tiết.

Khi số của bạn gặp dữ liệu khác

Dữ liệu liên kết trả lời một loại câu hỏi. Nếu bạn cần kết hợp nó với xếp hạng từ khóa, chuyển đổi hoặc nhật ký cuộc gọi, hãy giữ phép kết hợp trong hệ thống của riêng bạn và giữ bản chụp liên kết làm một đầu vào. Đừng mong đợi API giữ các nguồn khác cho bạn.

Quyết định những gì bạn giữ và trong bao lâu

Hãy quyết định, trước lần chạy đầu tiên, những trường nào bạn lưu trữ và bạn giữ chúng trong bao lâu ở phía của bạn. Cắt giảm các hàng bạn không cần. Một tệp nhỏ hơn dễ chia sẻ với khách hàng hoặc đồng nghiệp hơn và dễ xóa hơn khi dự án kết thúc.

Tham chiếu điểm cuối liệt kê mọi trường và chi phí của mỗi lệnh gọi, điều này giúp việc ghi lại quyết định này dễ dàng hơn.

Danh sách kiểm tra trước chuyến bay

  • Khóa được lưu dưới dạng bí mật, không phải trong kho lưu trữ.
  • Vòng lặp kết thúc dựa trên số hàng, không dựa trên hy vọng.
  • HTTP 401 và 402 được xử lý riêng biệt.
  • Các bản chụp được đánh dấu ngày và được giữ lại.
  • Một nhà cung cấp điểm số mỗi bảng.
  • Lịch trình hàng tháng, không phải hàng giờ.