Rekayasa Perangkat Lunak
Masukkan data tautan ke pipeline tanpa merusaknya
Mengambil tabel sekali itu mudah. Mengambilnya setiap bulan selama setahun tanpa celah diam-diam adalah pekerjaan sesungguhnya.
Tim riset SEOCheck ·

Tugas bulam dalam dua belas baris
Python, hanya pustaka standar. Ini melakukan paginasi domain pengacu dan berhenti pada kesalahan yang terdengar jelas. Setiap respons memasukkan barisnya ke rows; tambahkan per (10 hingga 5000) untuk halaman yang lebih besar, dan loop akan berhenti setelah membaca total baris.
import json, urllib.request as u
KEY='sk_live_...'
def get(**p):
q='&'.join(f'{k}={v}' for k,v in p.items())
url=f'https://seocheck.dev/api.php?{q}&key={KEY}'
with u.urlopen(url) as r:
return json.load(r)
rows, page = [], 1
while True:
d = get(action='refdomains', q='example.com', page=page)
if not d['ok']: raise SystemExit(d)
rows += d['rows']
if not d['rows'] or len(rows) >= d['total']: break
page += 1
print(len(rows), 'of', d['total'], 'balance', d['_credits']['balance'])Mengapa tugas api backlink seo gagal secara diam-diam
Bukan dengan crash. Dengan tabel yang kehilangan halaman terakhir. Penyebab umumnya adalah loop yang berakhir pada tebakan alih-alih pada hitungan.
Periksa tiga hal pada setiap jalankan. Apakah ok kembali true? Apakah jumlah baris mencapai total? Apakah _credits menunjukkan saldo yang Anda harapkan? Jika salah satu jawaban adalah tidak, gagalkan tugas dan beri tahu seseorang.
Kesuksesan diam-diam lebih buruk daripada kegagalan yang terdengar jelas. Tugas yang selesai dengan baris yang salah terlihat sehat sampai seseorang membaca spreadsheet.
Batas laju dan respons lambat kurang penting di sini dibandingkan dengan banyak API. Tugas bulanan dapat hanya mencoba lagi satu jam kemudian. Yang penting adalah bahwa percobaan ulang tidak membebankan biaya ganda untuk panggilan yang sudah berhasil. Catat saldo _credits sebelum dan sesudah setiap jalankan dan bandingkan. Lonjakan yang lebih besar dari biaya tugas yang diharapkan berarti sesuatu yang berulang. Selidiki sebelum jalankan berikutnya.
Tim yang sudah menjalankan Airflow atau cron biasa di server kecil tidak memerlukan apa pun yang baru. Penjadwalan GitHub Actions juga berfungsi. Bentuknya tetap sama: ambil, validasi, simpan, beri peringatan. Lihat perbandingan biaya jika Anda membandingkannya dengan ekspor suite.
Jebakan ingest umum
| Jebakan | Gejala | Perbaikan |
|---|---|---|
| Filtering sisi klien setelah paginasi | Jalankan lambat, halaman terbuang | Gunakan sort dan order sisi server, lalu potong |
| Paginasi melewati batas | Loop tidak pernah berakhir | Paginasi dalam berhenti di 50.000 baris; rencanakan untuk itu |
| Memperlakukan HTTP 402 sebagai bug | Tugas mencoba lagi selamanya | 402 berarti kredit habis; isi ulang, jangan coba lagi |
| Memperlakukan 401 sebagai sementara | Sama | Kunci buruk; beri peringatan dan hentikan |
| Membandingkan bulan secara buta | Penurunan hantu | Pembaruan indeks bulanan; bandingkan yang serupa dengan yang serupa |
| Mencampur vendor skor | Tren tidak masuk akal | Satu sumber per spreadsheet |
Bentuk yang masuk akal untuk keseluruhan
Simpan daftar domain di satu tempat
Spreadsheet atau tabel. Satu kolom domain, tidak ada yang lain di awal.
Skor daftar dengan bulk_dr
Hingga 2.000 domain per panggilan, satu kredit. GET dengan domains= atau POST daftar sebagai body ketika panjang.
Tarik detail hanya untuk yang bertahan
Jalankan refdomains atau anchors pada irisan teratas. Dua kredit per panggilan, hingga 1.000 baris masing-masing.
Simpan snapshot, bukan penimpaan
Tanggal setiap penarikan. Tren membutuhkan riwayat.
Beri peringatan pada perubahan
Penurunan DR beberapa poin pada domain vendor layak mendapat pesan.
Google Sheets dan CORS
CORS terbuka, sehingga cuplikan browser atau Apps Script dapat memanggil API secara langsung. Contoh kecil untuk fungsi sel. Fungsi mengembalikan Domain Rating domain di sel.
function DR(domain){
var url='https://seocheck.dev/api.php?action=domain&q='+encodeURIComponent(domain);
var r=JSON.parse(UrlFetchApp.fetch(url).getContentText());
return r.metrics.dr;
}
Kesegaran dan kejujuran
Indeks dibangun ulang sekitar sebulan sekali dari crawler kami sendiri. Harapkan keterlambatan. Data yang lebih tua dari beberapa minggu adalah hal yang normal. Jangan jadwalkan penarikan setiap jam; mereka mengembalikan hal yang sama dan menghabiskan kredit.
Pilih hari setelah pembaruan jika memungkinkan. Jika tidak, jalankan pada hari yang sama setiap bulan dan terima keterlambatan kecil.
Suite kata kunci lengkap, crawler harian, dan pelacakan peringkat ada di tempat lain. Ahrefs dan Semrush menjangkau mereka; baca perbandingan biaya sebelum menduplikasi apa pun. Referensi endpoint memiliki setiap parameter.

Merancang tugas sehingga Anda dapat mempercayainya
Pipeline hanya sebaik jalannya yang paling lemah. Bangun setiap jalanan untuk meninggalkan bukti, sehingga bulan yang buruk dapat dijelaskan daripada ditebak. Pekerjaan tambahan kecil. Ini menghemat banyak argumen nanti, dan juga menghemat kredit.
Pikirkan dalam empat tahap: ambil, validasi, simpan, dan beri peringatan. Jaga setiap tahap tetap sederhana. Setiap tahap harus dapat gagal secara mandiri, dan setiap kegagalan harus mengatakan tahap mana yang rusak. Empat tahap yang sama berlaku untuk setiap tugas api backlink seo, apa pun bahasa yang Anda gunakan.
Simpan respons mentah sebelum mengubahnya
Simpan JSON persis seperti yang kembali, dengan tanggal dan parameter panggilan dalam nama file atau baris header. Ketika angka terlihat salah pada kuartal berikutnya, Anda dapat kembali ke apa yang sebenarnya dikatakan API alih-alih ke spreadsheet yang telah diedit seseorang.
File mentah murah untuk disimpan. Spreadsheet yang telah ditimpa tiga kali tidak dapat memberi tahu Anda apa yang terjadi pada bulan Maret.
Simpan log jalankan dengan jumlah baris dan saldo
Setiap jalankan harus menambahkan satu baris ke log: waktu mulai, panggilan yang dibuat, baris yang dikembalikan, nilai total dan saldo dari _credits. Log adalah tempat pertama untuk dilihat ketika angka bergerak.
Jika baris yang dikembalikan tidak cocok dengan total, jalankan tidak lengkap. Tandai sebagai gagal, simpan file parsial, dan jangan gabungkan ke tren.
Pisahkan percobaan ulang dari jalankan ulang
Percobaan ulang mengulangi panggilan yang gagal tanpa jawaban. Jalankan ulang mengulangi seluruh tugas yang selesai tetapi perlu dilakukan lagi. Perlakukan mereka secara berbeda, karena percobaan ulang panggilan yang sebenarnya berhasil dapat menghabiskan kredit dua kali.
Jika Anda tidak dapat mengatakan apakah panggilan berhasil, baca log sebelum mengirimkannya lagi. Kebiasaan itu mencegah sebagian besar biaya kejutan.
Beri peringatan pada kegagalan yang penting
Peringatan hanya berguna ketika seseorang bertindak atasnya. Kirim satu untuk kunci yang gagal, saldo kosong, jumlah baris yang tidak cocok dengan total dan biaya yang jauh di atas angka yang diharapkan. Tinggalkan kesuksesan rutin di luar pesan, atau orang akan berhenti membacanya.
Penjadwalan tanpa membuang kredit
Jadwal harus mengikuti data, bukan jam. Tugas yang berjalan setiap jam membayar untuk snapshot yang sama dua puluh empat kali sehari, itulah mengapa ritme bulanan sangat penting untuk jenis pekerjaan ini.
Pilih jadwal sekali dan tuliskan. Mengubahnya setiap bulan adalah bagaimana garis tren mendapatkan langkah buatan.
Bulanan mengalahkan jam-jaman untuk data ini
Indeks dibangun ulang sekitar sebulan sekali. Penarikan lebih sering dari itu mengembalikan hal yang sama dan menghabiskan kredit. Jika Anda membutuhkan jalankan tambahan, lakukan setelah pembaruan yang diketahui, bukan di tengah-tengahnya.
Satu tugas, banyak domain
Masukkan setiap domain ke dalam daftar tunggal dan jalankan penilaian dalam satu kali lewat. Panggilan bulk_dr menangani hingga 2.000 domain untuk satu kredit, sehingga daftar 1.500 prospek biayanya sama dengan daftar sepuluh. Bagi pekerjaan hanya ketika domain membutuhkan data yang lebih dalam, seperti refdomains.
Simpan daftar di satu tempat. Dua salinan daftar domain akan terpisah, dan kemudian tren Anda membandingkan set situs yang berbeda.
Siapa yang harus memiliki tugas
Berikan tugas satu pemilik, bahkan jika berjalan di server bersama. Seseorang harus menjawab ketika peringatan berbunyi, memeriksa saldo dan memutuskan apakah bulan yang gagal perlu dijalankan ulang. Tanpa pemilik, tugas yang gagal secara diam-diam dapat terlewatkan selama satu kuartal. Tulis nama pemilik di header log, sehingga orang berikutnya tahu siapa yang harus ditanya.
Uji pada daftar kecil terlebih dahulu
Ketika Anda mengubah tugas, jalankan pada lima domain sebelum mengarahkannya ke daftar penuh. Kesalahan dalam loop menunjukkan dirinya dalam hitungan detik pada sampel kecil dan dalam kredit pada yang besar. Pengujian lima domain hampir tidak ada biayanya. Lima domain cukup untuk menunjukkan loop.
Simpan daftar uji itu di repositori di sebelah tugas, sehingga sama setiap kali Anda memeriksa.
Ketika pipeline adalah jawaban yang salah
Pipeline mendapatkan tempatnya ketika Anda membutuhkan angka yang sama berulang kali. Pilih alat yang tepat. Untuk pertanyaan tunggal, penarikan manual sering menjadi alat yang lebih baik. Jujurlah tentang mana dari dua yang sebenarnya Anda butuhkan.
Alasan lain untuk melewatkan pipeline adalah bentuk pekerjaan. Jika pertanyaan berubah setiap minggu, tugas tetap akan terus mengukur hal yang salah.
Ekspor sekali bukan pipeline
Katakan Anda membutuhkan domain pengacu dari satu pesaing untuk satu pitch tunggal. Jalankan refdomains sekali, simpan file dan lanjutkan. Membangun tugas terjadwal untuk itu akan menambah pemeliharaan tanpa menambah wawasan.
Ketika angka Anda bertemu data lain
Data tautan menjawab satu jenis pertanyaan. Jika Anda perlu menggabungkannya dengan peringkat kata kunci, konversi, atau log panggilan, pertahankan penggabungan di sistem Anda sendiri dan simpan snapshot tautan sebagai satu input. Jangan berharap API memegang sumber lain untuk Anda.
Putuskan apa yang Anda simpan, dan untuk berapa lama
Putuskan, sebelum jalankan pertama, bidang mana yang Anda simpan dan berapa lama Anda menyimpannya di sisi Anda. Potong baris yang tidak Anda butuhkan. File yang lebih kecil lebih mudah dibagikan dengan klien atau rekan, dan lebih mudah dihapus ketika proyek berakhir.
Referensi endpoint mencantumkan setiap bidang dan biaya setiap panggilan, yang membuat keputusan ini lebih mudah untuk dituliskan.
Daftar pra-penerbangan
- Kunci disimpan sebagai rahasia, bukan di repositori.
- Loop berakhir pada jumlah baris, bukan pada harapan.
- HTTP 401 dan 402 ditangani secara terpisah.
- Snapshot diberi tanggal dan disimpan.
- Satu vendor skor per tabel.
- Jadwal bulanan, bukan jam-jaman.