İçeriğe geç
SEOCheck
SEOCheckKaydol

Mühendislik

Link verilerini hatayı bozmadan bir boru hattına aktarın

Bir tabloyu bir kez çekmek kolaydır. Bir yıl boyunca her ay sessiz boşluklar olmadan çekmek gerçek iştir.

SEOCheck araştırma ekibi ·

Güvenilir veri boru hattını gösteren kayalardan akan su borusu sistemi

On iki satırlık aylık bir iş

Python, yalnızca standart kütüphane. Referans alan adlarını sayfalar ve yüksek bir hatada durur. Her yanıt satırlarını rows içine yerleştirir; daha büyük sayfalar için per (10 ila 5000) ekleyin ve döngü total satır okunduktan sonra durur.

python
import json, urllib.request as u
KEY='sk_live_...'
def get(**p):
    q='&'.join(f'{k}={v}' for k,v in p.items())
    url=f'https://seocheck.dev/api.php?{q}&key={KEY}'
    with u.urlopen(url) as r:
        return json.load(r)
rows, page = [], 1
while True:
    d = get(action='refdomains', q='example.com', page=page)
    if not d['ok']: raise SystemExit(d)
    rows += d['rows']
    if not d['rows'] or len(rows) >= d['total']: break
    page += 1
print(len(rows), 'of', d['total'], 'balance', d['_credits']['balance'])

Neden seo backlink api işleri sessizce başarısız olur

Bir çökme ile değil. Son sayfası eksik bir tablo ile. Yaygın neden, bir sayıya dayanmayan bir tahmine dayanan bir döngüdür.

Her çalıştırmada üç şeye bakın. ok true döndü mü? Satır sayısı total'a ulaştı mı? _credits beklediğiniz bakiyeyi gösterdi mi? Cevaplardan biri hayır ise, işi başarısız sayın ve birine bildirin.

Sessiz başarı, gür bir hatadan daha kötüdür. Yanlış satırlarla biten bir iş, biri tabloyu okuyana kadar sağlıklı görünür.

Hız limitleri ve yavaş yanıtlar birçok API'deki kadar burada önemli değildir. Aylık bir iş bir saat sonra basitçe yeniden deneyebilir. Önemli olan, başarılı olan bir çağrı için size çift ücret yansıtılmamasıdır. Her çalıştırma öncesi ve sonrası _credits bakiyesini günlüğe kaydedin ve karşılaştırın. Beklenen maliyetten daha büyük bir artış, bir döngünün döndüğü anlamına gelir. Bir sonraki çalıştırmadan önce bunu inceleyin.

Zaten Airflow veya küçük bir sunucuda düz cron çalıştıran ekiplerin yeni bir şeye ihtiyacı yok. Bir GitHub Actions zamanlayıcısı da çalışır. Şekil aynı kalır: getir, doğrula, sakla, uyar. Bir paket dışa aktarmasıyla bunu değerlendiriyorsanız maliyet karşılaştırmasına bakın.

Yaygın veri alma tuzakları

TuzakBelirtiÇözüm
Sayfalamadan sonra istemci tarafında filtrelemeYavaş çalışmalar, israf edilen sayfalarsort ve order'ı sunucu tarafında kullanın, sonra kesin
Kapasitenin ötesine geçmeDöngü asla bitmezDerin sayfalama 50.000 satırda durur; buna göre planlayın
HTTP 402'yi bir hata olarak ele almaİş sonsuza kadar yeniden dener402 kredi bittiği anlamına gelir; yenileyin, yeniden denemeyin
401'i geçici olarak ele almaAynıGeçersiz anahtar; uyar ve dur
Ayları körükçe karşılaştırmaHayalet düşüşlerİndeks aylık yenilenir; benzeri ile benzeri karşılaştırın
Skor sağlayıcılarını karıştırmaAnlamsız trendlerHer tablo için tek bir kaynak

Tüm sistem için mantıklı bir şekil

01

Alan adı listesini tek bir yerde tutun

Bir e-tablo veya bir tablo. İlk başta yalnızca bir alan adı sütunu, başka hiçbir şey yok.

02

Listeyi bulk_dr ile puanlayın

Çağrı başına en fazla 2.000 alan adı, bir kredi. domains= ile GET veya uzun olduğunda listeyi gövde olarak POST edin.

03

Yalnızca hayatta kalanlar için ayrıntıları çekin

En üst dilim için refdomains veya anchors çalıştırın. Çağrı başına iki kredi, her biri için en fazla 1.000 satır.

04

Üst yazma yerine anlık görüntüler saklayın

Her çekimi tarihlendirin. Trendler geçmişe ihtiyaç duyar.

05

Değişiklikte uyar

Bir sağlayıcı alan adında birkaç puanlık bir DR düşüşü bir mesaj değerindedir.

Google Sheets ve CORS

CORS açıktır, bu nedenle bir tarayıcı parçası veya Apps Script API'ye doğrudan çağrı yapabilir. Bir hücre işlevi için küçük bir örnek. İşlev, hücredeki alan adının Alan Derecesini döndürür.

javascript
function DR(domain){
  var url='https://seocheck.dev/api.php?action=domain&q='+encodeURIComponent(domain);
  var r=JSON.parse(UrlFetchApp.fetch(url).getContentText());
  return r.metrics.dr;
}
Kararlı aylık güncellemeleri temsil eden sağlam meşe ağacı

Tazelik ve dürüstlük

İndeks kendi tarayıcımızdan ayda yaklaşık bir kez yeniden oluşturulur. Gecikme bekleyin. Birkaç haftadan daha eski veri normaldir. Saatlik çekimleri zamanlamayın; aynı şeyi döndürürler ve kredi harcarlar.

Mümkünse yenilemeden sonraki günü seçin. Aksi takdirde her ay aynı gün çalıştırın ve küçük gecikmeyi kabul edin.

Tam anahtar kelime paketleri, günlük taramalar ve sıralama takibi başka yerlerde yaşar. Ahrefs ve Semrush bunları kapsar; herhangi bir şeyi kopyalamadan önce maliyet karşılaştırmasını okuyun. Uç nokta referansı tüm parametreleri içerir.

Modüler boru hattı aşamalarını temsil eden bir bankta dört ayrı araç

İşin güvenebileceğiniz şekilde tasarlanması

Bir boru hattı, en zayıf çalışması kadar iyidir. Her çalışmayı, kötü bir ayın tahmin edilmek yerine açıklanabilmesi için kanıt bırakacak şekilde kurun. Ek iş azdır. Sonunda çok fazla tartışmayı önler ve kredi de tasarruf sağlar.

Dört aşamada düşünün: getir, doğrula, sakla ve uyar. Her birini basit tutun. Her aşama kendi başına başarısız olabilmeli ve her hata hangi aşamanin bozuk olduğunu söylemelidir. Aynı dört aşama, yazdığınız dile bakılmaksızın herhangi bir seo backlink api işi için geçerlidir.

Dönüştürmeden önce ham yanıtı saklayın

JSON'u geldiği gibi, tarih ve çağrı parametreleri dosya adında veya üst satırda olacak şekilde kaydedin. Bir sonraki çeyrek bir sayı yanlış görünürse, birinin düzenlediği bir tabloya değil, API'nin gerçekten ne söylediğine geri dönebilirsiniz.

Ham dosyaları tutmanın maliyeti düşüktür. Üç kez üst üste yazılmış bir e-tablo size Mart ayında ne olduğunu söyleyemez.

Satır sayısı ve bakiye ile bir çalışma günlüğü tutun

Her çalıştırma bir günlüğe bir satır eklemelidir: başlangıç zamanı, yapılan çağrılar, döndürülen satırlar, total değeri ve _credits'ten bakiye. Bir sayı hareket ettiğinde bakılacak ilk yer gündümdür.

Döndürülen satırlar total ile eşleşmiyorsa, çalıştırma eksiktir. Başarısız olarak işaretleyin, kısmi dosyayı koruyun ve trendle birleştirme.

Yeniden denemeleri yeniden çalıştırmalardan ayırın

Bir yeniden deneme, cevap almadan başarısız olan bir çağrıyı tekrarlar. Bir yeniden çalıştırma, bitmiş ancak yeniden yapılması gereken bir işi tekrarlar. Bunları farklı ele alın, çünkü aslında başarılı olan bir çağrının yeniden denenmesi kredileri iki kez maliyetlendirebilir.

Bir çağrının başarılı olup olmadığını bilemiyorsanız, tekrar göndermeden önce günlüğü okuyun. Bu tek alışkanlık çoğu sürpriz ücreti önler.

Önemli hatalarda uyar

Bir uyarı, biri üzerine hareket ettiğinde kullanlıdır. Geçersiz bir anahtar, boş bir bakiye, total ile eşleşmeyen bir satır sayısı ve beklenen figürden çok daha yüksek bir maliyet için bir uyarı gönderin. Rutin başarıları mesajdan çıkarın, yoksa insanlar okumayı bırakır.

Kredi israf etmeden zamanlama

Zamanlama veriye göre olmalı, saate göre değil. Her saat çalışan bir iş, aynı anlık görüntüyü günde yirmi dört kez öder, bu yüzden bu tür işler için aylık ritmin bu kadar önemli olmasıdır.

Bir zamanlama seçin ve yazın. Her ay değiştirmek, bir trend çizgisinin yapay adımlar almasının yoludur.

Bu veri için aylık, saatlikten daha iyidir

İndeks ayda yaklaşık bir kez yeniden oluşturulur. Daha sık çekimler aynı şeyi döndürür ve kredi harcar. Ek bir çalıştırma yapmanız gerekiyorsa, bir yenileme sırasında değil, bilinen bir yenilemeden sonra yapın.

Bir iş, çoklu alan adları

Tüm alan adlarını tek bir listeye koyun ve puanlamayı tek bir geçişte çalıştırın. Bir bulk_dr çağrısı tek bir kredi için 2.000 alana kadar işler, bu yüzden 1.500 adayın listesi 10'luk bir liste ile aynı maliyete sahiptir. Bir alan adının refdomains gibi daha derin veriye ihtiyacı olduğunda işi bölün.

Listeyi tek bir yerde tutun. Bir alan adı listesinin iki kopyası uzaklaşır ve sonra trendiniz farklı site setlerini karşılaştırır.

İşi kimin yönetmesi gerekir

Paylaşımlı bir sunucuda çalışsa bile işe tek bir sahip verin. Uyarı çaldığında yanıt verecek, bakiyeyi kontrol edecek ve başarısız bir ayın yeniden çalıştırılması gerekip gerekmediğine karar verecek biri olmalı. Bir sahibi olmadan, sessizce başarısız olan bir iş bir çeyrek boyunca fark edilmeyebilir. Günlük başlığına sahibin adını yazın, böylece bir sonraki kişi kime soracağını bilir.

Önce küçük bir listede test edin

Bir işi değiştirdiğinizde, tam listeye yönlendirmeden önce beş alan adı üzerinde çalıştırın. Bir döngüdeki hata küçük bir örnekte saniyeler içinde, büyük birinde kredilerde kendini gösterir. Beş alan adı testi neredeyse hiçbir maliyet gerektirmez. Beş alan adı bir döngüyü göstermek için yeterlidir.

Bu test listesini işin yanına depoda tutun, böylece her kontrol ettiğinizde aynı olur.

Ne zaman boru hattı yanlış cevaptır

Bir boru hattı, aynı sayıları tekrar tekrar gerektiğinde yerini hak eder. Doğru aracı seçin. Tek bir soru için manuel bir çekim genellikle daha iyi bir araçtır. Aslında hangisine ihtiyacınız olduğunu dürüst olun.

Boru hattını atlamak için diğer neden işin şeklidir. Soru her hafta değişiyorsa, sabit bir iş yanlış şeyi ölçmeye devam edecektir.

Tek seferlik dışa aktarma bir boru hattı değildir

Tek bir sunum için bir rakibin referans alan adlarına ihtiyacınız olduğunu söyleyin. refdomains'i bir kez çalıştırın, dosyayı kaydedin ve geçin. Bunun için zamanlanmış bir iş oluşturmak bakım ekler ancak içgörü eklemez.

Sayılarınız diğer verilerle buluştuğunda

Link verileri bir tür soruya yanıt verir. Anahtar sıralamaları, dönüşümler veya arama kayıtlarıyla birleştirmeniz gerekiyorsa, birleştirmeyi kendi sisteminizde tutun ve link anlık görüntüsünü bir girdi olarak tutun. Diğer kaynakları sizin için API'de tutmasını beklemeyin.

Ne tutacağınızı ve ne kadar süreyle karar verin

İlk çalıştırmadan önce, hangi alanları saklayacağınızı ve bunları tarafınızda ne kadar süreyle tutacağınızı karar verin. İhtiyacınız olmayan satırları kısaltın. Daha küçük bir dosya bir müşteriye veya meslektaşınıza paylaşmak için daha kolaydır ve proje bittiğinde silmek daha kolaydır.

Uç nokta referansı her alanı ve her çağrının maliyetini listeler, bu da bu kararı yazmayı kolaylaştırır.

Uçuş öncesi liste

  • Anahtar bir gizli olarak depolandı, depoda değil.
  • Döngü umut yerine satır sayısıyla biter.
  • HTTP 401 ve 402 ayrı ayrı işlenir.
  • Anlık görüntüler tarihli ve saklanır.
  • Her tablo için tek bir skor sağlayıcısı.
  • Aylık zamanlama, saatlik değil.