Ir al contenido
SEOCheck
SEOCheckRegistrarse

Ingeniería

Introduce datos de enlaces en una tubería sin romperla

Extraer una tabla una vez es fácil. Extraerla cada mes durante un año sin lagunas silenciosas es el verdadero trabajo.

Equipo de investigación de SEOCheck ·

Sistema de tuberías de agua fluyendo a través de rocas mostrando una tubería de datos fiable

Un trabajo mensual en doce líneas

Python, solo librería estándar. Recorre los dominios de referencia y se detiene ante un error evidente. Cada respuesta coloca sus filas en rows; añade per (de 10 a 5000) para páginas más grandes, y el bucle se detiene una vez que ha leído total filas.

python
import json, urllib.request as u
KEY='sk_live_...'
def get(**p):
    q='&'.join(f'{k}={v}' for k,v in p.items())
    url=f'https://seocheck.dev/api.php?{q}&key={KEY}'
    with u.urlopen(url) as r:
        return json.load(r)
rows, page = [], 1
while True:
    d = get(action='refdomains', q='example.com', page=page)
    if not d['ok']: raise SystemExit(d)
    rows += d['rows']
    if not d['rows'] or len(rows) >= d['total']: break
    page += 1
print(len(rows), 'of', d['total'], 'balance', d['_credits']['balance'])

Por qué los trabajos de la API de backlinks SEO fallan en silencio

No con un fallo. Con una tabla que le falta la última página. La causa habitual es un bucle que termina en una suposición en lugar de en un recuento.

Verifica tres cosas en cada ejecución. ¿ok devolvió true? ¿El recuento de filas alcanzó total? ¿_credits mostró el saldo que esperas? Si alguna respuesta es no, falla el trabajo y avisa a alguien.

El éxito silencioso es peor que un fallo evidente. Un trabajo que termina con las filas incorrectas parece saludable hasta que alguien lee la hoja.

Los límites de frecuencia y las respuestas lentas importan menos aquí que en muchas APIs. Un trabajo mensual puede simplemente reintentar una hora después. Lo que importa es que los reintentos no te cobren dos veces por una llamada que ya tuvo éxito. Registra el saldo de _credits antes y después de cada ejecución y compara. Un salto mayor al coste esperado del trabajo significa que algo se repitió. Investígalo antes de la siguiente ejecución.

Los equipos que ya ejecutan Airflow o un cron simple en un servidor pequeño no necesitan nada nuevo. Un programador de GitHub Actions también funciona. La estructura se mantiene: obtener, validar, almacenar, alertar. Consulta la comparación de costes si estás sopesando esto frente a una exportación de suite.

Errores comunes de ingestión

ErrorSíntomaSolución
Filtrado del lado del cliente después de la paginaciónEjecuciones lentas, páginas desperdiciadasUsa sort y order del lado del servidor, luego corta
Paginación más allá del límiteEl bucle nunca terminaLa paginación profunda se detiene en 50.000 filas; planifícalo
Tratar el HTTP 402 como un errorEl trabajo reintenta para siempre402 significa que se acabaron los créditos; recarga, no reintentes
Tratar el 401 como transitorioIgualClave incorrecta; alerta y detén
Comparación ciega de mesesCaídas fantasmaLas actualizaciones del índice son mensuales; compara con comparable
Mezclar proveedores de puntuaciónTendencias absurdasUna fuente por hoja

Una estructura sensata para todo el conjunto

01

Mantén una lista de dominios en un solo lugar

Una hoja o una tabla. Una columna de dominios, nada más al principio.

02

Puntuar la lista con bulk_dr

Hasta 2.000 dominios por llamada, un crédito. GET con domains= o POST la lista como cuerpo cuando sea larga.

03

Extraer detalles solo para los supervivientes

Ejecuta refdomains o anchors en la parte superior. Dos créditos por llamada, hasta 1.000 filas cada una.

04

Almacena instantáneas, no sobrescrituras

Fecha cada extracción. Las tendencias necesitan historial.

05

Alerta ante cambios

Una caída de DR de varios puntos en un dominio de proveedor merece un mensaje.

Google Sheets y CORS

CORS está abierto, por lo que un fragmento de navegador o un Apps Script pueden llamar a la API directamente. Un ejemplo pequeño para una función de celda. La función devuelve la Domain Rating del dominio en la celda.

javascript
function DR(domain){
  var url='https://seocheck.dev/api.php?action=domain&q='+encodeURIComponent(domain);
  var r=JSON.parse(UrlFetchApp.fetch(url).getContentText());
  return r.metrics.dr;
}
Roble resistente con raíces profundas representando actualizaciones mensuales estables

Actualización y honestidad

El índice se reconstruye aproximadamente una vez al mes desde nuestro propio crawler. Espera retraso. Datos con más de unas pocas semanas de antigüedad son normales. No programes extracciones por hora; devuelven lo mismo y cuestan créditos.

Elige el día siguiente a la actualización cuando puedas. De lo contrario, ejecuta el mismo día cada mes y acepta el pequeño retraso.

Las suites completas de palabras clave, los rastreadores diarios y el seguimiento de posiciones viven en otro lugar. Ahrefs y Semrush los cubren; lee la comparación de costes antes de duplicar cualquier cosa. La referencia de endpoints tiene todos los parámetros.

Cuatro herramientas distintas en un banco representando etapas modulares de la tubería

Diseñar el trabajo para que puedas confiar en él

Una tubería es tan buena como su ejecución más débil. Construye cada ejecución para dejar evidencia, de modo que un mal mes pueda explicarse en lugar de adivinarse. El trabajo extra es pequeño. Ahorra muchas discusiones después y también ahorra créditos.

Piensa en cuatro etapas: obtener, validar, almacenar y alertar. Mantén cada una simple. Cada etapa debería poder fallar por sí misma, y cada fallo debería indicar qué etapa falló. Las mismas cuatro etapas se aplican a cualquier trabajo de API de backlinks SEO, independientemente del lenguaje en el que lo escribas.

Almacena la respuesta raw antes de transformarla

Guarda el JSON exactamente como llegó, con la fecha y los parámetros de la llamada en el nombre del archivo o en una fila de encabezado. Cuando un número parezca incorrecto el próximo trimestre, puedes volver a lo que dijo realmente la API en lugar de a una hoja que alguien editó.

Los archivos raw cuestan poco mantenerlos. Una hoja de cálculo que ha sido sobrescrita tres veces no puede decirte qué pasó en marzo.

Mantén un registro de ejecuciones con el recuento de filas y el saldo

Cada ejecución debería añadir una línea a un registro: la hora de inicio, las llamadas realizadas, las filas devueltas, el valor total y el saldo de _credits. El registro es el primer lugar donde buscar cuando un número cambia.

Si las filas devueltas no coinciden con total, la ejecución está incompleta. Marcala como fallida, conserva el archivo parcial y no la fusiones con la tendencia.

Separa los reintentos de las rehacías

Un reintento repite una llamada que falló sin respuesta. Una rehacía repite un trabajo completo que terminó pero necesita repetirse. Trátalos de forma diferente, porque un reintento de una llamada que realmente tuvo éxito puede costar créditos dos veces.

Si no puedes saber si una llamada tuvo éxito, lee el registro antes de enviarla de nuevo. Ese hábito evita la mayoría de los cargos sorpresa.

Alerta sobre los fallos que importan

Una alerta solo es útil cuando alguien actúa sobre ella. Envía una para una clave fallida, un saldo vacío, un recuento de filas que no coincide con total y un coste muy superior a la figura esperada. Deja fuera los éxitos rutinarios del mensaje, o la gente dejará de leerlo.

Programación sin desperdiciar créditos

La programación debería seguir los datos, no el reloj. Un trabajo que se ejecuta cada hora paga por la misma instantánea veinticuatro veces al día, por eso la rutina mensual importa tanto para este tipo de trabajo.

Elige una programación una vez y anótala. Cambiarla cada mes es cómo una línea de tendencia recoge pasos artificiales.

Mensual supera a horario para estos datos

El índice se reconstruye aproximadamente una vez al mes. Extracciones más frecuentes devuelven lo mismo y cuestan créditos. Si necesitas una ejecución extra, hazla después de una actualización conocida, no en medio de una.

Un trabajo, muchos dominios

Pon todos los dominios en una sola lista y ejecuta la puntuación en un solo pase. Una llamada bulk_dr maneja hasta 2.000 dominios por un crédito, por lo que una lista de 1.500 prospectos cuesta lo mismo que una lista de diez. Divide el trabajo solo cuando un dominio necesite datos más profundos, como refdomains.

Mantén la lista en un solo lugar. Dos copias de una lista de dominios se separan, y luego tu tendencia compara conjuntos diferentes de sitios.

Quién debería ser el responsable del trabajo

Asigna un único propietario al trabajo, incluso si se ejecuta en un servidor compartido. Alguien debería responder cuando suene la alerta, verificar el saldo y decidir si un mes fallido necesita una rehacía. Sin un propietario, un trabajo que falla silenciosamente puede pasar desapercibido durante un trimestre. Escribe el nombre del propietario en el encabezado del registro, para que la siguiente persona sepa a quién preguntar.

Prueba primero con una lista pequeña

Cuando cambies un trabajo, ejecútalo en cinco dominios antes de apuntarlo a la lista completa. Un error en un bucle se muestra en segundos en una muestra pequeña y en créditos en una grande. La prueba de cinco dominios cuesta casi nada. Cinco dominios son suficientes para mostrar un bucle.

Mantén esa lista de prueba en el repositorio junto al trabajo, para que sea la misma cada vez que la verifiques.

Cuándo una tubería es la respuesta incorrecta

Una tubería gana su lugar cuando necesitas los mismos números una y otra vez. Elige la herramienta correcta. Para una pregunta única, una extracción manual suele ser la mejor herramienta. Sé honesto sobre cuál de los dos necesitas realmente.

La otra razón para saltarse la tubería es la forma del trabajo. Si la pregunta cambia cada semana, un trabajo fijo seguirá midiendo lo incorrecto.

Una exportación única no es una tubería

Digamos que necesitas los dominios de referencia de un rival para una sola propuesta. Ejecuta refdomains una vez, guarda el archivo y sigue adelante. Construir un trabajo programado para eso añadiría mantenimiento sin añadir información.

Cuando tus números se encuentran con otros datos

Los datos de enlaces responden a un tipo de pregunta. Si necesitas unirlos con posiciones de palabras clave, conversiones o registros de llamadas, mantén la unión en tu propio sistema y conserva la instantánea de enlaces como una entrada. No esperes que la API contenga las otras fuentes para ti.

Decide qué conservas y durante cuánto tiempo

Decide, antes de la primera ejecución, qué campos almacenas y cuánto tiempo los conservas en tu lado. Recorta las filas que no necesitas. Un archivo más pequeño es más fácil de compartir con un cliente o un colega, y más fácil de eliminar cuando termina el proyecto.

La referencia de endpoints enumera cada campo y el coste de cada llamada, lo que facilita escribir esta decisión.

Lista previa

  • Clave almacenada como secreto, no en el repositorio.
  • El bucle termina por recuento de filas, no por esperanza.
  • HTTP 401 y 402 manejados por separado.
  • Instantáneas fechadas y conservadas.
  • Un proveedor de puntuación por tabla.
  • Programación mensual, no horaria.