Google eliminó de su índice de búsqueda a todo Bear Blog, pero no se sabe por qué

• El blog personal blog.james-zhan.com fue excluido por completo del índice de búsqueda de Google apenas un mes después de haberse creado
• Justo después de validar por error una URL del feed RSS en Google Search Console (GSC), todas las publicaciones pasaron a mostrarse con el estado “Crawled – currently not indexed”
• Se revisaron múltiples causas posibles, como la configuración del dominio, la calidad del contenido y la estructura de enlaces internos, pero no se encontró ningún problema
• Con ayuda de Herman, fundador de Bear Blog, también se descartaron DNS, HTML/CSS y problemas de la plataforma, y en otros motores de búsqueda el sitio se indexa con normalidad
• Al final, se decidió mover el blog a un nuevo subdominio y dejar que Google lo indexe de forma natural, pero la causa sigue sin aclararse

---

Situación inicial

• El blog se abrió el 4 de octubre y publicó su primer artículo largo con formato de columna de opinión
  • Tras enviar el sitemap a Google Search Console (GSC) y solicitar la indexación, apareció en los resultados de búsqueda al día siguiente
  • Después, cada vez que se publicaba un nuevo artículo, se repetía la solicitud de indexación y todo se reflejaba con normalidad

Aparición del problema

• El 14 de octubre, al ver en GSC un mensaje indicando que una URL no estaba indexada, se hizo clic en el botón “Validate”
  • Esa URL era un feed RSS (feed/?type=rss), no una página real
• El 20 de octubre, tras recibir un correo de GSC indicando que algunas correcciones habían fallado, todas las publicaciones fueron desindexadas
  • El mensaje de estado era “Page is not indexed: Crawled – currently not indexed”
  • Volver a enviar el sitemap y solicitar la indexación de URLs individuales no tuvo efecto

Seguimiento de la causa

• El día en que comenzó la validación de indexación y el día en que todas las publicaciones dejaron de indexarse fueron el mismo
  • No está claro si el intento de validar el feed RSS provocó el problema
• Después de eso, todas las publicaciones nuevas también quedaron con el mismo estado de error
  • El 3 de noviembre, incluso la última publicación que seguía indexada fue eliminada del índice

Revisión de posibles causas

• Problema del dominio: james-zhan.com, usado en GoDaddy, sí se indexa con normalidad en otros subdominios → no es la causa
• Calidad del contenido: al compararlo con otros casos de Bear Blog, no había problemas ni de cantidad ni de calidad del contenido → no es la causa
• Falta de enlaces internos: la estructura base de Bear Blog es la misma y otros blogs se indexan normalmente → no es la causa
• Otros factores: según la revisión de Herman, fundador de Bear Blog
  • DNS, HTML/CSS y la configuración de la plataforma estaban en orden
  • El código CSS personalizado tampoco afectaba la indexación

Otros motores de búsqueda y medidas tomadas

• En DuckDuckGo, Bing y Brave, entre otros, el blog sí se indexa con normalidad
  • Se sospecha que es un problema del lado de Google y no una falla técnica del sitio
• El blog se movió a un nuevo subdominio (journal.james-zhan.com) y además
  • el dominio se transfirió de GoDaddy a Porkbun
  • se configuró redirección de URLs para que los enlaces antiguos apuntaran automáticamente al nuevo blog
• En el nuevo blog no se envió el sitemap a GSC y se dejó la indexación en manos del proceso natural de Google
• La causa sigue sin conocerse y el autor cuestiona la falta de transparencia del sistema de indexación de Google

[GN⁺]

Comentarios en Hacker News

• Este año el tráfico de mi blog se desplomó. Al investigar la causa, encontré dos cosas
  1. Fue por AI Overview. La visibilidad y el ranking seguían igual, pero la tasa de clics cayó en picada. Los usuarios solo leen el resumen y no hacen clic
  2. Había un problema de exposición de spam. En la página de búsqueda, la consulta del usuario aparecía como h1, y Google lo reconoció como contenido spam.
     No puedo controlar AI Overview, pero agregué noindex a la página de búsqueda y el tráfico se recuperó en una semana
     Expliqué los detalles en mi post del blog
  • El segundo problema parece un ataque de Negative SEO. Da la impresión de que la página /search quedó cacheada y expuesta a los rastreadores.
    Conviene no cachear las páginas de búsqueda y aplicar noindex con X-Robots-Tag
  • Hacia septiembre hubo un cambio en la forma en que Google contabiliza clics e impresiones. Dicen que ya no se puede comparar con los datos anteriores.
    En adelante, parece que habrá que seguir el tráfico con nuestras propias herramientas de analítica
  • Me da la impresión de que Google lleva mucho tiempo planeando esta situación.
    1. Aumenta los sitios SEO y empuja el contenido útil hacia abajo
    2. Coloca anuncios arriba y lo empuja todavía más
    3. Introduce resúmenes de IA y elimina la razón para que el usuario haga clic
       Ahora la gente solo ve resúmenes y anuncios, y se va
  • Tengo una duda. Si alguien busca “crypto” en mi blog, ¿cómo es que esa página de resultados termina indexada por Google?
    ¿Será que otro sitio puso un enlace a esa URL de búsqueda y así la rastrearon?
  • No parece que AI Overview vaya a desaparecer. Los usuarios comunes solo leen el resumen.
    Si Google pusiera enlaces a las fuentes en las frases del resumen, quizá la tasa de clics se recuperaría un poco
• Más allá de si este caso es cierto o no, el problema es la estructura opaca de sanciones de Google
  Cuando un sitio es sancionado, no se puede saber por qué ni apelar.
  Google está actuando de hecho como gatekeeper.
  Como funciona casi como un bien público, necesita un sistema de soporte y responsabilidad acorde con eso.
  La regulación no lo resuelve todo, pero a una empresa de este nivel de utilidad pública al menos debería exigírsele una obligación mínima de garantizar acceso
  • Más que un problema de gatekeeper, esto se parece a un problema de monopolio. Google posee tanto el indexador como la herramienta de búsqueda
  • Si Google sintiera una responsabilidad ética, debería aliviar la competencia por las pujas publicitarias para que los sitios legítimos aparezcan en la primera página.
    Ahora mismo, la estructura es que solo apareces en la búsqueda si pagas publicidad
• Hace 6 meses, por recomendación de Ahrefs, eliminé los caracteres Unicode de la ruta URL y configuré redirecciones.
  Como resultado, las páginas indexadas cayeron de miles a 100
  Vean la captura de pantalla.
  Ni siquiera después de 6 meses se ha recuperado. Como era un proyecto personal, no pasa nada, pero si hubiera sido un negocio, estaría furioso
  Captura actualizada
  • Probablemente, como Google está concentrando recursos en IA, después de invalidar la caché el ranking de las páginas rastreadas de nuevo cambió
  • Google ya recopiló todo el contenido que necesitaba. Ahora los sitios web se han convertido en competidores para el entrenamiento de IA
  • La lección es simple: si funciona bien, no lo toques
  • Yo pasé por lo mismo. Se desindexaron miles de páginas y al final cerré un negocio de contenido basado en publicidad
• En Google Maps hay muchos anuncios ilegales. Se registran sin problema alojamientos sin licencia o tiendas que venden alcohol.
  Si operan durante cierto tiempo, hasta llegan a ser reconocidos como “derechos adquiridos”.
  Incluso he visto que en tribunales presentan capturas de Google Maps como prueba
  • A mí también me pasó algo así. Busqué un cerrajero cercano en Google Maps,
    pero en realidad era una empresa fraudulenta. Dañaron la cerradura y me exigieron 600 dólares.
    Lo reporté y Google lo eliminó rápido, pero creo que en estos casos debería haber verificación de identidad real al momento del registro
  • Esto me recuerda a la historia de las trap streets que ponían los antiguos cartógrafos.
    El problema es que a veces la realidad termina cambiando para adaptarse al mapa
  • Me pregunto si este tipo de anuncios se trata distinto de otros anuncios.
    En muchos procedimientos administrativos, suele dejarse pasar con una lógica de “si nadie objeta, entonces está bien”
  • Esto se parece a una especie de citogénesis legal (legal citogenesis): cuando información incorrecta termina solidificándose en documentos oficiales
• Últimamente la calidad de la búsqueda de Google ha caído muchísimo.
  Mi sitio está siendo desindexado porque lo reconocen por error como contenido duplicado.
  En Bing no hay problema, pero Google sí comete este error
  • A mí me da una sensación parecida. Un modelo popular de Hugging Face no aparece en la búsqueda,
    y una página de Reddit solo se muestra en una versión traducida a un idioma equivocado.
    Parece que la lógica de deduplicación está fallando
  • Tal vez habría que revisar si las solicitudes SNI se están enrutando mal.
    Si se monta un reverse proxy desde otro dominio, Google lo indexa como duplicado.
    Conviene usar etiquetas canonical y enlaces con ruta absoluta
  • Tanto Amazon como Google están llenos de productos falsos y resultados spam
  • Bing funciona bien en todos mis sitios, pero Google falla en todos
  • Últimamente la búsqueda de Google es casi inútil. Sorprende que hayan dejado abandonada así su capacidad principal
• Yo también tuve el mismo problema. Uso el tema Bear de Hugo, y hace poco Bing lo desindexó por completo.
  Era un blog que no había tenido problemas en 17 años
• Puede que un fallo en la validación de RSS haya disparado la marca de spam.
  Como ahora hay tanto spam, parece que aumentaron los falsos positivos
  • Si un solo error de RSS puede hacer que se desindexe todo el sitio, eso es gravísimo.
    Ese método más bien produce el efecto contrario de reducir la proporción de contenido legítimo
• La verdad, al ver el título “Google de-indexed my Bear Blog”, pensé que era sobre un blog de osos y por eso entré
  • Si encuentras un blog realmente sobre osos, podrías ver resultados inesperados
  • Yo todavía no entiendo por qué estaba la palabra “Bear” en el título
  • Como quietfox silencioso, es importante protegerse a uno mismo ^^
• Esto se parece a este hilo anterior de HN.
  Se parece en que Google tiene una estructura donde decide quién sobrevive
  • Hay este texto como caso relacionado.
    Puede que el error de RSS simplemente haya sido el detonante de la indiferencia
  • Antes TripAdvisor ocupaba el 60% del mercado local de reseñas en Reino Unido,
    ¿de verdad Google Maps lo alcanzó tan rápido?
    Tampoco se puede ignorar la influencia de Instagram o TikTok,
    así que parece una interpretación que le da demasiado poder solo a Google
• La búsqueda de Google favorece a los sitios grandes y perjudica a los nuevos.
  Al final eso lleva al problema de qué fue primero, el huevo o la gallina.
  Los sitios pequeños no consiguen visibilidad y por eso no pueden crecer,
  mientras que los grandes siguen apareciendo arriba sin ningún problema