Googlebot no puede acceder a los archivos CSS y JS

SEO

Fundador de Wanatop y experto en captación de tráfico online. Profesor y speaker sobre SEO y Analítica, reconvertido a gestión de agencia. Ejemplo viviente de como compaginar la vida rural con la era digital.

A fecha 28 de julio de 2015 los administradores de sitios en Search Console, el antiguo Webmaster Tools, hemos recibido múltiples avisos del tipo:

Los sistemas de Google han detectado un problema con tu página principal que afecta a la forma cómo nuestros algoritmos renderizan e indexan tu contenido. En concreto, el robot de Google no puede acceder a tus archivos JavaScript o CSS debido a restricciones establecidas en el archivo robots.txt. Estos archivos permiten a Google interpretar que tu sitio web funciona correctamente, de modo que bloquear el acceso a estos elementos puede dar lugar a clasificaciones inadecuadas.

Te contamos qué significa esto, el por qué del aviso, y cómo solucionarlo, ya que si se genera un aviso de algo que no gusta a Google es mejor revisarlo.Para empezar recomendaría estas lecturas:

http://googlewebmastercentral.blogspot.com.es/2014/05/rendering-pages-with-fetch-as-google.html
https://support.google.com/webmasters/answer/6066468?hl=es

Al final del artículo podrás ver un vídeo de Matt Cuts hablando del tema en 2012.

La explicación

Dentro de Search console, tenemos una zona llamada «Explorar como Google» en la que podemos enviar una URL para que sea rastreada por Google, y así comprobar lo que Google ha obtenido de ella.

Esto sirve para analizar si algún tipo de bloqueo a robots.txt, por ejemplo, ha podido impedir que Googlebot acceda a parte de la información de nuestra web, evitando la indexación de contenido importante.

Por ejemplo

El aviso

Si has recibido un aviso de este tipo significa que efectivamente tienes un problema en este sentido, por algún motivo Google no puede acceder a parte de los recursos y peticiones necesarios para mostrar correctamente tu web y su contenido.

Realmente estos avisos van relacionados con la parte de Render, del procesamiento de la página, pues los CSS y Javascript sirven para convertir la información base en algo más visual y atractivo, y finalmente Google quiere saber como es tu web tanto para su robot, como para el usuario final.

Si todo es correcto al «Explorar como Google» veremos lo siguiente:

Esta es la parte de obtención de datos, de código leído por Googlebot:
fetch

Y esta es la parte en la que Googlebot nos indica si lo que él entiende es lo mismo que ve el usuario, si esto no es así, se genera el problema, pues para Google dentro de su búsqueda por entender a los humanos, es muy importante que sepa como se ve definitivamente la versión una web:

render

En caso de obtener una versión diferente, tendríamos una aviso como el que ha llegado. En este ejemplo podemos ver que efectivamente ambas versiones del procesamiento difieren, ya que en este caso tenemos parte de los archivos necesarios para el trabajo visual de la web bloqueados en robots.txt:

render-2

La solución

La solución es sencilla, Google nos está pidiendo acceso a todos los archivos necesarios para entender correctamente nuestra web tal como lo haría un usuario, en este caso es muy claro especificando la necesidad de los CSS y JS.

En muchas webs bloqueamos mediante robots.txt el acceso a zonas de archivos de plantilla o zonas de administración para que no sean indexadas en el buscador y no tener exposición pública mediante Google a archivos delicados.

En caso de WordPress por ejemplo no dar acceso a la zona de plugins o temas es la que puede provocar este aviso.

En el caso de Prestashop el acceso a la carpeta modules viene bloqueada en robots.txt por defecto, causa del problema.

Lo que tienes que hacer es detectar todas las peticiones CSS y JS que realiza la página durante su carga, usando herramientas como GTMetrix o Pingdon Tools, y dando acceso a Googlebot.

Para editar Robots.txt necesitarás acceder a él mediante FTP, o en caso de algunos CMS como WordPress tienes plugins para editar directamente el archivo desde la administración.

Podemos comprobar de manera sencilla que todo está correcto enviando la URL a «Explorar como Google» y comprobando que las versiones de usuario y Google Bot coinciden.

Tenemos peticiones de sobras para realizar los crawls necesarios para mostrar todo.

Según tu web y la manera en la que hayas construido tu web tendrás una problemática u otra, incluso hay técnicas de link sculpting que pueden chocar con este requerimiento de Google, en cualquier caso tendrás que realizar lo necesario para que el robot tenga acceso a todo lo necesario para ver la web como el usuario.

Esperamos que este pequeño artículo, hecho con cierta prisa dada la voz de alarma, te haya sido de utilidad.

Recuerda que estamos al tanto de los comentarios para poder ayudarte en lo que necesites, igualmente estaremos encantados de que compartas tus opiniones y consejos.

20 comentarios en “Googlebot no puede acceder a los archivos CSS y JS

  1. lus dice:

    Pensé que en este articulo mostraría una solucion , mucho testo nada bueno

    1. Hola!

      Creo que no has llegado a leer el final, gracias por tu aporte.

  2. Lucía dice:

    Muchísimas gracias por este artículo, ha sido de mucha ayuda.

    1. Gracias a tí por leernos. Si quieres contarnos como ha sido tu caso estaremos encantados de saberlo.

  3. Voy a probrar con

    User-Agent: Googlebot
    Allow: .js
    Allow: .css

    Ya te contaré 😉

    1. Hola!

      Sí, he visto circular la solución:
      Allow: *.js
      Allow: *.css

      Pero si la carpeta que los aloja tiene el acceso bloqueado va a ser dificil que los encuentre, ya nos contarás!

  4. Gracias por el aporte, ya pensaba de qué iba. El problema es que por un lado estamos dando la información a Google para que lea esa información y por otro ofreciéndola para que se indexe, cuando no es ni necesario ni lógico. Habría que encontrar una versión intermedia que facilitara la lectura pero que no la tuviera en cuenta para la indexación del sitio.

  5. Hola!
    En wp hay que permitir que entre a incluides y ver que no obstaculizamos js o css. Desde webmasters tools se puede ver las urls que están bloquedadas y a partir de ahí revisar con detalle el archivo robots.txt
    Saludos

    1. Gracias Miguel! Buen aporte!
      El que no conozca ShowMeTheViral.com que entre 😉

  6. Angelo dice:

    Hola Alberto, nos enteramos del problema en nustras webs de wordpress navegando con Crome. Con Explorer y Firefox todo ok. Luego recibimos notificación del Google (webmaster tool) para solucionar el problema. Tu articulo explica el problema a la perfección. Gracias!

    Recomiendo, además de consultar tu blog y tus contenidos, el uso y control constante del webmaster tool a todos.

    Un saludo, Angelo

    1. Gracias por tu aporte Angelo!
      Al final ya no estamos hablando de como ven la web los navegadores, sino el robot de Google, que quiere verlo todo como un usuario normal.

      Un abrazo!

  7. Marco dice:

    Hola!
    Veo en tu articulo que cuando envias tu web a Google, sale un texto en verde «parcialmente completado», y lo mismo me pasa a mi en mi web. Porqué?

    Un saludo
    Ps. Un articulo muy util, gracias

    1. AL final Google hace un poco lo que quiere, ese mensaje suele salir cuando mandamos al índice «Rastrear esta URL y sus enlaces directos» en vez «Rastrear solo esta URL».

  8. Juan dice:

    Hola Alberto genial articulo me ayudo mucho, hice la comprobación de como ve mi robot mi sitio y luego de haber hecho varios cambios, me sale: Disallow: /wp-content/themes/

    Me comentaron que fácilmente una solución seria eliminarlo o agregando allow al principio, pero que opinas tu?

    1. Hola Juan!

      Con eliminar la línea sería suficiente, ambas soluciones vienen a ser lo mismo.
      Al bloquear la carpeta de temas es normal que no pueda ver lo que necesita.

      Saludos!

    2. Juan dice:

      Genial, por ultimo sabes a que conlleva eliminar o habilitar dicha carpeta, osea podría perjudicial para mi sitio o no?

  9. Juan dice:

    Por favor, coloca un cuadro de búsqueda, para poder seguir navegando en tu blog. Estaba tratando de buscar algo sobre el sitemap pero no encontré, tengo muchas incidencias.

    1. Buena sugerencia! Lo pongo en breves!

  10. Clarence dice:

    En nuestro caso hemos podido resolver la manera cómo veía el robot de Google la versión móvil gracias a este artículo. Thanks!

  11. Hola, gracias por el artículo.
    Me salía la informaci´n de «Parcialmente completada» y no sabía por qué.

Deja un comentario

Tu dirección de correo electrónico no será publicada. Los campos obligatorios están marcados con *

Las cookies recogen información en tu navegador web para ofrecerte una mejor experiencia online. Si continúas navegando, estás aceptando su uso. OK | Más info