Ocultar el contenido duplicado a los buscadores

Redactado el 20 de diciembre del 2007 por Fitti

Antes de nada quiero curarme en salud y decir que no estoy muy puesto en el (la) SEO y que puedo decir alguna burrada.

Resulta que Google ha puesto de moda penalizar a las webs que tengan contenido duplicado (el mismo texto varias veces) y precisamente WordPress duplica el contenido varias veces. Tienes el mismo texto en el articulo, en portada, en archivo, en categorías, en resultados de búsqueda… Y según dicen, eso hace que Google (no se si los otros buscadores también lo hacen) te penalice. Yo lo veo un poco contradictorio ¿para que queremos el sitemaps.xml si de las URL que le damos vamos a bloquearle la mitad?

Así que para evitar esos problemas he usado algunas soluciones:

  • La primera ha sido denegar el acceso a los bots (o spiders) de los buscadores a los feed secundarios (los de comentarios y respuestas, todos menos el principal), luego a los trackback y en mi caso a la edición móvil. Esto lo podéis ver echándole un ojo a mi robots.txt
  • La segunda consiste en añadir el meta robots tags con la opción noindex,follow en categorías, archivos… y dejar el index,follow en los artículos, paginas y en la portada. Esto se puede hacer mediante plugins o mediante un simple código PHP que se añade en la cabecera. Este apartado lo podría hacer también desde el robots.txt pero entonces impediría que se siguieran los enlaces que hay en estas paginas. Podéis verlo el resultado en el código fuente.

De momento, según las herramientas para webmasters de Google he bloqueado más de 700 páginas.