Evite que los motores de búsqueda indexen este sitio: qué significa y cómo usarlo

Evite que los motores de búsqueda indexen este sitio: qué significa y cómo usarlo

Si ha hurgado en el backend de WordPress, es posible que haya notado una configuración que dice "Desalentar a los motores de búsqueda de indexar este sitio" y se preguntó qué significaba.

O tal vez está buscando una forma de ocultar su sitio a visitantes no deseados y se pregunta si esta pequeña casilla de verificación es suficiente para mantener su contenido de forma segura y privada.

¿Qué significa esta opción? ¿Qué le hace exactamente a su sitio? ¿Y por qué debería evitar depender de él, incluso si está tratando de ocultar su contenido?

Aquí están las respuestas y algunos otros métodos para desindexar su sitio y bloquear el acceso a ciertas páginas.

Índice

    ¿Qué significa "disuadir a los motores de búsqueda de indexar este sitio"?

    ¿Alguna vez se ha preguntado cómo los motores de búsqueda indexan su sitio y evalúan su SEO? Lo hacen con un programa automatizado llamado araña, también conocido como robot o rastreador. Las arañas "rastrean" la web, visitan sitios web y registran todo su contenido.

    Google los usa para decidir cómo clasificar y colocar su sitio web en los resultados de búsqueda, tomar imágenes publicitarias de sus artículos para la página de resultados de búsqueda y agregar sus imágenes a Google Imágenes.

    >

    Cuando marca "No animar a los motores de búsqueda a indexar este sitio", WordPress modifica su archivo robots.txt (un archivo que da instrucciones a las arañas sobre cómo rastrear su sitio). También puede agregar una metaetiqueta al encabezado de su sitio que le dice a Google y a otros motores de búsqueda que no indexen ningún contenido en todo su sitio.

    La palabra clave aquí es "desalentar": los motores de búsqueda no tienen la obligación de cumplir con esta solicitud, especialmente los motores de búsqueda que no utilizan el estándar. robots.txt sintaxis que hace Google.

    Los rastreadores web aún podrán encontrar su sitio, pero los rastreadores configurados correctamente leerán su robots.txt y se van sin indexar el contenido ni mostrarlo en sus resultados de búsqueda.

    En el pasado, esta opción en WordPress no impedía que Google mostrara su sitio web en los resultados de búsqueda, solo de indexar su contenido. Es posible que aún veas que tus páginas aparecen en los resultados de búsqueda con un error como "No hay información disponible para esta página" o "No hay una descripción para este resultado disponible debido al archivo robots.txt del sitio".

    Si bien Google no estaba indexando la página, tampoco la ocultó por completo. Esta anomalía hizo que las personas pudieran visitar páginas que no estaban destinadas a ver. Gracias a WordPress 5.3, ahora funciona correctamente, bloqueando tanto la indexación como el listado del sitio.

    Puede imaginar cómo esto destruiría su SEO si lo habilitara por accidente. Es fundamental usar esta opción solo si realmente no desea que nadie vea su contenido, e incluso entonces, puede que no sea la única medida que desee tomar.

    Por qué es posible que no desee indexar su sitio

    Los sitios web están hechos para que las personas los vean. Quieres que los usuarios lean tus artículos, compren tus productos, consuman tu contenido, ¿por qué intentarías bloquear intencionalmente los motores de búsqueda?

    Hay algunas razones por las que es posible que desee ocultar parte o la totalidad de su sitio.

    • Su sitio está en desarrollo y no está listo para ser visto por el público.
    • Está utilizando WordPress como un sistema de gestión de contenido, pero desea mantener dicho contenido en privado.
    • Estás intentando ocultar información confidencial.
    • Desea que su sitio sea accesible solo para una pequeña cantidad de personas con un enlace o solo a través de invitaciones, no a través de páginas de búsqueda públicas.
    • Desea poner algún contenido detrás de un muro de pago u otra puerta, como artículos exclusivos de boletines.
    • Quiere cortar el tráfico de artículos antiguos y obsoletos.
    • Desea evitar las sanciones de SEO en las páginas de prueba o el contenido duplicado.

    Hay mejores soluciones para algunos de estos: usar un servidor de desarrollo fuera de línea adecuado, configurar sus artículos como privados o ponerlos detrás de una contraseña, pero existen razones legítimas por las que es posible que desee desindexar parte o la totalidad de su sitio.

    Cómo comprobar si su sitio está desalentando a los motores de búsqueda

    Si bien puede tener razones legítimas para desindexar su sitio, puede ser una sorpresa terrible saber que ha activado esta configuración sin querer o que la ha dejado activada por accidente. Si no obtiene tráfico y sospecha que su sitio no está indexado, aquí le mostramos cómo confirmarlo.

    Una forma sencilla es comprobar el De un vistazo cuadro ubicado en la pantalla de inicio de su panel de administración. Simplemente inicie sesión en su backend y marque la casilla. Si ve "Motores de búsqueda desalentados", entonces sabrá que ha activado esa configuración.

    "De un vistazo" en el panel de WordPress.

    Una forma aún más confiable es verificar su robots.txt. Puede verificar esto fácilmente en el navegador sin siquiera iniciar sesión en su sitio.

    Verificar robots.txt, todo lo que necesitas hacer es agregar /robots.txt al final de la URL de su sitio. Por ejemplo: https://kinsta.com/robots.txt

    Si tú ves Disallow: / entonces todo tu sitio está bloqueado para que no se indexe.

    Evite que los motores de búsqueda indexen este sitio: qué significa y cómo usarlo

    "No permitir" en robots.txt.

    Si tú ves Disallow: seguido de una ruta de URL, como Disallow: /wp-admin/, significa que cualquier URL con la /wp-admin/ El camino está bloqueado. Esta estructura es normal para algunas páginas, pero si, por ejemplo, está bloqueando /blog/ que tiene páginas que desea indexar, ¡podría causar problemas!

    Ahora que WordPress usa metaetiquetas en lugar de robots.txt para desindexar su sitio, también debe revisar su encabezado para ver si hay modificaciones.

    Inicie sesión en su backend y vaya a Apariencia > Editor de temas. Encontrar Encabezado del tema (header.php) y busque el siguiente código:

    <meta name="robots" content="noindex,nofollow" />
    los

    noindex, nofollow en header.php.

    También puedes consultar functions.php Para el noindex etiqueta, ya que es posible insertar código de forma remota en el encabezado a través de este archivo.

    Si encuentra este código en sus archivos de tema, entonces su sitio no está siendo indexado por Google. Pero en lugar de eliminarlo manualmente, primero intentemos desactivar la configuración original.

    Cómo desalentar la indexación de motores de búsqueda en WordPress

    Si desea omitir los pasos adicionales e ir directamente a la configuración original, aquí le mostramos cómo activar o desactivar la opción "Desalentar los motores de búsqueda" en WordPress.

    Inicie sesión en su panel de WordPress y navegue hasta Ajustes > Leer. Busca el Visibilidad del motor de búsqueda con una casilla de verificación denominada "No animar a los motores de búsqueda a indexar este sitio".

    Captura de pantalla que muestra la casilla de verificación de visibilidad del motor de búsqueda en el

    Casilla de verificación de visibilidad del motor de búsqueda.

    Si encuentra que esto ya está activado y desea que su sitio esté indexado, desmárquelo. Si va a evitar que su sitio sea indexado, verifíquelo (¡y anote una nota en algún lugar que le recuerde que lo apague más tarde!).

    Ahora haga clic Guardar cambios, y listo. Es posible que su sitio tarde un tiempo en volver a indexarse ​​o para que se extraiga de los resultados de búsqueda.

    Si su sitio todavía está desindexado, también puede eliminar el noindex código de su archivo de encabezado, o edite manualmente robots.txt para quitar la bandera "No permitir".

    Así que eso es bastante simple, pero ¿cuáles son algunas de las razones por las que debería evitar esta opción, o al menos no confiar completamente en ella?

    Desventajas de usar la opción Desalentar los motores de búsqueda

    Parece simple: marque una casilla de verificación y nadie podrá ver su sitio. ¿No es eso lo suficientemente bueno? ¿Por qué debería evitar usar esta opción por sí sola?

    Cuando activa esta configuración o cualquier opción similar, todo lo que hace es agregar una etiqueta a su encabezado o su robots.txt. Como muestran las versiones anteriores de WordPress que aún permiten que su sitio aparezca en los resultados de búsqueda, una pequeña falla u otro error puede hacer que las personas vean sus páginas supuestamente ocultas.

    Además, depende totalmente de los motores de búsqueda cumplir con la solicitud de no rastrear su sitio. Los principales motores de búsqueda como Google y Bing generalmente lo harán, pero no todos los motores de búsqueda usan el mismo robots.txt sintaxis, y no todas las arañas que rastrean la web son enviadas por los motores de búsqueda.

    Por ejemplo, un servicio que utiliza rastreadores web es Wayback Machine. Y si su contenido está indexado por un servicio de este tipo, estará en la web para siempre.

    Captura de pantalla de Wayback Machine que muestra los resultados de Kinsta.com

    Wayback Machine.

    Puede pensar que solo porque su nuevo sitio no tiene enlaces a él, está a salvo de las arañas, pero eso no es cierto. Existente en un servidor compartido, enviar un correo electrónico con un enlace a su sitio web o incluso visitar su sitio en un navegador (especialmente Chrome) puede abrir su sitio hasta ser rastreado.

    Si desea ocultar contenido, simplemente no es una buena idea agregar un parámetro y esperar que funcione.

    Y seamos claros, si el contenido que estás desindexando es de naturaleza sensible o personal, no debes confiar en él. robots.txt o una metaetiqueta para ocultarlo.

    Por último, pero no menos importante, esta opción ocultará por completo su sitio de los motores de búsqueda, mientras que muchas veces solo desea desindexar determinadas páginas.

    Entonces, ¿qué debería hacer en lugar de este método o junto con él?

    Otras formas de evitar la indexación en los motores de búsqueda

    Si bien la opción proporcionada por WordPress generalmente hará su trabajo, para ciertas situaciones, a menudo es mejor emplear otros métodos para ocultar contenido. Incluso el propio Google dice que no use robots.txt para ocultar páginas.

    Siempre que su sitio tenga un nombre de dominio y esté en un servidor público, no hay forma de garantizar que los rastreadores no vean o indexen su contenido a menos que lo elimine u oculte detrás de una contraseña o un requisito de inicio de sesión.

    Dicho esto, ¿cuáles son las mejores formas de ocultar su sitio o ciertas páginas en él?

    Bloquear motores de búsqueda con .htaccess

    Si bien su implementación es funcionalmente igual que simplemente usar la opción "Desalentar los motores de búsqueda", es posible que desee utilizar manualmente .htaccess para bloquear la indexación de su sitio.

    Deberá usar un programa FTP / SFTP para acceder a su sitio y abrir el archivo .htaccess, que generalmente se encuentra en la carpeta raíz (la primera carpeta que ve cuando abre su sitio) o en public_html. Agregue este código al archivo y guarde:

    Header set X-Robots-Tag "noindex, nofollow"

    Nota: este método solo funciona para servidores Apache. Los servidores NGINX, como los que se ejecutan en Kinsta, deberán agregar este código al .conf en su lugar, que se puede encontrar en / etc / nginx / (puede encontrar un ejemplo de implementación de metaetiquetas aquí):

    add_header X-Robots-Tag "noindex, nofollow";

    Proteger con contraseña las páginas confidenciales

    Si hay ciertos artículos o páginas que no desea que los motores de búsqueda indexen, la mejor manera de ocultarlos es proteger su sitio con contraseña. De esa manera, solo usted y los usuarios que desee podrán ver ese contenido.

    Afortunadamente, esta funcionalidad está integrada en WordPress, por lo que no es necesario instalar ningún complemento. Solo ve a Publicaciones Páginas y haga clic en el que desea ocultar. Edite su página y busque el Estado y visibilidad > Visibilidad menú en el lado derecho.

    Si no está utilizando Gutenberg, el proceso es similar. Puedes encontrar el mismo menú en el Publicar caja.

    Cambiar el Visibilidad para Contraseña protegida e ingrese una contraseña, luego guarde, y su contenido ahora está oculto al público en general.

    Captura de pantalla que muestra cómo configurar una publicación de WordPress como protegida con contraseña a través de la

    Establecer una publicación como protegida con contraseña.

    ¿Qué sucede si desea proteger con contraseña todo su sitio? No es práctico solicitar una contraseña para cada página.

    Los usuarios de Kinsta están de suerte: puede habilitar la protección con contraseña en Sitios > Instrumentos, que requiere tanto un nombre de usuario como una contraseña.

    De lo contrario, puede utilizar un complemento de restricción de contenido (por ejemplo, protegido con contraseña). Por favor, instálelo y actívelo, luego diríjase a Ajustes > Contraseña protegida y habilitar Estado protegido por contraseña. Esto le brinda un control más preciso, incluso permitiéndole incluir ciertas direcciones IP en la lista blanca.

    Este complemento no se ha actualizado durante más de 11 meses al momento de escribir esto. Es posible que ya no se mantenga ni se admita y que tenga problemas de compatibilidad con las últimas versiones de WordPress.

    Una captura de pantalla de

    Establecer una publicación como protegida con contraseña.

    Instalar un complemento de WordPress

    Cuando la funcionalidad predeterminada de WordPress no es suficiente, un buen complemento a menudo puede resolver sus problemas.

    Por ejemplo, si desea desindexar páginas específicas en lugar de todo su sitio, Yoast tiene esta opción disponible.

    En Yoast SEO, puede abrir una página que desee ocultar y buscar la opción debajo de Avanzado pestaña: ¿Permitir que los motores de búsqueda muestren esta publicación en los resultados de búsqueda? Cámbielo a No y la página se ocultará.

    Se muestra la configuración de Yoast SEO

    Configuración de Yoast SEO

    Debe tener en cuenta que ambos se basan en los mismos métodos que la opción predeterminada de WordPress para desalentar la indexación del motor de búsqueda y están sujetos a los mismos defectos. Es posible que algunos motores de búsqueda no cumplan con su solicitud. Deberá emplear otros métodos si realmente desea ocultar este contenido por completo.

    Otra solución es hacer un muro de pago con su contenido u ocultarlo detrás de un inicio de sesión requerido. Los complementos Simple Membership o Ultimate Member pueden ayudarlo a configurar contenido de membresía gratuito o de pago.

    Logotipo de membresía simple

    Complemento de membresía simple.

    Utilice un sitio de ensayo para realizar pruebas

    Cuando trabaje en proyectos de prueba o sitios web en progreso, lo mejor que puede hacer para mantenerlos ocultos es utilizar un sitio de prueba o de desarrollo. Estos sitios web son privados, a menudo alojados en una máquina local a la que nadie más que usted y otras personas a las que ha permitido pueden acceder.

    Muchos servidores web le proporcionarán sitios de prueba fáciles de implementar y le permitirán enviarlos a su servidor público cuando esté listo. Kinsta ofrece un sitio de prueba con un solo clic para todos los planes.

    Puede acceder a sus sitios de ensayo en MyKinsta yendo a Sitios > Información y haciendo clic en el Cambio de entorno desplegable. Haga clic en el Entorno de puesta en escena y luego el Crea un entorno de puesta en escena botón. En unos minutos, su servidor de desarrollo estará listo para probar.

    Si no tiene acceso a una manera fácil de crear un sitio de prueba, el complemento WP STAGING puede ayudarlo a duplicar su instalación y moverla a una carpeta para facilitar el acceso.

    Utilice Google Search Console para ocultar sitios web temporalmente

    Google Search Console es un servicio que le permite reclamar la propiedad de sus sitios web. Con esto viene la capacidad de bloquear a Google para que no indexe ciertas páginas temporalmente.

    Este método tiene un par de problemas: es exclusivo de Google (por lo que sitios como Bing no se verán afectados) y solo dura 6 meses.

    Pero si desea una forma rápida y fácil de sacar su contenido de los resultados de búsqueda de Google temporalmente, esta es la forma de hacerlo.

    Si aún no lo ha hecho, deberá agregar su sitio a Google Search Console. Una vez hecho esto, abra Eliminaciones y seleccione Mudanzas temporales > Nueva solicitud. Luego haga clic en Eliminar solo esta URL y vincular la página que desea ocultar.

    Esta es una forma aún más confiable de bloquear contenido, pero nuevamente, funciona exclusivamente para Google y solo dura 6 meses.

    Resumen

    Hay muchas razones por las que es posible que desee ocultar contenido en su sitio, pero confiar en la opción "Disuadir a los motores de búsqueda de indexar este sitio" no es la mejor manera de asegurarse de que dicho contenido no se vea.

    A menos que desee ocultar todo su sitio web de la web, nunca debe hacer clic en esta opción, ya que puede causar un gran daño a su SEO si se activa accidentalmente.

    E incluso si desea ocultar su sitio, esta opción predeterminada es un método poco confiable. Debe combinarse con protección con contraseña u otro bloqueo, especialmente si se trata de contenido sensible.

    ¿Utiliza algún otro método para ocultar su sitio o partes de él? Infórmenos en la sección para comentarios.


    Ahorre tiempo, costos y maximice el rendimiento del sitio con:

    • Ayuda instantánea de expertos en alojamiento de WordPress, 24 horas al día, 7 días a la semana.
    • Integración de Cloudflare Enterprise.
    • Alcance de audiencia global con 28 centros de datos en todo el mundo.
    • Optimización con nuestro monitoreo de rendimiento de aplicaciones integrado.

    Todo eso y mucho más, en un plan sin contratos a largo plazo, migraciones asistidas y una garantía de devolución de dinero de 30 días. Consulte nuestros planes o hable con ventas para encontrar el plan adecuado para usted.

    Deja una respuesta

    Tu dirección de correo electrónico no será publicada. Los campos obligatorios están marcados con *

    Subir