A partir del arquetipo de aplicaciones FundeWeb se ha añadido el fichero robots.txt para controlar el acceso a las aplicaciones por parte de bots/crawlers.
Este fichero estará alojado en la carpeta /web/src/main/webapp. Ejemplo:
User-agent: * Disallow: / Allow: /contexto_aplicacion/index.html Allow: /contexto_aplicacion/declaracionAccesibilidad.seam
El valor de contexto_aplicacion, es propio de la aplicación, es decir, que no no solo hay que pegar el contenido del fichero, también hay que modificarlo para que sea correcto para la aplicación.
Por defecto solo se deja acceder a la página de acceso, a la declaración de accesibilidad y a la parte pública de la aplicación.
Para dejar el fichero accesible, una vez subamos la aplicación a producción deberemos poner a sistemas el siguiente Jira
Alta tarea JIRA: "NOMBRE_APLICACION Hacer accesible fichero robots.txt" | |||
|---|---|---|---|
Proyecto | DJ-AT-SIS-MIDDLE | ||
Tipo de tarea: | "Petición de servicio" | ||
Descripción: | Hacer accesible fichero robots.txt en producción para la aplicación XXXX La ubicación real del fichero en la aplicación es XXXX.um.es/XXXX/robots.txt Para que los indexadores encuentren el fichero hay que hacerlo accesible desde XXXX.um.es/robots.txt Poner la regla necesaria para que el acceso a esa URL redirija a la dirección real donde se encuentra el fichero. | ||