A partir del arquetipo de aplicaciones FundeWeb se ha añadido el fichero rotots robots.txt para controlar el acceso a las aplicaciones por parte de bots/crawlers.
Este fichero estará alojado en la carpeta carpeta /web/src/main/webapp. Ejemplo:
| Bloque de código |
|---|
User-agent: * Disallow: / Allow: /contexto_aplicacion/index.html Allow: /contexto_aplicacion/declaracionAccesibilidad.seam |
| Info |
|---|
El valor de contexto_aplicacion, es propio de la aplicación, es decir, que no no solo hay que pegar el contenido del fichero, también hay que modificarlo para que sea correcto para la aplicación. |
Por defecto solo se deja acceder a la página de acceso, a la declaración de accesibilidad y a la parte pública de la aplicación.
Para dejar el fichero accesible, una vez subamos la aplicación a producción deberemos poner a sistemas el siguiente Jira
Alta tarea JIRA: "NOMBRE_APLICACION Hacer accesible fichero robots.txt" | |||
|---|---|---|---|
Proyecto | DJ-AT-SIS-MIDDLE | ||
Tipo de tarea: | "Petición de servicio" | ||
Descripción: | Hacer accesible fichero robots.txt en producción para la aplicación XXXX La ubicación real del fichero en la aplicación es XXXX.um.es/XXXX/robots.txt Para que los indexadores encuentren el fichero hay que hacerlo accesible desde XXXX.um.es/robots.txt Poner la regla necesaria para que el acceso a esa URL redirija a la dirección real donde se encuentra el fichero. | ||