...
| Bloque de código |
|---|
User-agent: * Disallow: / Allow: /contexto_aplicacion/index.htmlportal.seam Allow: /contexto_aplicacion/declaracionAccesibilidad.seam Allow: /contexto_aplicacion/politicaCookies.seam Allow: /contexto_aplicacion/politicaPrivacidad.seam Allow: /contexto_aplicacion/fundeweb/400.seam Allow: /contexto_aplicacion/fundeweb/401.seam Allow: /contexto_aplicacion/fundeweb/403.seam Allow: /contexto_aplicacion/fundeweb/portal404.seam Allow: /contexto_aplicacion/fundeweb/declaracionAccesibilidad500.seam Allow: /contexto_aplicacion/fundeweb/politicaCookies501.seam Allow: /contexto_aplicacion/fundeweb/politicaPrivacidad503.seam Crawl-delay: 10 |
siempre y cuando esas páginas indicadas en el fichero, realmente existan.
...