Se non voglio impostare alcun comportamento speciale, va bene se non mi preoccupo di avere un file robots.txt?
Se non voglio impostare alcun comportamento speciale, va bene se non mi preoccupo di avere un file robots.txt?
O la mancanza di uno può essere dannosa?
La mancanza di un file robots.txt non sarà dannosa. Dal sito web robotstxt.org :
Per consentire l'accesso completo a tutti i robot
Agente utente: *
[. .____] Disallow:(o semplicemente creare un file "/robots.txt" vuoto o non utilizzarlo affatto)
Tuttavia, anche se non stai specificando nulla nel tuo file robots.txt, è un buon modo di informare i motori di ricerca della posizione della tua Sitemap XML . Puoi farlo aggiungendo una riga nella parte superiore del file robots.txt che assomigli a:
Mappa del sito: http://www.example.com/sitemap-Host1.xml
Dovresti anche essere consapevole del fatto che non averlo creerà molte 404 voci nei tuoi log web.
Se non hai un "robots.txt" il tuo registro degli errori otterrà molti file 404s sul file, il che potrebbe essere una sorta di fastidio, simile a se non hai una favicon.
Penso che sarebbe have essere OK, altrimenti enormi parti del web non sarebbero indicizzabili dai web spider.
No robots.txt è uguale a "consenti indicizzazione da parte di tutti" robots.txt quasi per definizione.
La mancanza di un file robots.txt lascia al crawler il compito di decidere cosa può e cosa non può fare. Dal momento che bastano pochi secondi per evitare qualsiasi tipo di ambiguità, perché non crearne uno che consenta a tutti gli agenti di accedere a tutto?
Bene, poiché robots.txt contiene l'indirizzo del tuo sitemap , non averne uno è potenzialmente dannoso.
A seconda dei tuoi contenuti, non dovresti avere problemi a non avere un file robot a condizione che tu abbia a che fare con tutte le pagine del tuo sito indicizzate dai motori di ricerca.