it-swarm.it

Se non voglio impostare alcun comportamento speciale, va bene se non mi preoccupo di avere un file robots.txt?

Se non voglio impostare alcun comportamento speciale, va bene se non mi preoccupo di avere un file robots.txt?

O la mancanza di uno può essere dannosa?

29
Dan Dumitru

La mancanza di un file robots.txt non sarà dannosa. Dal sito web robotstxt.org :

Per consentire l'accesso completo a tutti i robot

Agente utente: *
[. .____] Disallow:

(o semplicemente creare un file "/robots.txt" vuoto o non utilizzarlo affatto)

Tuttavia, anche se non stai specificando nulla nel tuo file robots.txt, è un buon modo di informare i motori di ricerca della posizione della tua Sitemap XML . Puoi farlo aggiungendo una riga nella parte superiore del file robots.txt che assomigli a:

Mappa del sito: http://www.example.com/sitemap-Host1.xml

Dovresti anche essere consapevole del fatto che non averlo creerà molte 404 voci nei tuoi log web.

30
JasonBirch

Se non hai un "robots.txt" il tuo registro degli errori otterrà molti file 404s sul file, il che potrebbe essere una sorta di fastidio, simile a se non hai una favicon.

21
delete

Penso che sarebbe have essere OK, altrimenti enormi parti del web non sarebbero indicizzabili dai web spider.

No robots.txt è uguale a "consenti indicizzazione da parte di tutti" robots.txt quasi per definizione.

6
Jeff Atwood

La mancanza di un file robots.txt lascia al crawler il compito di decidere cosa può e cosa non può fare. Dal momento che bastano pochi secondi per evitare qualsiasi tipo di ambiguità, perché non crearne uno che consenta a tutti gli agenti di accedere a tutto?

2
Tim Post

Bene, poiché robots.txt contiene l'indirizzo del tuo sitemap , non averne uno è potenzialmente dannoso.

0
Thomas Bonini

A seconda dei tuoi contenuti, non dovresti avere problemi a non avere un file robot a condizione che tu abbia a che fare con tutte le pagine del tuo sito indicizzate dai motori di ricerca.

0
seanl