file robots txt e woorank

4 contenuti / 0 new
Ultimo contenuto
file robots txt e woorank

salve a tutti vorrei sapere quali sono le cartelle e i file di drupal da escludere dall'indicizzazione nel file robots.txt e perchè woorank mi dice che non riesce ad accedere al mio sito per analizzarlo. grazie

Drupal Version:

il robots.txt di default esclude le cose essenziali, con quello i siti sono indicizzati senza problemi in google, non so quale problema tu abbia esattamente con woorank, comunque io solitamente non tocco il robots di default salvo rari casi...

Guarda tu stesso il tuo robots, controlla se ci sono "disallow" tutti i percorsi più profondi vengono disabilitati.

Ad esempio
Disallow: /
disabilita l'indicizzazione di tutto il sito!

per woorank ho risolto, il problema era il sito off-line che non permetteva l'accesso...per il file robots.txt volevo sapere se basta così com è o bisogna aggiungere altri file e/o cartelle come disallow, non so ad esempio files, sites o altre