Lo strumento di rimozione URL di GWT è una piaga da non usare

Segnale di divieto rimozione URL

(a grande richiesta, un articolo breve per far riprendere fiato ai lettori)

Questo articolo dovrebbe in teoria essere parte di un più vasto argomento che potrei intitolare “Google Webmaster Tools non è Google”.

Nel corso del tempo ho infatti osservato diversi casi in cui alcune persone reagivano alle informazioni pubblicate su GWT come se esse fossero valutazioni sul sito svolte dal motore di ricerca.

In realtà le cose non stanno proprio così e non mancherà l’occasione di affrontare l’equivoco più ampio, tuttavia questo post è dedicato ad una piaga specifica: il tool per la rimozione delle pagine dai risultati di ricerca di Google, che nella versione inglese di GWT viene chiamato “Remove URLs”.

Lascia perplessi quanto la finalità di questo tool sia stata incompresa da webmaster e SEO: in tutti gli episodi che ho valutato tale funzionalità di rimozione URL è stata infatti usata in modo errato, rendendo la vita a Google un po’ più difficile.

La confusione attorno allo strumento di rimozione URL è talmente grande e diffusa che questa funzionalità mi risulta essere l’unica per la quale Google si sia spinto a creare un’apposita pagina di supporto che spiega quando non usare il tool di rimozione URL.

Vale dunque la pena di capire come stanno effettivamente le cose per evitare errori futuri.

Usi impropri

Per focalizzare l’articolo sui problemi che ho osservato nell’uso dello strumento di rimozione URL, darò per scontato che voi conosciate già la funzionalità e vi lascerò un link alle pagine di supporto di Google dedicate ad essa nel caso in cui vogliate rinfrescarvi la memoria.

I modi (errati) in cui ho visto usare lo strumento sono principalmente due:

  • dopo una modifica al sito che comportava il cambio di URL, il tool di rimozione è stato usato nel tentativo di eliminare le vecchie risorse dall’indice
  • il tool è stato usato per rimuovere grandi quantità di contenuti duplicati o estremamente simili

Tutti e due gli errori nascono da un equivoco di base su che cosa cavolo fa effettivamente ‘sto benedetto strumento e quindi chiarisco subito: la funzionalità di rimozione URL fa scomparire le risorse dalle SERP, non dagli archivi o indici di Google. La differenza tra le due cose è davvero enorme, come sto per spiegarvi.

Crawling e indicizzazione

Parte della pipeline di Google

Questo è solo un dettaglio, molto semplificato, della pipeline di Google, che prosegue idealmente con la fase di indicizzazione.

Le fasi di crawling e indicizzazione di un qualsiasi motore di ricerca fanno parte di un sistema equilibrato dove tutto è connesso e dove il risultato di ogni passo dipende dai risultati dei passi precedenti.

L’intero processo comprende anche attività speciali il cui svolgimento può avvenire anche durante più di una fase. Per esempio in Google l’attività di canonizzazione degli URL, che ha un’influenza diretta su quali risorse vengono archiviate e indicizzate, avviene in parte durante la fase di crawling ed in parte durante la fase di indicizzazione.

La “pipeline” che include tutte le fasi citate, nonché diversi altri sotto-passi che non dettaglierò, va percepita come un unico organismo nel quale ogni fenomeno avvenuto durante una fase del processo può avere ripercussioni in altri momenti.

Proprio perché ogni fase è così complementare all’altra, introdurre un elemento estraneo tra ingranaggi così ben oliati rischia di produrre qualche grattacapo. In questo caso l’elemento estraneo è proprio il tool di rimozione URL.

Il “removal tool” è un intervento a gamba tesa

Purtroppo lo strumento di rimozione URL non è un elemento integrato organicamente nel flusso naturale delle cose.

Google ha introdutto questa funzionalità su GWT per fornire ai gestori dei siti un modo per nascondere urgentemente specifiche risorse nelle SERP, ma dotare il sistema di un meccanismo per rimuovere velocemente risorse, partendo da una richiesta degli utenti, ha costretto Google a scegliere tra due possibili strade:

  • snaturare quel processo organico che è il sistema di crawling e indicizzazione, integrando una reale funzionalità di de-indicizzazione immediata delle risorse in grado di accettare richieste dall’esterno (e per “esterno” si intendono gli utenti)
  • mantenere il sistema di crawling e indicizzazione sostanzialmente inalterato, creando uno strumento di “rimozione” URL che in realtà producesse solo un effetto cosmetico sulle SERP

Come forse intuirete, Google ha scelto la seconda strada, per motivazioni che possono essere comprensibili. Questa è la ragione per la quale lo strumento di rimozione URL non può essere usato per rimuovere realmente risorse da archivi o indici: non è ciò che la funzionalità fa. La funzionalità evita solo che le risorse siano visualizzate nelle SERP.

In altre parole il tool è una medicina che rimuove il sintomo ma che non cura alcuna causa, il che mi porta anche a fare la considerazione che segue.

Se rimuovi il sintomo, non puoi diagnosticare

Così come il dolore è per gli esseri viventi un segnale che consente di capire che qualcosa non va, allo stesso modo una qualunque condizione negativa emersa da un’analisi SEO di un sito va usata innanzitutto come punto di partenza per capire le cause del problema.

La presenza di molti contenuti duplicati, le lentezze del motore ad aggiornare i propri indici o le difficoltà a farsi perlustrare a fondo e frequentemente dagli spider sono sopra ogni cosa dei sintomi che ogni buon SEO dovrebbe studiare per diagnosticare i problemi che affliggono un sito web. Per ogni fenomeno osservato c’è sempre a monte (almeno) una ragione tecnica ed un SEO può essere considerato una via di mezzo tra un medico ed un investigatore.

Una delle ragioni per le quali il tool di rimozione URL è una iattura biblica quando viene usato per finalità errate è che rimuove dalla vista dei SEO quei sintomi che gridano a squarciagola al mondo che qualcosa non va, nella speranza di attirare l’attenzione di qualcuno.

Se Google è lento nel percepire i cambiamenti agli URL di un sito, ci sarà un motivo di fondo, no? Se i fenomeni di duplicazione delle risorse creano problemi tangibili alla qualità del traffico organico, ci sarà una ragione. Chiedere a Google di nascondere sulle SERP gli URL “vecchi” o duplicati equivale ad ignorare problemi che invece andrebbero analizzati.

Rimuovi i tuoi competitor da Google!

Per fornirvi un panorama completo di quanto inevitabilmente raffazzonato e problematico sia un qualsiasi tool di rimozione URL estraneo al sistema di crawlin/indexing, non posso esimermi dal raccontarvi di un paio di incresciosi aneddoti sui devastanti bug che hanno infestato i vari tool di Google preposti a questo scopo.

Tool di rimozione pre-GWT

Tanti anni fa stavo bazzicando sul forum di Webmasterworld.com, che ospitava a mio parere le discussioni SEO internazionali della qualità più alta. Un giorno entra un tizio nuovo, apre una discussione e asserisce che il proprio sito è stato de-indicizzato da Google e che il processo di rimozione URL fornito da Google è buggato e permette a chiunque di rimuovere il sito di chiunque altro. Il tizio spiega anche un po’ il metodo ma forse in modo non del tutto chiaro, di conseguenza gli “anziani” del forum reagiscono dicendo che secondo loro le cause erano altre. Il tizio insiste e cerca di spiegarsi meglio, poi alla fine capisce che è meglio fare un esempio pratico e dice: “Guardate, ho cancellato Microsoft.“. In tanti si va su Google a fare la ricerca ed effettivamente il sito di Microsoft è stato spazzato via dalle SERP. A quel punto l’intero pianeta SEO collassa.

Godetevi se volete un articolo dell’epoca per scoprire come è finita la storia e date il benvenuto al bug successivo.

Tool di rimozione di GWT

Qui non ho un’aneddoto da raccontare ma vi dovrebbe essere sufficiente sapere che anche in questo caso è stato possibile sfruttare un bug del tool di rimozione URL per rimuovere dalle SERP di Google anche siti di proprietà altrui. In questo articolo trovate tutti i dettagli.

L’obiettivo di questi due esempi era quello di dimostrare quanto intrinsecamente pericoloso è fornire ai webmaster un metodo per influire direttamente sul processo di indicizzazione. Spero di esserci riuscito.

Conclusione: quando non usare il tool

Dopo aver spiegato che il processo di rimozione URL di GWT altro non è che un intervento cosmetico, non integrato nelle normali attività di indicizzazione e analisi dei siti svolte da Google, dovreste aver già intuito da voi che il tool non va usato mai per tentare di aggiustare problemi di indicizzazione o duplicazione o canonizzazione o crawling. Insomma, niente che sia riconducibile a problemi tecnici o di ranking.

Come già accennato, Google fornisce anche un elenco di casi in cui il tool non deve essere usato. Vi fornisco il link pregandovi di non commettere l’errore di pensare che l’elenco presente in questa pagina di supporto sia quello completo dei casi in cui il tool non va usato. Fate al contrario: considerate quelli elencati nella pagina solo come alcuni esempi di cose da non fare e partite invece dal presupposto che il tool non vada usato mai e poi mai tranne nel caso per il quale è effettivamente nato, ovvero…

Conclusione: l’unico reale caso in cui usare il tool

Il tool può essere usato nei casi di estrema emergenza in cui è necessario rimuovere urgentemente dalle SERP risorse proprie, per problemi legali o di immagine.

Essendo comunque l’operazione una pezza-accrocchio indicibile e tenendo conto del fatto che le risorse rimangono in realtà da qualche parte nei datacenter di Google, bisogna stare attenti alle ripercussioni.

Per esempio le risorse rimosse dalla vista ricompariranno magicamente dopo 90 giorni dalla richiesta se le stesse saranno accessibili agli spider dopo il periodo di tre mesi. Per scongiurare il ritorno dei morti viventi, seguite bene le procedure indicate da Google, che cambiano leggermente tra rimozione di singole risorse e rimozione di intere directory.

Mi auguro che il post possa essere d’aiuto a chiunque voglia chiarirsi le idee sul modo in cui la funzionalità di GWT (non) va usata. :)

Aggiornamento di settembre 2015

A conferma che il tool in questione non è mai stato uno strumento per rimuovere realmente risorse dall’indice del motore, Google ha cambiato il testo che appare in cima alla pagina del tool, indicando che lo strumento si limita a nascondere temporaneamente una risorsa dai risultati di ricerca. Quindi: la risorsa rimane in pancia al motore ma non viene mostrata nei risultati. La precisazione è stata notata, tra gli altri, da Jennifer Slegg e discussa in questo post sul suo sito.

P.S.
Pensavo che sarebbe interessante parlare di argomenti simili in qualche evento. Giusto per dire.

10 Responses to Lo strumento di rimozione URL di GWT è una piaga da non usare

  1. Salvatore scrive il 15 May 2013 at 12:39

    “Il tool può essere usato nei casi di estrema emergenza in cui è necessario rimuovere immediatamente risorse dalle SERP per problemi legali o di immagine.”

    Bella questa, grazie della segnalazione… non sapevo affatto di questo utilizzo malevolo del tool.

    • LowLevel scrive il 17 May 2013 at 07:13

      @Salvatore: probabilmente mi sono espresso male in quella frase, perché io intendevo la rimozione urgente di contenuti propri. :) Adesso ho aggiunto la precisazione all’articolo, grazie!

  2. fiorica scrive il 16 May 2013 at 10:18

    prima di tutto grazie per gli utlimi articoli, veramente interessanti, Non uso quasi mai questo strumento ma ultimamente ho fatto richiesta di rimozione per la versione mobile di un sito che sto seguendo e che era stato indicizzato nelle serps. Alla fine, ho pensato che potesse esserci il rischio che un utente ci accedesse. che ne pensi? operazione inutile?

    • LowLevel scrive il 17 May 2013 at 08:06

      @fiorica: Ciao. Se la versione del sito mobile segue le linee guida suggerite da Google allora il motore è in grado di suggerire quel tipo di risorse solo ad utenti che fanno ricerca da dispositivi mobile. Quindi è improbabile che un utente “desktop” trovi nelle SERP di Google un link alla versione mobile del sito.

      Se hai chiesto la rimozione dalle SERP della versione mobile, questo significa che gli utenti che fanno ricerche da dispositivi mobile troveranno nelle SERP di Google solo link alla versione “desktop” del sito. Quanto questo sia desiderabile è ovviamente qualcosa che devi valutare tu.

      In senso più generale, quand’anche tu volessi volontariamente eliminare l’intera versione mobile del sito dall’indice di Google, lo strumento di GWT discusso nell’articolo non sarebbe la soluzione corretta, per le ragioni già spiegate. Ogni obiettivo di de-indicizzazione dovrebbe infatti fare uso della semplice direttiva NOINDEX.

    • fiorica scrive il 17 May 2013 at 09:33

      ok, grazie mille per la risposta :)

  3. Mauro scrive il 2 September 2013 at 13:36

    Invece per eliminare quei link in entrata da siti ‘borderline’, che strumenti usi? Non ho mai fatto tecniche di black o gray seo, ma mi trovo link in entrata da siti strani.

  4. Andrea scrive il 22 October 2013 at 11:30

    Ciao Enrico, da quel che ho letto è possibile eliminare in maniera definitiva un sito o pagina utilizzando il tool, a patto che sia bloccata la risorsa via robots.txt, come indicato dalle linee guida di Google

    Cosa mi puoi dire a riguardo?
    Grazie

    https://support.google.com/webmasters/answer/1663427

    To ensure your directory or site is permanently removed from Google’s search results, you should use robots.txt to block crawler access to the directory (or, if you’re removing a site, to your whole site). We recommend doing this before or soon after requesting removal of the directory. Otherwise, your content may later reappear in search results.

    • LowLevel scrive il 30 October 2013 at 03:39

      @Andrea: ciao Andrea, rispondo solo adesso al tuo commento perché il poco tempo avuto nell’ultimo periodo mi ha indotto a non accedere al sito per giorni. :-)

      Confermo quanto hai letto nelle pagine guida di Google, che è anche quanto scrivevo nell’articolo:

      Per esempio le risorse rimosse dalla vista ricompariranno magicamente dopo 90 giorni dalla richiesta se le stesse saranno accessibili agli spider dopo il periodo di tre mesi.

      Se dopo i 90 giorni gli spider non potranno accedere alla risorsa perché stai usando la direttiva Disallow per chiedere loro di non accedervi, la risorsa non tornerà nelle SERP. Ogni 90 giorni gli spider effettuano questo controllo di accessibilità e si comportano di conseguenza.

  5. Maria scrive il 5 August 2014 at 10:52

    Ciao! Io ho qualche problema con la pagina “contatti”. Google mi dà errore 404 per 2 pagine di prova che avevo creato all’inizio della costruzione del mio sito, ovvero contact-me/ e contact-me-2/. La versione ufficiale è contact/. Cosa si fa in questi casi? Chiedere o no la rimozione di questi url? Non sono molto orientata al redirect. Grazie!

    • LowLevel scrive il 5 August 2014 at 21:11

      @Maria: Ciao. Se quelle pagine restituiscono errore 404, allora Google le sta già ignorando e probabilmente non sono presenti nell’indice. Cerca i loro indirizzi su Google: se non appaiono nei risultati, vuol dire che sono già state rimosse dall’indice.

      Magari è inoltre il caso di controllare se sul sito ci sono ancora link che puntano agli indirizzi vecchi e aggiornarli in modo che puntino agli indirizzi nuovi.

      Se non vuoi fare le redirezioni, allora Google continuerà a riportare quelle pagine, correttamente, come 404, visto che non esistono più. In questo caso non è un problema, visto che si tratta di pagine che hai stabilito tu che non debbano esistere.

      Al massimo è una scocciatura vederseli sempre nella lista. Puoi selezionare le righe di quegli errori e cliccare su “Segna come corretti”, ma è possibile che riappaiano in futuro.

Lascia un commento

More in Just SEO
Come calcolare la distribuzione del “PageRank” tra le pagine di un sito

Un'ottima descrizione del PageRank e della sua relazione con un sito web può essere data parafrasando le parole di Obi...

Close