Se è così, un motore di ricerca come dovrebbe andare a guardare gli URL delle pagine e “spezzettarli” in parti significative per identificare le keywords?

Dividere gli URL in parti potrebbe anche giocare un ruolo in come le pagine di un sito verrebbero visitate dallo spider di un motore di ricerca.

Un recente brevetto pubblicato da Yahoo ci da alcune idee di come potrebbe estrarre le keywords dagli URL delle pagine, classificarli, usando informazioni scoperte nel processo per determinare quali pagine visitare per prime con lo spider.

Tecniche per Contrassegnare gli URL
Inventato da Krishna Leela Poola e Arun Ramanujapuram
Assegnato a Yahoo
Numero di Brevetto USA 2000083266
Pubblicato il 26 Marzo 2009
Archiviato il 6 Novembre 2007

Un motore di ricerca guarderà molti differenti fattori per determinare a cosa si riferisci una pagina nel Web, e provare a classificare le pagine basandosi sulle keywords, che potrebbero essere un’indicazione dell’argomento importante , o sui contenuti di quelle pagine.

Molte di quelle keywords vengono estratte dai contenuti delle pagine stesse, ma un motore di ricerca può osservare altre informazioni associate alla pagina, come ad esempio l’indirizzo delle pagine.

Le Keywords possono anche essere estratte dagli URL delle pagine, usando un algoritmo che può dividere l’URL in componenti, capendo la struttura di quell’URL e rimuovendo alcune keywords dalle diverse parti trovate all’interno dell’URL.

Parti degli URL

Il brevetto fornisce una definizione alle differenti parti degli URL:

• Schema: Questa parte di URL identifica il protocollo usato per accedere alla risorsa, come HTTP o FTP.
• Autorevolezza: La parte di URL che identifica il server dove sono situati documenti e risorse, o più semplicemente il nome a dominio.
• Path: Questa è l’informazione seguente allo slash dopo “l’autorevolezza”, o il nome a dominio, e identifica la specifica pagina o la risorsa.
• Argomenti della Query: Una stringa che può apparire nella Path che può essere divisa in nome e coppie di valorim come ad esempio “categoria=magliette”.
• Frammenti: Un frammento identifica una sottosezione all’interno di una pagina che potrebbe essere indicata nell’URL, di solito inizia con questo simbolo “#”.

Un esempio di questi cinque differenti componenti dal deposito di brevetti(indicati con i cinque colori qua sopra):

http://www.yahoo.com:80/shopping/search?kw=blaupunkt#desc

Contrassegnare gli URL per Keywords e Scansione del Web

Il brevetto descrive una modo per dividere gli URL in parti, o componenti, per estrarre le keywords dagli URL. Quelle keywords potrebbero essere usate per dividere in categorie le pagine per le ricerche nel web, e per capire di cosa parlano le pagine quando vengono provviste pubblicità per quelle pagine.

Questa divisione degli URL in componenti, e in più piccole parti è trattata come “Contrassegnamento degli URL”. Oltre ad aiutare un motore di ricerca per trovare le parole chiave negli URL, può avere un impatto sulla indicizzazione delle pagine di un sito web:

I segni generati dal contrassegnamento degli URL possono anche essere determinati con caratteristiche del documento web per affinare l’efficienza di una ricerca. Contrassegnare gli URL è inoltre il primo passo raggruppando gli URL di un sito web. Raggruppare gli URL consente l’identificazione di porzioni di un documento che mantiene più rilevanza. Quindi quando un sito web viene scansionato da un motore di ricerca, alcune porzioni di documenti potrebbero essere inserite in una “white list” ed essere scansionate, mentre altre porzioni potrebbero essere inserite in una “black list” e non venire scansionate. Ciò guida una scansione del web più efficiente.

Conclusioni

Yahoo fornisce un giusto livello di dettagli nel brevetto su come gli URL possono essere divisi in componenti, e su come le keywords possono essere estratte da quei componenti, fornendo diverse classificazioni. Se siete interessati a come gli URL di un sito potrebbero essere trattate da questo processo, è importante spendere qualche tempo con il deposito brevetti stesso per comprendere al meglio i dettagli tecnici. Tenete a mente che i processi di questo brevetto possono non essere gli unici che Yahoo stia utilizzando in questo momento.

Una nota precauzionale

Cambiare gli URL delle tue pagine, specialmente se quegli URL sono stati Online per qualche tempo e sono stati indicizzati dai motori di ricerca, è una procedura che non deve essere avviata senza un attento esame, e senza l’uso di un approccio prudente che mantiene il rischio di questo cambiamento al minimo.

Un approccio di questo tipo può prevedere l’uso di corretti redirects(Redirect 301) per ogni nuovo URL per i links esterni che puntano alle pagine del sito e di altre tecniche che possono aiutare a far mantenere invariato il posizionamento nei motori di ricerca.

Come un motore di ricerca potrebbe reagire alle modifiche di un URL può cambiare da un motore di ricerca all’altro e il traffico verso le pagine di un sito può essere influenzato negativamente da un tale cambiamento, per un determinato periodo di tempo, indipendentemente da quanto attentamente è stato fatto tale cambiamento.

Fonte: SeobytheSea

Articoli Correlati

• SEO: Joomla meglio di Wordpress, non ci credi?
  Ho sempre utilizzato wordpress per realizzare i miei siti e non ho mai provato altri cms per il semplice motivo che mi venivano sconsigliati in quanto "non SEO"...
• La funzione eventi in Rich Snippets e Answer Highlighting
  Google ha annunciato la nascita di due nuove tecnologie per affiancare e migliorare i risultati di ricerca. La funzione Answer Highlighting per Google Squared e...
• Motori di Ricerca? Non c’è solo Google!
  Probabilmente i motori di ricerca di cui la maggior parte degli internauti è a conoscenza si limita ai big quali Google, Yahoo, MSN e Ask se non a volte ancora ...

Un documento di brevetto Yahoo, pubblicato all’inizio di gennaio, ci fornisce dettagli su come il motore di ricerca potrebbe automatizzare la SEO per i motori.
Il processo descritto coinvolge la ricerca delle query eseguite dai ricercatori nel motore e dei file di log e possibilmente anche l’attenzione per le attività di navigazione di quei stessi ricercatori.

Potrebbe anche coinvolgere l’attenzione per le informazioni che gli utenti hanno compilato su come le parole dovrebbero essere correlate semanticamente l’un l’altra come concetti o come argomenti (o per usare le loro parole, come unità), e la popolarità o la tendenza di quei termini o unità.
Le parti delle pagine, come i titoli e le testate e gli URL per le pagine e gli alt text per le immagini potrebbero essere riscritte automaticamente sulle pagine web, nel tentativo di ottimizzarle per i termini più popolari.

Nella sezione background della domanda di brevetto, viene data una definizione di ottimizzazione per i motori di ricerca:

L’ottimizzazione per i motori di ricerca (Search Engine Optimization o, SEO) si riferisce ad azioni che un sito web esegue per migliorare la sua presenza e il suo posizionamento per query di ricerca rilevanti.
I motori di ricerca più popolari, tra i quali Yahoo!.RTM., Google.RTM., e Microsoft Live.RTM., possono utilizzare tecniche similari per determinare la rilevanza dei risultati di ricerca, e la SEO potrebbe includere i tentativi di un sito di apparire in modo più accurato in quei risultati di ricerca.

La SEO può essere effettuata migliorando le etichette, i tag e le informazioni su un sito. Di conseguenza, è opportuno migliorare la SEO delle pagine, così che quelle pagine appaiano nei risultati di ricerca per query correlate al contenuto delle pagine stesse.

La domanda di brevetto è la seguente:

Sistema automatizzato per migliorare la SEO nelle pagine
Inventato da Chyr-Chong (Giuseppe) e Adam Ting Hyder
Assegnato a Yahoo
Numero di brevetto USA 20090006311
Pubblicato il 1 ° gennaio 2009
Archiviato 28 giugno 2007

Estratto:
Viene fornito un sistema e un metodo per l’ottimizzazione per motori di ricerca (SEO). La SEO automatizzata potrebbe analizzare i logs delle query di ricerca, o i database dei log di ricerca per determinare i concetti/ unità popolari che potrebbero essere utilizzati per ottimizzare automaticamente un sito o una pagina per i risultati del motore di ricerca.

Il sito o la pagina viene modificato basandosi sul SEO automatizzato. In particolare, il database dei log può fornire una lista della frequenza delle unità che rifletta la popolarità delle varie unità. Le unità più popolari che sono correlate al contenuto della pagina possono essere usate nel SEO automatizzata della pagina.

La lista della frequenza delle unità può essere comparata con le unità esistenti sulla pagina, così che le parole più popolari e i concetti più popolari all’interno della pagina possano essere enfatizzati.

La domanda di brevetto fornisce un numero di esempi su come il loro sistema di SEO automatizzata potrebbe aggiornare i titoli delle pagine, gli URL delle pagine, le meta description e le meta keyword, gli attributi alt delle immagini, e le testate delle pagine. Per esempio, ecco una discussione sui titoli delle pagine:

In un esempio, se avete un blog sulle squadre sportive di Chicago, il vostro titolo potrebbe essere generico, come ad esempio “Chicago sport blog.” Tuttavia, dopo aver comparato la lista delle unità frequenti e la lista delle unità della pagina, potrebbe essere stabilito che attualmente i termini Chicago Cubs.RTM. sono i più popolari.

Di conseguenza, l’ottimizzatore per motori di ricerca seleziona quella unità che modifica il titolo a “Chicago Cubs blog.” La popolarità dell’unità Chicago Cubs.RTM. può fornire dei risultati di ricerca migliori rispetto al titolo “Chicago sport blog.”

Ho qualche dubbio riguardo a quest’approccio.
Non posso fare a meno di chiedermi se il titolo per il blog che viene descritto possa essere cambiato in “Chicago Bulls Blog” durante la stagione di basket, o in “Chicago Bears Blog” nei weekend durante la stagione di football. È probabile che questi siano i termini più popolari durante quei periodi di tempo.

I siti che cambieranno regolarmente il proprio focus basandosi sulla popolarità dei termini di ricerca sacrificheranno le proprie identità per afferrare i termini di ricerca più popolari?
Ci sono anche altri aspetti della SEO che la domanda di brevetto non prende in considerazione, come le decisioni mirate a target di termini meno popolari piuttosto che quelle mirate ai più popolari.
Questo potrebbe accadere quando le persone che stanno dietro un sito riconoscono di non poter competere con i siti che al momento si trovano in classifica per quei termini, ma che allo stesso tempo riconoscono che quei siti non vengono ottimizzati per query di ricerca meno popolari, e credono che il loro audience sia formato da utenti alla ricerca dei termini meno popolari.
Oppure quando il proprietario di un sito riconosce che esista una nicchia di mercato o informativa non adeguatamente coperta nel web.

Conclusioni

La SEO non riguarda il tentativo di raggiungere più traffico possibile su un sito per i termini più popolari possibili.

Invece, si tratta di capire l’obiettivo di un sito, e sapere abbastanza del pubblico che potrebbe essere interessato in quello che il sito offre, per aiutare i ricercatori e quei siti a trovarsi l’un l’altro. Questo può riguardare trovare le parole giuste da usare nelle pagine di un sito piuttosto che le parole più popolari.
La SEO riguarda anche conoscere abbastanza il modo in cui funzionano i motori di ricerca così che sia più facile per tali motori indicizzare le pagine di un sito, e capire cosa quelle pagine trattano quando le indicizzano.

La domanda di brevetto Yahoo entra nei dettagli delle basi dell’ottimizzazione di una pagina individuale per i motori di ricerca, ma ignora molti dei dettagli tecnici coinvolti nella costruzione dei siti e delle pagine search engine friendly.

La domanda di brevetto Yahoo evita anche di discutere l’argomento della difficoltà che può comportare a volte ottimizzare pagine per termini di ricerca molto popolari e competitivi.
Il proprietario di un sito potrebbe volere targetizzare termini di ricerca meno popolari in pagine che si trovano a livelli di directory abbastanza profonde nei loro siti e che hanno un buon rank per le ricerche che il proprio pubblico condurrà su quelle pagine piuttosto che targetizzare termini più popolari per quelle pagine, ed avere un rank molto basso.
Un’altra questione che dovrebbe essere sollevata è il potenziale di conflitto di interessi del motore di ricerca che esegue anche l’ottimizzazione per motori di ricerca.

Ringraziamenti e Note

Si ringraziano:
Sara Radicia, webmaster di Firefox Blog e traduttrice per la traduzione del testo.
SeobytheSea per la stesura originale dell’articolo in lingua inglese e per la collaborazione data.

Articoli Correlati

• Cosa ho Imparato dai Video di Matt Cutts
  Matt Cutts, il più visibile ingegnere del team anti-spam di Google, porta avanti dall'inizio del 2009 una serie di video in auto dei webmaster, pubblicati su yo...
• Validazione W3C & SEO
  Capita spesso di sentirsi chiedere se la validazione W3C è veramente importante per la SEO: un sito che passerà il test W3C senza errori sarà avvantaggiato nel ...
• Spam, spam, spam
  Di solito quando vado a scrivere un articolo lo programmo, ci studio sopra, oppure riporto qualcosa preso oltreoceano, tradotto e rielaborato: questa volta ...
• Bad Links: Dichiarazioni da Google
  I link in entrata sono il più delle volte degli elementi positivi per il posizionamento nei motori di ricerca. Di norma i links dovrebbero però essere stret...

Perché un motore di ricerca dovrebbe spingere un utente ad assistere un programma di crawling ad esplorare il contenuto di pagine normalmente nascoste alla maggior parte di programmi di crawling?

Utenti che insegnano ai web Crawlers.

Qui abbiamo tre esempi di persone che potrebbero aiutare un crawler a scansionare un sito:

Webmaster – I motori di ricerca possono avere difficoltà a scansionare le pagine a causa dei link java script, dei link inclusi come opzioni nei form dei menu a tendina, e altre pagine che sono accessibili solamente attraverso form.
Mentre i motori di ricerca ci forniscono degli strumenti per provare a rendere più facile ai webmaster avere le pagine dei propri siti indicizzati, come quelle che si trovano su Google Webmaster Tools, Yahoo Site Explorer, e Webmaster Center – Live Search, nessuno di questi strumenti offerti si rivolge veramente al problema.

Per un webmaster che vuole avere modi alternativi di raggiungere le pagine dietro i java script o i form, può essere difficile fare in modo che un motore di ricerca indicizzi queste pagine. E se ci fosse un metodo per fare in modo che uno webmaster possa allenare un crawler ad accedere a pagine che si trovano dietro i forms e i java script incluso negli strumenti per webmaster forniti dal motore di ricerca?
Un webmaster potrebbe aiutare ad insegnare al programma di web crawling qual’è il modo più efficace di scansionare il suo sito web, a navigare nelle pagine del sito in un certo ordine, a riempire i form nel sito, e a interagire con le pagine del sito nel modo in cui vuole lo webmaster.

Queste interazioni possono essere catturate per creare regole di scansione del sito mediante le operazioni di apprendimento. Le regole poi potrebbero essere usate successivamente da un web crawler per scansionare il sito.

Recensori manuali – Qualcuno che recensisce manualmente il contenuto della struttura delle pagine web per vedere se i motori di ricerca possono effettivamente migliorare il modo in cui quelle pagine vengono indicizzate dal motore di ricerca potrebbe creare delle regole per il programma di crawling per far seguire i link in una maniera logica o per riempire il form di ricerca per trovare meglio le pagine più rilevanti nei siti.

Sottoscrittori di contenuto – Programmi come i feed RSS e gli strumenti mashup possono portare il contenuto di un sito a qualcuno interessato a vederlo, senza che quella persona debba visitare pagine multiple.
Se le persone interessate a quel contenuto potessero allenare il programma a scansionare attraverso i form che si trovano in luoghi come i siti per trovare lavoro o delle agenzia di viaggi, o altri siti che hanno il proprio contenuto al di là di form, potrebbe aiutarli ad intercettare il contenuto del sito e a consegnarlo direttamente a loro.

Problemi con il Crawling focalizzato

Qui abbiamo due tipi comuni di web crawling.

Free crawling – quando un programma di scansione trova una pagina, immagazzina la pagina e l’indirizzo o l’ URL, esegue tutti link che si possono trovare in quella pagina per localizzare altre pagine web.

Crawling Focalizzato- un programma di scansione prova a scansionare solo le pagine che contengono un tipo specifico di contenuto, o le pagine “rilevanti”.
Ci sono diversi differenti approcci per il crawling focalizzato, ma un programma di scansione può finire per scansionare pagine irrilevanti o mancare pagine rilevanti per differenti ragioni:

Diversità di Design and Struttura – C’è molta diversificazione e variazione tra il design e la struttura delle pagine web, e se il crawler segue una singola regola logica o poche regole logiche quando passa tra le pagine, potrebbe non essere accurato nel determinare la rilevanza delle pagine quando si trova ad affrontare un largo spettro di pagine diverse.

Pagine irrilevanti in una catena di link- Ipotizziamo che molti crawlers focalizzati seguano quelle pagine che contengono uno specifico tipo di contenuto che si linkano spesso l’un l’altra. Questo può essere fuorviante – se un crawler non segue un link ad una pagina che sembra non contenere uno specifico tipo di contenuto che si sta ricercando, e ci sono pagine che sono rilevanti oltre a quella catena di link che includono quella pagina, allora il contributo rilevante può essere tralasciato.

Pagine accessibili solamente attraverso Form – A volte è necessario riempire dei form, come ad esempio dei form di ricerca per l’assunzione di lavoro, per accedere al contenuto web rilevante, come le assunzioni di lavoro e le descrizioni. I moduli differiscono molto da un sito all’altro, e anche all’interno dello stesso sito, così che il contenuto rilevante può essere facilmente tralasciato se un crawler non capisce come riempire i diversi tipi di modulo.

Mancanza di accesso a contenuto limitato – Un proprietario di un sito potrebbe non volere che alcune pagine siano indicizzate, le quali però sono rilevanti per la focalizzazione della scansione.

Le cose che un web Crawler può imparare dall’osservare qualcuno che naviga attraverso un sito:

Qui ci sono alcune delle cose che un web crawler può imparare da un utente:

• Quali sono le pagine che hanno più probabilità di essere rilevanti
• Quali pagine hanno meno probabilità di essere rilevanti
• Come riempire al meglio i moduli per accedere al contenuto dinamico
• Come fare e perché cliccare in particolari parti di una pagina che sono state navigate come ad esempio gli URL o i bottoni o le schede
• Come selezionare i valori da un menu a tendina

Una domanda di brevetto di Yahoo esplora in profondità i modi in cui una persona può aiutare le scansioni di una pagina web :

Cattura automatica del contenuto web con l’assistenza dell’utente
Inventato da Amit Jaiswal, Arup Malakar e Binu Raj
Assegnato a Yahoo
Domanda di brevetto USA 20090019354
Pubblicato il 15 gennaio 2009
Archiviato l’11 settembre 2007

Estratto

Viene divulgato un metodo per l’esecuzione delle attività su un sito. Le attività di navigazione di un utente su un sito web vengono catturate. Le attività di browsing comprendono l’apposizione di etichette alle pagine web e il riempimento dei moduli. Le attività catturate vengono analizzate per la formulazione di modelli.

Le regole per l’esecuzione di attività su un sito web sono basate sulla generazione di modelli. Vengono eseguiti ulteriori attività su un sito secondo le regole ed il contenuto del sito viene attratto. Il contenuto catturato viene usato in tali servizi e applicazioni web, inclusi i crawlers.

Le regole che un programma di scansione web può imparare guardando qualcuno usare un particolare sito possono essere espanse dal programma per svolgere altre attività in quelle pagine che l’utente può non avere eseguito.

Esempio:
Un sito web con molti link è diviso in tre categorie, elenchi di posti di lavoro, sezioni non correlate al lavoro, e link alla homepage del sito.
Qualcuno può aver visitato alcune delle pagine con gli elenchi dei lavori, ma non tutte.
Il programma di scansione può imparare delle regole dalle visite delle pagine delle liste dei lavori, per capire come visitare tutte le pagine delle inserzioni di lavoro.

Conclusioni

Il brevetto Cattura Automatica ci fornisce molti dettagli su come l’interazione tra sito e utente può essere usata per aiutare il programma di crawling dei motori di ricerca ad indirizzare i tre tipi di attività che ho menzionato all’inizio di questo post:

• Un webmaster che allena un crawler a trovare pagine che dovrebbero essere indicizzate sui suoi siti,
• Un revisore manuale che impara ad un crawler come trovare le pagine, e;
• Un sottoscrittore normale che mostra al programma i tipi di informazioni che dovrebbero sottoscrivere e a cui dovrebbero essere spediti gli aggiornamenti.

Ci sono anche un paio di vecchie domande di brevetto Yahoo che potrebbero essere utilizzate con i metodi di questo presente a cui vale la pena dare un’occhiata per saperne di più su come Yahoo potrebbe provare ad indicizzare il contenuto del web e che si riferiscono ad alcuni di problemi che il crawling focalizzato spesso si trova ad affrontare:

• Compilazione intelligente dei moduli
• Modulo Online di riempimento automatico che utilizza l’interferenza semantica

Ho visto una quantità di persone dire in posti diversi del web che un motore di ricerca potrebbe imparare ad indicizzare dalle nuove pagine usando toolbars e altri strumenti per trovare nuove pagine che non ha ancora indicizzato.

La domanda di brevetto Yahoo che si occupa delle attività dell’utente per trovare nuovo contenuto da indicizzare nel web ipotizza l’uso di una toolbar per trovare pagine che si trovano ad un livello ulteriore, mostrando come un motore di ricerca possa imparare ai programmi di crawling come indicizzare più pagine e come creare delle regole site-specific sull’indicizzazione delle pagine prestando attenzione a come le persone navigano il web, interagiscono con le pagine, e riempiono i moduli.
Permettere agli webmaster e alle persone che vogliono sottoscrivere del contenuto di insegnare esplicitamente ai programmi di crawling come si navigano le pagine potrebbe alleviare il lavoro dei motori di ricerca e spostarlo sulle persone che potrebbero utilizzare i servizi che quei motori di ricerca potrebbero fornire.

Questo è sicuramente un passo al di là delle Sitemap XML.

Ringraziamenti

Si ringraziano:

Sara Radicia, webmaster di Firefox Blog e traduttrice per la traduzione del testo.
SeobytheSea per la stesura originale dell’articolo in lingua inglese e per la collaborazione data.

Articoli Correlati

• L’uso della Sitemap XML aiuta a velocizzare l’indicizzazione di contenuti
  I motori di ricerca usano dei programmi per scansionare il web, e identificare nuove pagine e pagine aggiornate da inserire nei propri indici. Si parla di Spide...
• Google XML Sitemap: Plugin per Wordpress
  Wordpress è uno dei CMS più utilizzati in assoluto nel web, sia per la gestione di semplici blog che per la creazione di siti web professionali, album di foto o...

La verità è più complessa di così.

Cosa dire dei blog che si linkano l’un l’altro su ogni pagina dei loro blogroll? O di link tra siti dello stesso proprietario che possono essere considerati ragionevoli, come ad esempio il link di un negozio su un dominio ad un blog in un dominio differente o un altro sotto dominio associato al sito, o di link all’interno di un gruppo di siti della stessa compagnia o organizzazione che si concentrano su differenti argomenti?
Cosa dire di siti che coprono argomenti simili o beni e servizi complementari e che trovano sia utile linkarsi l’un l’altro per favorire i loro visitatori?

Cosa pensano i motori di ricerca delle pagine risorse, dove i siti includono pagine di link e descrizioni di altri siti che essi ritengono possano essere utili per i i loro visitatori? Cosa succede se alcuni di questi siti li linkano a loro volta? Fa differenza se tali pagine di risorse includono una dichiarazione in cui affermano che metteranno il vostro sito sulle loro pagine in cambio di uno scambio di link?

Avvertenze dei motori di ricerca sul link tra pagine

I principali motori di ricerca commerciali forniscono alcune informazioni circa i loro orientamenti sui link:

Le pagine di Google sugli schemi di link mettono in guardia i proprietari di siti che alcuni tipi di linkaggio potrebbero influire negativamente sul rating dei loro siti, tra cui:

• link destinati a manipolare il Pagerank
• link verso spammer o cattivi vicini di web
• link reciproci eccessivi o eccessivo scambio di link (“linkate me e io linko voi”)
• l’acquisto o la vendita di link che trasferiscono Pagerank

Yahoo nelle sue linee guida sulla qualità dei contenuti di ricerca, fornisce esempi di contenuti che non desidera includere nei propri motori di ricerca, come ad esempio:

• siti eccessivamente cross-linked con altri siti per gonfiare apparentemente la popolarità di un sito (schemi di link)

La Guida di Windows Live, nelle sue pagine sugli orientamenti per una indicizzazione di successo, include nelle sue liste delle “tecniche che potrebbero impedire al vostro sito di venire visualizzato nei risultati Live Search” la seguente:

• utilizzare tecniche, come il link farm, per aumentare artificialmente il numero di link al vostro sito.

Come possono essere utili queste linee guida alla maggior parte degli utenti, o ad uno webmaster o blogger?

È probabile che una certa percentuale delle persone che usa Google, o che hanno i propri siti indicizzati dal motore di ricerca abbiano familiarità con il PageRank, ma potrebbero non sapere cosa si intende nelle linee guida per “schemi di link” e “link farm”.

Perché i motori di ricerca sono così preoccupati dei link tra le pagine?

Classificazioni secondo segnali di rank di ricerca

Quando eseguite una ricerca su un motore di ricerca, le pagine che avete in risposta alla vostra query vengono visualizzate in ordine di graduatoria e i motori di ricerca si basano su un gran numero di segnali per cercare di fornire le pagine che potrebbero avere una migliore corrispondenza con quello che intendete trovare sul web.

Questo tipo di classificazione è una sfida per i motori di ricerca perché spesso ci possono essere molte migliaia di milioni di pagine che possono contenere le parole che avete usato per eseguire la ricerca. Essi vogliono provare a fornire le migliori pagine possibili in cima ai risultati, o almeno pagine migliori di quelli che mostrano gli altri motori di ricerca.

Questi diversi segnali che un motore di ricerca può usare per determinare l’ordine delle pagine nei risultati di ricerca può essere classificato in modi diversi.

Segnali Rank Content Based, Link Based e User Behavior Based
La serie delle classificazioni si basa su questi segnali in tre differenti modi: su base dei contenuti, su base dei link e sulla base del comportamento degli utenti.

I segnali basati sul contenuto esaminano il contenuto che appare sulle pagine di un sito. I segnali basati sui link guardano alle connessioni tra il vostro sito e agli altri siti sul web. I segnali sull’utente guardano ai dati che indicano come la gente reagisce alle pagine del vostro sito, sia che si tratti di visualizzare il sito direttamente, sia che si tratto di vederlo nei risultati di ricerca di un motore di ricerca.

Segnali di Ranking dipendenti ed indipendenti dalle Query

Un altro modo in cui motori di ricerca possono classificare i segnali da utilizzare per il rank delle pagine può dipendere dal fatto se questi segnali siano correlati ad una ricerca che potreste utilizzare per cercare. Questo modo di classificare i segnali individua due diversi raggruppamenti – quanto si possa considerare importante una pagina, e quanto una pagina possa essere corrispondente per uno specifico termine di ricerca o frase.

I segnali che guardano all’importanza, o alla “qualità” di una pagina potrebbero considerare la qualità del contenuto della pagina, o l’importanza percepita dei link a quella pagina, o come le persone usano quella pagina, ad esempio se la mettono nei segnalibri, se trascorrono del tempo su di essa, se ne prendono nota in qualche modo, o se la usano in qualche modo che non è collegato ad una query specifica. Questi tipi di segnali per il ranking di una pagina sono spesso riferiti dai motori di ricerca come indipendenti dalla query, perché non si basano sulla ricerca che avrebbe potuto essere usata per trovare quella pagina.

I segnali che guardano all’importanza della pagina possono considerare quanto rilevante quella pagina possa essere per una specifica query per parola o frase, o quali parole possono apparire nei link che puntano alla frase e nelle parole che circondano il link e che sono associate con esse, e il modo in cui le persone possono usare la pagina in un modo che sia associato con una specifica query per parola o frase come ad esempio cliccare sul link della pagina quando appare nei risultati di ricerca per una specifica query per un determinato termine o frase, o se trascorrono una certa quantità di tempo su quella pagina dopo che una ricerca le ha portate ad essa. Questo tipo di segnali per il ranking di una pagina sono spesso riferiti dai motori di ricerca come dipendenti dalle query perché si basano su una query specifica usata per trovare la pagina.

Segnali di miscelazione e riordinamento del rank delle Pagine
Un motore di ricerca può usare la miscelazione di un buon numero di segnali per determinare in quale ordine mostrare le pagine agli utenti che effettuano ricerche. Potrebbe anche prendere quei risultati ordinati e riordinarli prima di presentarli agli utenti della ricerca e basarsi su altri fattori che riguardano tali pagine, come ad esempio il paese che è stato indicato dall’utente che ha eseguito la ricerca, quale linguaggio preferire per la visualizzazione dei risultati, e molti altri.

Ho scritto sul come e perché un motore di ricerca può riordinare i risultati di ricerca un certo numero di volte, incluso nei seguenti due post:

• 20 Ways Search Engines May Rerank Search Results
• 20 More Ways that Search Engines May Rerank Search Results

Collegamenti tra le pagine come segnale di ranking

Mentre ci sono molti tipi differenti di segnali che un motore di ricerca può usare per classificare le pagine web in risposta ad una ricerca, una delle più importanti differenze tra le pagine web e le pagine che potreste trovare in una collezione di documenti o all’interno di un’intranet è che le pagine web possono linkarsi l’un l’altra con degli hyperlinks. Questi link possono aiutare i motori di ricerca ad identificare quali pagine possono essere le più importanti.

Quando qualcuno scrive in un giornale accademico che può essere esaminato da altri accademici, questi spesso includono una lista di citazioni ad altri giornali accademici come fonti o referenze sulle quali si basano le loro carte. Si potrebbe supporre che un giornale accademico che sia riferito frequentemente da altri giornali accademici sia importante. Si potrebbe anche assumere che giornali che si riferiscono essere importanti siano importanti lo stesso anche se non sono menzionati da molte altre pubblicazioni accademiche.

Quest’ipotesi sulle citazioni nei giornali accademici è una delle influenze che stanno dietro al PageRank, il quale si avvantaggia degli hyperlink tra pagine sul web per determinare quali pagine siano le più importanti.

Il sistema delle citazioni nella letteratura accademica è stato applicato al web, in gran parte nel conteggio delle citazioni o dei backlink ad una pagina data. Questo dà approssimativamente l’idea dell’importanza di una pagina o della sua qualità. Il PageRank estende questa idea non ritenendo uguali tutti link da tutte le pagine, e normalizzando il numero di link ad una pagina.

- Anatomia di un grande motore di ricerca ipertestuale-

Mentre i link tra pagine sul web possono essere utili, i motori di ricerca si preoccupano e sono allo stesso tempo sospettosi dei link tra le pagine.

Ci sono siti che hanno lavorato per avvantaggiarsi dei collegamenti tra pagine per far apparire le loro pagine più importanti di quello che veramente sono. Il loro focus primario non è stato condividere link per fornire valore alle persone che visitavano i loro siti, o connettersi trasparentemente ad altri siti che potessero essere sotto la loro proprietà o il loro controllo, o linkare pagine il cui valore si basava sul contenuto delle stesse. Invece, si collegavano solamente per manipolare i segnali di ranking per provare a spostare i propri siti più in alto nei risultati di ricerca.

Domanda di brevetto Yahoo sui link reciproci eccessivi

Una nuova domanda di brevetto pubblicata da Yahoo discute come si potrebbero considerare i collegamenti tra pagine con link reciproci, e tenta di determinare se questi link siano stati creati per manipolare i risultati di ricerca. Il deposito di brevetto è il seguente:

Identificare i link reciproci eccessivi tra enti web

Inventato da Timothy M. Converse, Priyank Shankar Garg, e Konstantinos Tsioutsiouliklis

Assegnato a Yahoo

Domanda di brevetto USA 20090013033

Pubblicato 8 Gennaio 2009

Archiviato 6 luglio 2007

Estratto

Viene fornito un metodo per identificare i link reciproci. In un particolare host, la serie di host che linkano quel particolare host e la serie di host a cui quel particolare host è linkato sono determinati. L’intersezione tra l’unione dei due insiemi di host è determinata allo stesso modo, e le dimensioni dell’intersezione dell’unione sono calcolate.

La concentrazione di link reciproci in un particolare host viene calcolata basandosi sulla dimensione dell’intersezione e dell’unione. Una ratio della dimensione dell’intersezione con la dimensione dell’unione viene usata per determinare la concentrazione di link reciproci. Il particolare rank dell’host in una lista di risultati di ricerca classificati può venire cambiato per risultato dell’identificazione di un’alta concentrazione di link reciproci.

Brevetto correlato Yahoo sui link coinvolti

Questo deposito di brevetto su link reciproci eccessivi osserva che esso è connesso ad un altro paio di domande brevetto Yahoo.

Uno di questi è Using Exceptional Changes in Webgraph Snapshots Over Time For Internet Entity Marking.

Un metodo che i motori di ricerca possono usare per controllare chi sta linkando chi può essere la creazione di qualcosa conosciuto come grafico dei link o grafico web. Un grafico dei link è una rappresentazione visuale del web che vede la rete come un nodo, e i link tra le pagine come spigoli, o nodi tra quelle linee. La domanda di brevetto per “I Cambiamenti Eccezionali delle Istantanee Webgraph” guarda ai cambiamenti del grafico di link attraverso il tempo per provare ad identificare delle attività sospette. L’estratto della domanda di brevetto ci dice:

Vengono fornite delle tecniche attraverso le quali le pagine web “sospette” possono essere identificate automaticamente. Una pagina web “sospetta” possiede delle caratteristiche che indicano qualche manipolazione allo scopo di gonfiare artificialmente la posizione della pagina web all’interno dei risultati di ricerca.

Le pagine web possono essere rappresentate come nodi all’interno di un grafico. I collegamenti tra le pagine web possono essere rappresentati come spigoli diretti tra i nodi. Delle “istantanee” dello stato corrente di un network di pagine interrelate possono essere generate automaticamente in differenti momenti. Nel tempo che intercorre tra le istantanee, lo stato del network può cambiare.

Comparando un’istantanea precedente ad una successiva, possono essere identificati questi cambiamenti. I cambiamenti estremi, che sono considerati variare significativamente rispetto alla normale gamma di cambiamenti previsti, possono essere rilevati automaticamente. Le pagine web relative a questi cambiamenti estremi possono essere etichettate come pagine web sospette che meritano un’ulteriore identificazione o azione.

L’altro brevetto depositato presta attenzione ai link da siti che sono già stati identificati come “sospetti”, “Individuazione dello spam link-based”. Un frammento di questo:

In questa sezione, sono descritti i concetti di spam farm, di classificazione della pagina inlink (comunemente denominata come “PageRank”), e di trust-ranking.

Una spam farm è un insieme di pagine create artificialmente che punta a una pagina di destinazione spam per promuovere la sua posizione. La scala “TrustRank” è una forma di PageRank con una speciale trasferibilità ad un sottoinsieme di pagine di alta qualità.

Usando le tecniche descritte in questo documento, un motore di ricerca può automaticamente trovare le pagine sospette (le pagine web spam) e più specificatamente, trovare quelle pagine web spam create per gonfiare la propria rilevanza senza la creazione di spam farms artificiali (raccolte di pagine di differenziamento). Nello specifico, vengono portati avanti un processo di PageRank con movimento uniforme e un processo di Trust ranking, e i risultati vengono comparati come parte di un test riguardo alla “spam-evolezza” di una pagina o di un insieme di pagine.

Mentre queste altre due domande di brevetto si basano sui link tra le pagine, non considerano quanto le pagine o i domini possano linkarsi eccessivamente tra di loro direttamente, o indirettamente tramite un numero di pagine o di domini come considera invece questa nuova domanda di brevetto recentemente pubblicata.

E’ del tutto possibile che i processi descritti in tutti i tre questi brevetti depositati, come pure in una serie di altri, possano essere utilizzati insieme per cercare di mantenere l’uso dei link come segnale di ranking al di fuori della categoria degli abusi.

Il link reciproci e le “entità sospette”

Come mensionato sopra, potreste aver letto o sentito dire che i link reciproci non sono una buona cosa, e che la verità della questione è complicata di così.

Il brevetto depositato Yahoo ci dà la definizione di un legame di reciprocità:

Una pagina web è contenente “link reciproci”, quando uno dei suoi “outlink” è anche uno dei suoi “inlink”. Ovvero, un link reciproco esiste quando una pagina web linka un’altra pagina web, che effettua un linkback a quella pagina.

Quindi un link reciproco esiste quando due siti si linkano l’un l’altro.

Il brevetto ci dice anche che considera i link circolari come link reciproci. Ad esempio, una pagina del sito A punta al sito B, una pagina del sito di punta al sito C, e una pagina del sito C punta al sito A.

Se i link tra le pagine (o i domini o gli host) sono una piccola percentuale dei link su ogni pagina, o dominio, o host, il processo descritto in questo brevetto potrebbe non avere partire. Dico “partire” perché il tutto è un processo automatico, piuttosto che un processo di revisione manuale, a questo punto.

Se la percentuale di link è più grande di così, un numero di eventuali provvedimenti possono essere presi dal motore di ricerca.

Il sito può essere rivisto manualmente da “investigatori manuali” o potrebbe essere esaminato da un programma del motore di ricerca che era stato allenato ad accorgersi dei segnali di attività sospetta.

La domanda di brevetto ci dice che le pagine o i domini o gli host possono avere un’alta percentuale di link reciproci per ragioni legittime:

Ad esempio, una particolare pagina web può avere molti link reciproci con un gruppo di pagine web perché quelle pagine discutono dello stesso argomento principale in un modo complementare e gli autori delle pagine possono aver trovato un sistema per quelle pagine per fare riferimento l’un l’altra.

In un altro esempio, due gruppi di pagine un web si riferiscono l’un l’altra reciprocamente perché i gruppi appartengono a due siti web di compagnie che sono parte dello stesso conglomerato.

Una revisione di queste pagine potrebbe condurre alla determinazione che esse sono “sospette”, il che potrebbe portare ad un abbassamento automatico di quelle pagine, o domini, o host nei risultati di ricerca.

Alcune pagine potrebbero essere incluse in una “lista bianca” di pagine web , (o host o domini) come automaticamente escluse dall’essere identificate come sospette. Ci sono siti che sono conosciuti per essere “popolari” e “legittimi”. E non è sorprendente che la domanda di brevetto usi Yahoo.com come esempio .

In un approccio alternativo, le pagine o i domini che sono stati identificati come “entità sospette” potrebbero non essere escluse automaticamente o abbassate nei risultati di ricerca, ma potrebbero essere ulteriormente riviste basandosi sul loro contenuto. Per esempio, la pagina potrebbe essere esplorata per vedere se contiene parole correlate alla pornografia o alla prescrizione di droghe.

Conclusioni

L’uso di link per i motori di ricerca come segnale per determinare come classificare una pagina nei risultati di ricerca e solo uno dei tanti segnali di posizionamento che i motori di ricerca possono utilizzare, ed è possibile che i proprietari dei siti possano aver tentato di ottenere il link alle proprie pagine al solo scopo di salire nei risultati di ricerca.

Le tre domande di brevetto di cui ho parlato in questo post sono solo alcuni dei modi che un motore di ricerca potrebbe utilizzare per identificare quando le persone stanno tentando di accrescere artificialmente i loro rank attraverso i link con il solo scopo di manipolare la loro posizione nella classifica.

Ci sono possibilità che se i link sul vostro blog o sito sono trasparenti e ragionevoli (piuttosto che eccessivi), se forniscono valore ai vostri visitatori, e coprono ragionevolmente argomenti similari o argomenti complementari, puntando siti che possono linkarvi indietro, il motore di ricerca possa trovarli legittimi. Se includete delle indicazioni sulle vostre pagine web in cui dite che linkerete altri se linkeranno voi per spingervi in alto nei risultati di ricerca, potreste avere delle ragioni per preoccuparvi. Se vi impegnate in link farm, o schemi di link o programmi di link reciproci, il motore di ricerca potrebbe trovare le vostre pagine “sospette”, e potrebbe dargli un’occhiata più da vicino.

Se volete approfondire questo argomento, qui ci sono alcune pagine dei ricercatori di Yahoo sull’identificazione delle pagine spam guardando il link:

• Combating web Spam with Trustrank (pdf)
• Link Spam Alliances
• Link Spam Detection Based on Mass Estimation (pdf)
• Link Based Characterization and Detection of web Spam (pdf)
• Using rank propagation and probabilistic counting for link-based spam detection Slides (pdf)
• Link Based Spam Detection Slides (pdf)
• Know your Neighbors: web Spam Detection using the web Topology (pdf) slides(ppt)
• Link Analysis for web Spam Detection (pdf)
• Web Spam Detection: link-based and content-based techniques (pdf)
• Technical Report YR-2008-001 – Witch: A New Approach to web Spam Detection (pdf) (video)
• Web spam Identification Through Content and Hyperlinks (pdf)

Ho parlato sopra del fatto che i segnali di ranking nei motori di ricerca possono essere classificati come a basati sul contenuto, basati sui link e basati sul comportamento de visitatore. Un altro recente approccio di Yahoo guarda al comportamento del visitatore e ai log di query per trovare le pagine spam:

• Query-log mining for detecting spam

Aggiornamento: David Harry ha scritto su questa domanda di brevetto e sui link reciproci in un post molto interessante intitolato: This just in; the reciprocal links are pointless

Ringraziamenti

Si ringraziano:

Sara Radicia, webmaster di Firefox Blog e traduttrice per la traduzione del testo.
SeobytheSea per la stesura originale dell’articolo in lingua inglese e per la collaborazione data.

Articoli Correlati

• Due query sono meglio di una per targetizzare la pubblicità?
  Quando si esegue una ricerca su Google, spesso vedete i "link sponsorizzati" in alto e a destra dei vostri risultati di ricerca. Gli inserzionisti possono fare ...
• Immagini nei risultati nei Motori di Ricerca
  Quando un motore di ricerca presenta i risultati di una ricerca che avete fatto, spesso vi mostra il titolo di una pagina, un breve snippet della pagina o una m...
• Brevetto Google Gears: Applicazioni Online ora Offline
  Una domanda di brevetto per Google Gears è stata recentemente pubblicata all'ufficio US Patent and Trademark Office. Google ha rilasciato Google Gears nel ...
• Google determina la nazionalità dei siti
  Molte volte ci si chiede quanto incida sul posizionamento la località del server, il TDL del dominio e altri fattori legati al paese in cui è hostato materialme...