Antispam prin linkuri

Teorie si practica. De ce motoarele de cautare lupta impotriva spamului prin linkuri?

Pentru ca orice tip de spam reduce calitatea rezultatelor afisate de orice motor de cautare. Link spam-ul vizeaza site-uri si pagini ale caror pozitii au fost obtinute ne-natural, cu scopul manipularii algoritmilor motorului de cautare.

PageRank

Unul dintre primele algoritme destinate combaterii spamului, dar nu prin linkuri ci prin text, este PageRank de la Google.

PR(A)=(1-d)+d(PR(T1)/C(T1)+…+PR(Tn)/C(Tn)), unde

PR(A) – greutatea paginii A;

PR(Tn) – greutatea paginii care face trimitere la pagina A;

C(Tn) – numarul de linkuri pe pagina Tn;

d – coeficient de atenuare, de obicei 0,85;

1-d – element de teleportare.

Principiul functionarii PageRank: un „Calator” navigheaza prin linkuri in mod aleator. Poate accesa un link sau se poate „teleporta” intr-o locatie arbitrar aleasa. Probabilitatea accesarii reprezinta PageRank.

Pe baza formulei putem intelege cum se poate manipula PageRank:

• pagina Tn are greutate mare;
• pagina Tn are putine linkuri externe;
• multe pagini Tn trimit catre pagina A;
• distanta intre pagini este 1 (fiecare pas suplimentar scade greutatea cu 0,85).

Concluzii pentru linkurile plasate pe pagina ta:

• linkurile nu iau greutate de la pagina unde sunt plasate;
• cu cat sunt mai multe linkuri, fiecare transmite mai putina greutate.

Paradoxal, PageRank creat pentru combaterea spamului text a generat epoca spamului prin linkuri.

TrustRank

Scopul algoritmului este detectarea paginilor spam si a celor de incredere.

Algoritmul se bazeaza pe detectarea semi-automata a paginilor bune, nu spam. El porneste de la afirmatii:

• documentele bune rareori trimit catre documente rele;
• atentia la selectia linkurilor este invers proportionala cu numarul acestora.

Principiu de functionare:

1. Se calculeaza un PageRank invers, pe baza numarului de linkuri externe.
2. Aceste site-uri sunt evaluate manual (aprox. 200 site-uri sunt suficiente pentru a evalua intregul web).
0 – spam
1 – bun

3. TrustRank se propaga astfel:

• cu cat distanta de la sursa este mai mare, cu atat scorul este mai mic;

• TrustRank se imparte egal intre toate linkurile externe.

Algoritmul TrustRank a fost introdus in 2004.

Nota: este descris algoritmul folosit de Yahoo. Alte motoare pot folosi algoritme similare. Google a achizitionat Hilltop in 2003.

Factori de incredere ridicat:

• site-uri din cataloagele Yaca si Dmoz;
• site-uri cu vechime mare;
• site-uri cu continut unic;
• site-uri cu selectie stricta a linkurilor.

Exemplu: Wikipedia apare mereu in top pentru ca are un nivel foarte ridicat de incredere atribuit manual.

Topic-sensitive PageRank

Acest algoritm calculeaza greutatea transmisa prin linkuri tinand cont de tematica paginii donator. Pentru fiecare tematica se creeaza un vector. Astfel se calculeaza apropierea intre tematici.

Manipulare posibila:

• cumparare de linkuri pe donatori cu tematica similara si PR ridicat;
• cumparare pe donatori tematic apropiati cu PR ridicat.

BrowseRank

BrowseRank este un alt algoritm folosit de motoarele de cautare.

Diferenta fata de PageRank: in PageRank muchiile sunt linkuri, in BrowseRank sunt tranzitiile reale intre documente.

BrowseRank combina factori de comportament cu factori de linkuri.

El foloseste durata vizitei, tranzitia la alt document si metoda tranzitiei (link sau tastare directa in bara de adrese).

Surse de date:

• toolbars (Yandex-Bar);
• browsere proprii (Google Chrome).

Nu se recomanda manipularea BrowseRank:

• motoarele detin grafuri reale de clickuri, manipularea le distorsioneaza;
• serviciile de tip boost sunt usor de detectat (ex. Userator).