19 mars 2010

Under de senaste veckorna har det skett en chockerande ökning av antalet searchbot besök på min sida, Plexav.com . Min realtid spårning av besökare programvaran lyckas identifiera dessa bots, märker dem som verkliga människor istället. Vad pågår här?

Dessa är inte de Bots du letar efter

I genomsnitt searchbots besöka en sida i ungefär sju sekunder och sedan studsa. Här har jag tagit med en ofullständig lista över de IP-adresser och det antal besök som gjorts under de senaste tre veckorna. Till exempel fanns det 133 besök från 207.46.195.223 under tre veckor. Det är ungefär sju besök en dag från att en IP-adress. Och eftersom den här listan över IP-adresser som motsvarar mindre än en tiondel av de IP-adresser that've varit skickar bots till min sida, kan ni tänka er att antalet besök är betydande.

Är Stealth sökrobotar Alla Bad?

Jag undrar om, när allt kommer omkring, det är ett plus eller ett minus för min hemsida för att få alla dessa besök från searchbots. Om de inte visas som searchbots till mina Analytics-programvara, kanske de lurar andra analyslösningar paket som till exempel Google Analytics, Alexa, tävla, etc. Om så är fallet, kan det de är faktiskt hjälper min sajt öka sin popularitet?

Fler besök brukar vara en bra sak.
Besök med kort löptid är inte bra.
Ingen av dessa besökare klickar på någon av annonserna på min webbplats.
Google betalar betydligt mindre belopp för klick på webbplatser som har en mycket låg genomsnittlig klickfrekvens.

Min optimism verkar missriktad. Effekterna av dessa besök är utan tvekan negativt. Många besök av korta löptider visar obetydliga innehåll, eller ännu värre, SPAM! Om Google räknar dessa besök, det kommer att skada min sökmotor ranking. Ännu värre är det faktum att Google Adsense, som jag ha på min webbplats med förhoppningar att täcka en del av min månatliga hosting kostnader (ha-yeah höger), bestraffar en webbplats som har ett särskilt små klickfrekvens.

Så undrar jag om Google Analytics räknar eller strunta i dessa besök. Om det är att räkna dem jag vara ganska säker på att min GOOG sökmotor ranking och adsense inkomster håller på att ske, eftersom GOOG tillhandahåller dessa tjänster.

När du är osäker - be Google

Jag vill inte dra förhastade slutsatser ändå. Det kan bara vara min analytics programvara som inte skilja MSFT robotar sökmotor från verkliga okroppsliga varelser. Kanske Google Analytics har utformats för att bättre skilja mellan de två.

Jag har kontrollerat och samtidigt GOOG Analytics gör ett bättre jobb än min realtid statistik paket är det inte att utesluta MSFT Searchbots den listan MSFT nya sökmotor "Bing" som hänvisning. Jag har bifogat nedan för din granska några av de nationella sökningar och tiden på min webbplats.

Om och om igen boten anländer och avgår före utgifterna någon avsevärd tid på sidan. Bara tillräckligt länge för att skrapa. Jag märkte att det fanns två söka bot besök (visas inte) att kombinerad längd som uppgick till mer än fyrtio minuter. Dessa två besök ger den genomsnittliga besöket tid att: 07 sekunder!

Google anser att dessa besök i sin utvärdering av webbplatsens innehåll. MSFT skickar bots till platser och dessa bots betjänar att hjälpa Google att betala mindre för webbplatsägare för Adsense placeringar.

En närmare titt på Searchbots, Statistik & Revenue

Så varför skulle MSFT hjälpa GOOG ut? Det skulle inte. Faktum är att anledningen till att jag misstänker MSFT skickar bots stealth sökningen är att bidra till att öka "uppenbara användning" av sin BING sökmotor. Genom att ta del av de bot trafik som inte är att identifieras som "MSFT bots" och vika in den i deras användning Statistik för MSFT kan visa ökad användning i förhållande till GOOG och andra sökmotorer.

Varje företag anpassar sannolikt intäktsprognoser bygger delvis på att andelen söktrafik varje processer. Med tanke på GOOG: s 14 miljarder dollar bruttovinsten förra året, 1% av sökmotor trafik utgör 140 miljoner dollar av bruttoresultatet. NU om trafiken tal förvanskade, kommer intäkterna inte exakt återspegla en sådan förlust, men de preliminära rapporter kommer att behöva revideras och priser måste justeras för att återspegla förlusten av marknadsandel.

I stället för att utfärdandet allmänheten verkar GOOG nu ta itu med de MSFT beteende genom att göra samma sak - att skicka ut stealth bots sökmotor. Är GOOG ska pad sin användarstatistik med dessa besök också, i ett försök att skydda sina rapporterats söka andel motor marknaden? Ya Think??

Och medan jag har varit särskilt behandlar MSFT och GOOG, observera att YHOO är att licensiera MSFT sökmotorn. Detta slag av intäkter har GOOG på ena sidan och gruppen av MSFT och YHOO på andra sidan. Med tanke på spelarna och storleken på priset, kommer de inte att ändra sitt beteende för att undvika att bli onda. Vilket betyder att webbplatsägare kommer att lida av skev statistik några effekter av sådana inkomster.

Ursäkta min Bot

Vilken bra timing också, vad i realtid söka indexering och alla. Människor leds att tro att det beror på i realtid nätet som botar används på detta sätt. Det finns inget som hindrar MSFT eller GOOG från att ha sina bots visar lämpligt att de i själva verket bots. Real-Time webben är helt enkelt en ursäkt för att fördunkla (jag siffra om du har gjort det här långt, du är intelligent) motivation att ta inkomster ur fickor webbplatsägare.

Förbjuda dessa sökrobotar

Här är de IP-adresser som jag för närvarande förbud.

65.55.107 .*
65.55.110 .*
65.55.109 .*
65.55.232 .*
65.55.104 .*
65.55.165 .*
207.46.204 .*
207.46.12 .*
207.46.199 .*
207.46.195 .*

Om du är orolig för repressalier, notera att även om du förbjuda IP-adresser till smygande söka bot kommer sökmotorerna fortfarande spindel dina webbplatser legitimt. Medan de kan lätt offra riktigheten och värdet av din statistik kan de inte offra kvalitet sökresultat bara för att straffa de webbplatser som inte kommer att utnyttjas.

Man kan säga att det är åligger oss alla att uttrycka sitt missnöje på ett sådant sophomoric beteende och kortsiktig strategi. Ännu viktigare är dock, som äger webbplatsen som exploateras enligt detta system. Om du inte kommer att ta en moralisk ställning, åtminstone stå upp för dig själv och dina intäkter!

Om ett par hög profil i klubben ta ställning och vägra ge GOOG eller MSFT att indexera deras webbplatser, vi får se det här beteendet slut snabbt. Låt oss komma ihåg att det finns andra sökmotorer där ute och även om det kan vara lite på kort sikt obehag, kommer ett sådant svar till fördel för hela medellång och lång sikt.

Alla som på medellång sikt omfattas av vision kvar där ute, någon?? Bueller? Någon?

berätta för människor