Close

20. März 2015

Google Analytics: Semalt.com und andere Spam-Crawler blockieren

Das Problem: Semalt.com und andere Spam-Crawler

Jeder, der ab und an die Besucherstatistik seiner Website prüft, wird bemerkt haben, dass seit geraumer Zeit sehr viele Zugriffe von semalt.com, darodar, und ähnlich unbekannten Domains erfolgen – zudem ist davon auszugehen, dass diese Crawler die robots.txt der Website ignorieren und versuchen, alles zu crawlen. Weshalb diese Crawler derart aktiv sind (bis zu 22 Mal am Tag) ist zunächst unklar, und zunächst eigentlich auch unwichtig – sie stören und sollen wegbleiben.

Die Lösung: Semalt.com und andere Spam-Crawler blockieren

Lösungen findet man im Netz haufenweise. Einige sind speziell für WordPress-Websites (benutzen spezifische WordPress Variablen), andere lösen das Problem ganz allgemein (via .htaccess-Datei).
Fündig wurde ich in diesem Beitrag im Blog von Philipp Clarin. Diesen Vorschlag einer .htaccess Datei habe ich nur wenig ergänzt/geändert. So sieht sie bei mir derzeit aus:

RewriteEngine on
#Spammer blocken
RewriteCond %{HTTP_REFERER} ^http(s)?://(.*)?\.(ca|in|ru|ad|bd|bg|cz|bg|ua|cn)(/.*)?$ [NC,OR]
RewriteCond %{HTTP_REFERER} ^http(s)?://.*youtubedownload\.org/ [NC,OR]
RewriteCond %{HTTP_REFERER} ^http(s)?://.*softomix\.ru/ [NC,OR]
RewriteCond %{HTTP_REFERER} ^http(s)?://.*zazagames\.org/ [NC,OR]
RewriteCond %{HTTP_REFERER} ^http(s)?://.*youtubedownload\.org/ [NC,OR]
RewriteCond %{HTTP_REFERER} ^http(s)?://.*vapmedia\.org/ [NC,OR]
RewriteCond %{HTTP_REFERER} ^http(s)?://.*soundfrost\.org/ [NC,OR]
RewriteCond %{HTTP_REFERER} ^http(s)?://.*joingames\.org/ [NC,OR]
RewriteCond %{HTTP_REFERER} ^http(s)?://.*videofrost\.net/ [NC,OR]
RewriteCond %{HTTP_REFERER} ^http(s)?://.*softomix\.net/ [NC,OR]
RewriteCond %{HTTP_REFERER} ^http(s)?://.*feedouble\.net/ [NC,OR]
RewriteCond %{HTTP_REFERER} ^http(s)?://.*backgroundpictures\.net/ [NC,OR]
RewriteCond %{HTTP_REFERER} ^http(s)?://.*joinandplay\.me/ [NC,OR]
RewriteCond %{HTTP_REFERER} ^http(s)?://.*videofrost\.com/ [NC,OR]
RewriteCond %{HTTP_REFERER} ^http(s)?://.*srecorder\.com/ [NC,OR]
RewriteCond %{HTTP_REFERER} ^http(s)?://.*softomix\.com/ [NC,OR]
RewriteCond %{HTTP_REFERER} ^http(s)?://.*openmediasoft\.com/ [NC,OR]
RewriteCond %{HTTP_REFERER} ^http(s)?://.*openfrost\.com/ [NC,OR]
RewriteCond %{HTTP_REFERER} ^http(s)?://.*myprintscreen\.com/ [NC,OR]
RewriteCond %{HTTP_REFERER} ^http(s)?://.*musicprojectfoundation\.com/ [NC,OR]
RewriteCond %{HTTP_REFERER} ^http(s)?://.*feedouble\.com/ [NC,OR]
RewriteCond %{HTTP_REFERER} ^http(s)?://.*fbfreegifts\.com/ [NC,OR]
RewriteCond %{HTTP_REFERER} ^http(s)?://.*extener\.com/ [NC,OR]
RewriteCond %{HTTP_REFERER} ^http(s)?://.*embedle\.com/ [NC,OR]
RewriteCond %{HTTP_REFERER} ^http(s)?://.*savetubevideo\.com/ [NC,OR]
RewriteCond %{HTTP_REFERER} ^http(s)?://.*kambasoft\.com/ [NC,OR]
RewriteCond %{HTTP_REFERER} ^http(s)?://.*o\-o\-6\-o\-o\.com/ [NC,OR]
RewriteCond %{HTTP_REFERER} ^http(s)?://.*bestwebsitesawards\.com/ [NC,OR]
RewriteCond %{HTTP_REFERER} buttons\-for\-website\.com/ [NC,OR]
RewriteCond %{HTTP_REFERER} ^http(s)?://.*7makemoneyonline.com/ [NC,OR]
RewriteCond %{HTTP_REFERER} ^http(s)?://.*semalt\.com/ [NC]
RewriteRule ^(.*)$ – [F,L]
#Ende Spammer blocken

Diese Datei als „.htaccess“ ins Root-Verzeichnis der Domain speichern. Zusätzlich die .htaccess-Datei im WordPress-Verzeichnis entsprechend ergänzen – am besten direkt am Anfang der .htaccess.

Nr. 1
Google Analytics: Das umfassende Handbuch. Inkl. Search Console, AdWords, AdSense und Google Tag Manager*
von Rheinwerk Computing
Das umfassende Handbuch. Inkl. Search Console, AdWords, AdSense und Google Tag ManagerGebundenes Buch"Ein Must-Read für jeden Online Marketer!" - ecommerce.jetztMit Google Analytics steht Ihnen eines der leistungsfähigsten Webanalyse-Tools kostenlos zur Verfügung. Lernen Sie mit diesem Buch, wie Sie die vielfältigen Funktionen nutzen und sie professionell einsetzen können. So erhalten Sie z.B...
Prime Preis: € 39,90 Kaufen bei Amazon*
Preis inkl. MwSt., zzgl. Versandkosten
Zuletzt aktualisiert am 27. Juli 2017 um 02:05 . Die hier angezeigten Preise können sich inzwischen geändert haben. Alle Angaben ohne Gewähr.

Schreibe einen Kommentar

Deine E-Mail-Adresse wird nicht veröffentlicht. Erforderliche Felder sind mit * markiert.

Time limit is exhausted. Please reload CAPTCHA.