Seit einiger Zeit tummeln sich diverse Crawler auf meinem Blog, die meine Inhalte übernehmen und auf anderen Seiten veröffentlichen.
Das wäre ja kein Problem, wenn man das entsprechend mit angibt.
Daher habe ich nun folgende drei Schritte unternommen um automatisches Scrapen zu erschweren:
- RSS-Feed auf Kurzfassung umgestellt: Admin-Panel -> Einstellungen -> Lesen -> Newsfeed Kurzfassung
- Yoasts RSS Footer Plugin um einen Link und eine Ursprungsnotiz hinzuzufügen
- Die index.php von WordPress folgendermaßen modifiziert:
<?php
// Bots und Scraper ausschliessen:
function botcheck($ua) {
$matches = array("java", "libwww", "perl", "curl");
for($i=0; $i<sizeof($matches); $i++)
if(stristr($ua, $matches[$i])) {
return true;
} else {
return false;
}
}
if(botcheck($_SERVER['HTTP_USER_AGENT'])) {
echo "Böser Bot: geh weg!<br/>Falls Du doch kein Bot bist, überprüfe bitte deinen User-Agent.";
} else {
define('WP_USE_THEMES', true);
require('./wp-blog-header.php');
}
?>
Ist zwar im Sinne der Rechenleistung und Website-Geschwindigkeit nicht optimal, aber zumindest werden alle Bots die sich im User-Agent mit Java, Perl und vielem mehr ausgeben entsprechend mit einer Meldung abserviert.
Die Modifizierung muss direkt in der Index-Datei im WordPress-Root-Verzeichnis gemacht werden, da diese die restliche Auslieferung vorantreibt. Im WordPress Theme selbst funktioniert das nicht.
Klar, das löst nicht alle Probleme, aber zumindest erschwert es die Sache etwas und plumpes Content-Scraping funktioniert damit nun nicht mehr.
Schauen wir mal, welcher Bot zuerst seinen User-Agent umstellt 
PS: Natürlich werden einige Bots auch über die robots.txt blockiert, aber Scraper halten sich leider nicht daran
Seit SEO-united pamphletierte, dass der SEO Goldrauch vorbei ist haben sich viel SEOs dazu Gedanken gemacht und sich gefragt:
Persönlich stimme ich jedem Fazit aus den obigen Artikeln zu und sehe die SEO Zukunft weiterhin strahlend. Schließlich muss jeder Nutzer an seine gewünschten Seiten und Ergebnisse kommen. ABER es wird einen Trend und eine Verlagerung auf Vorschlagssysteme und Social Media geben. Das steht auch außer Frage.
Für SEO-Agenturen wird es schwieriger werden, da zumindest kleine Kunden auf Tools und Plugins ihres jeweiligen CMS ausweichen werden und die großen Kunden meist ihre eigene Inhouse-SEO-Abteilung betreiben.
Für die Privat-SEOs wird es in den Nischen kein Problem geben, solange sie wirklich Mehrwert bieten und nachhaltig arbeiten. Dann kann auch Google nichts dagegen sagen und rankt auch Affiliate-Seiten weiterhin.
Daher Fazit: SEO ist tot. Lange lebe SEO!
Oder wie Udo Lindenberg sagt: Mach Dein Ding!
PS: Aber zumindest André Riechert sich es gelassen und hat scherzhaft eine Lösung parat 
Um Duplicate Content in einem WordPress-Blog zu vermeiden, habe ich heute (leider etwas zu spät) folgende Erweiterung in meinem webconsul WordPress-Theme in den <head>-Tag eingefügt:
<?php
if((is_home() && ($paged < 2 )) || is_single() || is_page() || is_category()){
echo '<meta name="robots" content="index,follow" />';
} else {
echo '<meta name="robots" content="noindex,follow" />';
}
?>
Damit werden alle Seiten außer der Startseite, einer Beitragsseite oder einer Kategorie mit noindex geblockt und somit auch nicht von Google als Duplicate Content zu erkennen geben.
Erläuterung: Das Problem rührt daher, dass die Archiv-Seiten der jeweiligen Monate und Co entsprechend sonst die gleichen Inhalte ausliefert.
Aber ich gehe davon aus, dass Google das selbst berücksichtigt, insofern viele Blogs selbige Technik nicht verwenden, daher lasst euch nicht beunruhigen, aber wenn ihr mal 30 Sekunden Zeit habt, dann baut das mit ein.
Nachdem letztes Jahr im Zuge der Hamburger Erklärung haben mehrere Verlage beschlossen den Suchgiganten Google via ihrer robots.txt auszusperren und die jeweiligen Newsinhalte in Zukunft kostenpflichtig (ob im Archiv oder direkt sei an dieser Stelle unbetrachtet) anzubieten.
Ähnlich gibt es in der Startup-Szene den erschaffenen Begriff Freemium (hier z. B. 3 Strategien) bei dem es kostenfreie Inhalte für den Nutzer gibt, dieser dadurch überzeugt werden soll später das kostenpflichtige Premium-Modell zu buchen.
Gute Beispiele aus der Reihe free-premium sind zum Beispiel Xing, Skype, und viele mehr.
Dieses Modell funktioniert bei obigen Systemen ganz gut, aber die bisher oftmals Werbe- oder Affiliate-finanzierten Weblogs und professionellen Blogger müssen sich durch die Werbeüberladung nun auch neue Modell einfallen lassen.
Zum Beispiel ist eisy.eu als erster SEO-Premium-Blog in Deutschland mit einem ähnlichen Modell gestartet, dass man bisher nur aus den USA kannte.
Ich bin gespannt ob das funktioniert, da die Thematik aktuell heiß ist und deswegen vor kurzem auch der Beitrags-Bezahldienst Flattr gestartet ist und gute Erfolge verbuchen konnte.
Viele andere Blogger-Kollegen haben auch schon darüber berichtet und ich empfehle euch insbesondere die Lektüre dieser Posts:
Mein Lieblingszitat dazu ist:
“Zahlt dort wo es euch einen Mehrwert bringt!” von eisy.eu
Und genau darum geht es, oder?
Sobald etwas wert ist Geld dafür auszugeben, würde man als User dies tun, oder?
Gestern gab es eine gute Nachricht im YUIblog, denn es wurde über die Veröffentlichung vom YUI Easy Testing Interface gebloggt.
Das gute daran ist, dass es nun ein Testinterface für JavaScript und alle möglichen Anwendungsgebiete gibt.
Die meisten Tools bisher konnten lediglich nach einem Commit testen, aber Yeti erlaubt nun in seiner ersten Version dies schon vor der ersten Veröffentlichung zu übernehmen.
Seien wir gespannt, wie die weiteren Versionen aussehen, aber die erste Entwicklerversion Yeti 0.1.0 ist auf jeden Fall einen Blick wert.
Theresa Neil hat eine gute Auflistung der 12 Standard Screen Patterns erstellt. Gut, mittlerweile sind es nach dem Update 15 Patterns und 80 neue Beispiele, aber der Artikel lohnt sich trotzdem nicht weniger.
Alles Beste zum 5. Geburtstag!
Marcus, mach weiter so, auch wenn es nur (d)ein Hobby-Blog ist, ist es für uns Leser doch eine gute Informationsquelle.
Im Radio4SEO gibt es nun eine neue Show, die Guerrilla Show.
Sie widmet sich diesen Fragen:
Wie unterscheidet sich Virales Marketing von anderen Marketingformen? Welche Produkte lassen sich gewinnbringend vermarkten? Welche Zielgruppe kann ich mit dieser Art der Werbung erreichen? Und: Was es mit Mundpropaganda, Word-Of-Mouth Marketing und Buzz-Marketing auf sich?
In der zweiten Episode wird auch über die Blumenkübelaktion von Sixt
Gefunden bei seo.at.
Martin Mißfeldt hat letzten Mittwoch ein cooles Miniprojekt veröffentlicht: Google StreetView: 2 min Fullspeed-Kurzurlaub in Paris
Das Video beziehungsweise der Ausflug ist richtig gut, checkt es mal aus:
Man sieht unter anderem Triumphbogen, Champs-Elysee, Louvre, Oper und vieles mehr.
Brad McCarty hat heute bei The Next Web einen guten Artikel mit dem Titel Social media is just fine. You’re the one screwing up. veröffentlicht.
Er beschreibt dabei geschickt, wie man Social Media einsetzen soll oder auch nicht. Zum Beispiel nicht als Megafon um Informationen heraus zu tröten. Auch sollte man im Hinterkopf haben, dass nicht beständig bleibt und sich vieles ändert und den größten Impact die User haben, diese aber meist nicht zuhören.