Webmaster Tools listen robots.txt als Keywords auf

Hast du schon einmal die Google Webmaster Tools ausprobiert? Sie bieten wertvolle Informationen über deine Seite, wie beispielsweise die am häufigsten verwendeten Keywords.

Leider habe ich kürzlich festgestellt, dass „Agent“ und „Disallow“ unter den Top 5 auftauchen. Hier ist ein Screenshot davon.

Ich vermute, dass dies hauptsächlich daran liegt, dass die Seite (2011) relativ neu ist und über 40 Unterseiten verfügt, aber auch jede Menge Inhalte hat – immer über 300 Wörter pro Seite ohne Navigation. [Einschub: Die Wortzahl sollte kein Qualitätskriterium sein, sondern die Aussage des Textes. Für ein komplexes Produkt könnten 2000 Wörter zu wenig sein, während 100 Wörter für eine Badeente ausreichen könnten. /Einschub]

Trotzdem richten sich diese Inhalte nicht strikt nach den Vorlieben der lokalen Bots (SEO), sondern eher darauf, den Leser/Kunden für das Produkt/die Dienstleistung zu gewinnen. Es wäre also von Vorteil, a) mehr Texte mit den gewünschten Stichworten zu erstellen und/oder b) die robots.txt einfach ganz zu entfernen.

Vor ein paar Jahren habe ich mich für eine robots.txt entschieden, um bestimmte Bots auszuschließen, aber mittlerweile habe ich auf vielen Seiten von Mitbewerbern keine robots.txt mehr gefunden. Deshalb werde ich überlegen, ob ich sie doch entfernen sollte. Schließlich sollten „Agent“ und „Disallow“ nicht als Hauptkeywords dienen, trotz jeder Menge vermutlich unoptimierter Seiten. Deshalb ist es wichtig, öfter in den Google Webmaster Tools vorbeizuschauen und solche Disallows aufzudecken.

Ich werde mich jetzt auf die Suche nach Tipps machen, wie man die robots.txt ggf. aus der Bots-Suche entfernt – in der Sitemap.xml ist sie auf jeden Fall nicht.

Nachtrag:

So, da es über 125 ‚Disallowed Bots‘ in meiner robots.txt gab habe ich kurzer Hand die Liste um gut 3/4 gekürzt, wenn man sich einen kurzen Überblick bei den Webdesign-Koryphäen wie Perun, Bueltge & Co macht, dann sieht man, dass man mit der robots.txt eher zum Verzeichnisschutz verwendet als zum Aussperren böser Bots – im Grunde ist es ja auch so, dass die Bots die Namen nach belieben ändern können, so dass von daher wenig Sinn macht alle namentlich auszuschließen – nun denn, auf jeden Fall ein Keyword-Anhäufungsproblem in den Webmaster Tools gelöst.