XML-Sitemap Generator und Sicherheitseinstellungen im sh404sef (Troubleshooting)

20013-03-20 SiteMapGenerator-Security sh404sefDer XML-Sitemap Generator von http://www.xml-sitemaps.com wurde mir von Jan Gieselberg (joomla-downloads.de). Grund genug, das ich mir das einmal näher angucke, gerade wenn ich nicht 100% zufrieden mit den Standardlösungen bin. Die Konfiguration ging schnell von der Hand. Die erste sitemap.xml wurde generiert. Leider enthielt diese XML-Datei nicht alle Links. Diese Site ist nicht riesig, aber mehr als neun Seiten hat sie schon. Nun war erst einmal RTFM angesagt und so ich laß mich quer durch die Anleitungen und suchte das Forum intensiv durch. Leider ohne Ergebnis.

Ich konnte bei dem Durchlauf sehen, das die Webseiten gefunden wurden, aber nicht in die XML-Sitemap übernommen wurden. Ein Blick in das ChangeLog (einer der oberen Reiter) zeigt mir das 69 Seiten nicht indiziert wurden.

Mit diesen neuen Informationen bewaffnet zurück zum Forum, was mir verriet (hätte man ja auch selber drauf kommen können) das es auch eine detailerte Ansicht des Logs gibt. Der brachte dann auch den entschiedenen Hinweis. Die 69 Seiten hatten alle hinter sich ein 403 FORBIDDEN stehen.

joomla/jug-hamburg.html - 403 FORBIDDEN
joomla/entwicklung.html - 403 FORBIDDEN
blog.html - 403 FORBIDDEN
blog/meldungen-dewesode.html - 403 FORBIDDEN
kontakt.html - 403 FORBIDDEN

Dann fiel mir auch schnell wieder ein das die Joomla! Komponente sh40sef aktivierbare Sicherheitseinstellungen hat, welche bei Flooding (zu viele Aufrufe von einer IP auf einmal) aktiv wird und diese unterbindet.

Kurzer Test:
Deaktivieren der Sicherheitsfunktionen und schon wurde eine korrekte Sitemap generiert.

Da ich auf dieses etwas mehr an Sicherheit nicht verzichten wollte habe ich nun gesucht, welche Einstellungen man vornehmen muss, damit es auch mit eingeschalteten Sicherheitsfunktionen funktioniert. Hierbei bin ich auf zwei mögliche Lösungengestoßen.

Lösung 1: Die Eigene IP in die White-List eintragen

2013-03-20 sitemapGenerator vs sh404sef securityIm Kontrollzentrum der Komponente sh40sef kann man den Punkt Kontrollzentrum > Einstellungen > Sicherheit wählen. Hier guckt man nach der Einstellung IP White List hier trägt man die IP seiner Website ein (Beispiel: 85.190.236.152) ein allgemeiner Eintrag wie localhost oder der Domainname geht nicht! Hier liegt auch schon der Nachteil der Methode, wenn man eine eigene IP hat (z.B. weil man eh ein SSL Zertifikat laufen hat) ist das kein Problem, aber wenn man den Webspace auf einem großen Shared Hoster liegen hat, wo sehr viele Kunden dieselbe IP haben könnte es unter Umständen zu Problemen führen.

Szenario: Der Nachbar-Webspace (logischerweise mit der gleichen IP wie die eigene Website) wird gehackt und führt von der gleichen IP Angriffe durch. Da die Anfragen / Angriffe von der gleichen IP kommen, werden diese durch den White-List nicht blockiert. Ok das sind schon einige Dinge, welche da passieren müssen, aber es gibt ja das schöne Zitat:

"Die Frage ist nicht, ob Du paranoid bist, die Frage ist bist Du paranoid genug."

Lösung 2: Das Crawling in mehrere Etappen / kleine Stückchen einteilen

2013-03-20 sitemapGenerator vs sh404sef SettingsDer Sitemap Generator sieht auch vor, das man die Erstellung der Sitemap stückeln kann, so das nicht so einen hohe Serverlast entsteht. Hiermit kann man die Anfragen auch so einteilen, das diese nicht als Flooding blockiert werden. Dies ist wahrscheinlich bei Shared Hostern eh angebracht, da diese ggf. nicht über die nötige Performance verfügen, die Sitemap im einen Rutsch zu generieren. Das hängt auch immer sehr von der tatsächlichen Größe der Site ab. Wenn die Websie sehr groß ist, braucht die Erstellung der Sitemal dementsprechend länger. Daher sollte man hier eh einen Cronjob anlegen, das die Erstellung automatisiert erfolgt.

Der Nachteil dieser Methode ist, das Erstellen der XML-Datei länger braucht, aber wenn es als Cronjob läuft sollte das eh nicht ins Gewicht fallen.

 

Allgemein

Testet immer nachdem Ihr eine Einstellung (Parameter) verstellt habt. Sonst wisst Ihr nachher nicht an welcher der duzend Einstellungen es gelegen hat, das die XML nun erstellt wird, oder eben halt nicht. Verschärft die Einstellungen nach und nach so, dass die sitemap.xml gerade noch sicher generiert.



So erreichen Sie uns:

deweso.de - Wir bringen Lösungen

  +49 40 - 59450 981
  info@deweso.de

 deweso.de
Inh. Frank Delventhal
Hermann-Balk-Str. 111a
22147 Hamburg



Zertifizierter Joomla Administrator

Suche