Verwalten und Parsen von Apache-Logs

Als Erstes sollen die Log-Dateien zur Verarbeitung in ein geeignetes Verzeichnis kopieren werden. Damit vermeidet man, (a) ein versehentliches Löschen oder Ändern der ursprünglichen Log-Dateien und (b) die Belegung wertvoller CPU-Zeit auf dem Rechner zur Ausführung des Webserver.

Bei CNET sind mittlerweile alle Linux-Rechner mit SSH konfiguriert, so dass ein sicheres Login für den Zugriff auf einen der Live-Rechner eingesetzt werden muss. Das bedeutet, dass erst die Administratoren den für die Log-Verarbeitung benutzten Rechner so konfigurieren müssen, dass der für die Log-Verarbeitung genutzte Account auf den Webserver zugreifen kann, wo die Log-Dateien gespeichert sind. Außerdem ist für das eigentliche Verschieben der Dateien beispielsweise SCP (Secure Copy) erforderlich.

Hier ein stark vereinfachtes Beispiel, wie ein entsprechendes Script zum Kopieren von Dateien aussehen kann:

Als $remoteUser sollte ein beliebiger Benutzer-Account verwendet werden, der von den Administratoren für den Einsatz zwischen diesen Rechnern konfiguriert wurde, während als $remoteMachine der Name des Rechners einzusetzen ist, auf dem sich die Apache-Log-Dateien befinden.

Es wird davon ausgegangen, dass dieses Script täglich ausgeführt wird und jeweils auf die Log-Dateien vom Vortag zugreift, weshalb die UnixDate-Funktion von Date::Manip zum Generieren des Zeitcodes vom Vortag verwendet wird. Anschließend wird der Zeitcode an den Namen der Log-Datei angehängt, der bereits im letzten Artikel dieser Reihe zum Thema Log-Rotation benutzt wurde. Man kann natürlich je nach dem für die Log-Dateien angewandten Namensschema auch einen anderen Namen verwenden.

Abschließend wird mithilfe von SCP eine Anmeldung auf dem entfernten System durchgeführt um die Log-Datei zur weiteren Verarbeitung in ein lokales Verzeichnis zu kopieren.