Linux

Es soll ja Webseiten da draußen geben (wie z.B. admin-blog.com ), die mehr als 100.000 einzelne Besucher am Tag haben und somit mit einem normalen Webserver nicht weit kommen. Das heisst der Webserver läuft mit 200+ Prozessen einfach am Limit und kann keine weiteren Anfragen annehmen. Für sowas eignet sich Loadbalancing auf Linuxbasis als schnelle Lösung besonders, da alle erforderlichen Funktionen im Kernel > 2.6 bereits von Haus aus implementiert sind und man an den Scripten der Website (hier: PHP) nichts ändern muss. Hier mal ein konkretes Fallbeispiel einer Lösung, die ich zusammen mit einem Kollegen für eine stark frequentierte Seite aufgebaut habe:
Die Lösung baut komplett auf Suse-Linux auf und ist durch beliebig viele weitere Webserver erweiterbar. Die Webserver und der Loadbalancer hängen am Schrankswitch, der die Verbindung ins Internet stellt. An den internen Switch ist der Fileserver mit Gigbit angeschlossen, die Webserver mit jeweils 100 MBit. Der Fileserver ist von extern gar nicht zu erreichen, der Kunde lädt seine Daten einfach auf einen der Webserver, wo das NFS-Share gemountet ist. Auf den Webservern selbst liegen keinerleit Nutzdaten, so dass diese ohne großen Aufwand neu installiert werden können bzw. ein weiterer hinzukommen kann. Den Loadbalancer könnte man noch redundant auslegen, um die Sicherheit zu erhöhen. RAID-1 ist in allen System natürlich vorhanden. Die Konfiguration auf dem Loadbalancer geschieht via ipvsadmin, womit man sich auch die aktuellen Verbindungsstatistiken anschauen kann. Auf dem Loadbalancer und den Webservern läuft die gleiche IP, um das Loadbalancing zu realisieren. Auf den Webservern allerdings als Interface lo:1 mit -arp, damit die Anfragen nur beim Loadbalancer landen und es keine Konflikte gibt. Ebenfalls auf dem Loadbalancer gibt man konkret an, welche Ports wie weitergeleitet werden sollen. In der Regel sind das mindestens die Ports für HTTP(s) und FTP.

Hardwareseitig kamen als Webserver und NFS-Server Pentium 4 CPU's mit 3 GHz, 200 GByte SATA-Platten im RAID-1 am 3Ware-RAID-Controller und je einem GByte RAM zum Einsatz. Der Loadbalancer ist ein schwächeres Gerät (Pentium 3 mit 1,2 GHz, 256 MByte RAM), was aber mehr als ausreicht. Die Load auf dem Loadbalancer ist permanent 0,00 denn er verteilt ja nur die Arbeit

Insgesamt eine gute und ausreichend performante Lösung, um mit recht einfachen Mitteln eine Lastverteilung und zentrale Datenhaltung zu realisieren. PHP wird noch durch den "IonCube PHP-Accelerator" beschleunigt, was auch die Last auf den Webservern senkt. eAccelerator konnte ich wie erwartet erneut mit dem PHP 4.3.10 aus den Suse-RPM's nicht zum Zusammenspiel bewegen.
Aufpassen muss man natürlich bei den Configfiles und Usern. So sollte die Apache-vHosts-Config auf den Webservern identisch sein. Ebenfalls müssen User und Gruppen für das Schreiben auf dem NFS-Share auf den Webservern und dem NFS-Server identisch sein, inklusive User- und Group-ID's. Sonst gibts Probleme mit den Berechtigungen.

Für die hässliche Grafik entschuldige ich mich übrigens ausdrücklich, die wurde in der Wiki-Software "Twiki" mit dem Java-Draw-Plugin im Browser gemalt - ich hatte vorhin keine Bildbearbeitung oder sowas zu Hand

Seit gestern läuft auf diesem Server hier eAccelerator 0.9.3 als Ersatz für den TurckMMcache, der ja nicht mehr weiterentwickelt wird. Das compilen des .so-Modules ging problemlos und die Parameter sind nun in der php.ini eingefügt. Um zu schauen, was das wirklich bringt, habe ich mal die Apache Benchmark auf dem Server bemüht und 200 Requests auf admin-blog.com losgelassen. Einmal ohne und anschließend mit aktiviertem eAccelerator. Dazu sei gesagt, dass Serendipity - die hier eingesetzte Blog-Engine - generell etwas langsam ist und recht viele MySql-Query's benötigt. Testumgebung ist ein Single-CPU Webserver mit IDE-Platte und 512 MByte RAM, Apache 2.0.54 und PHP 4.4.0 als Modul - alles aus Debianpaketen. Vielleicht mach ich mir nochmal den Spaß und übersetze den Webserver und PHP von Hand um zu sehen, was das noch bringt. Hier aber erstmal die aktuellen, überraschenden Ergebnisse:

OHNE eAccelerator:
~# ab -n200 -c1 -dS http://admin-blog.com/index.php
Time taken for tests: 82.552962 seconds
Complete requests: 200
Total transferred: 19664000 bytes
HTML transferred: 19566800 bytes
Requests per second: 2.42 [#/sec] (mean)
Time per request: 412.765 [ms] (mean)
Time per request: 412.765 [ms] (mean, across all concurrent requests)
Transfer rate: 232.61 [Kbytes/sec] received

Connection Times (ms)
min avg max
Connect: 0 0 0
Processing: 334 412 1013
Total: 334 412 1013

Das heisst also er schafft rund 2,5 Requests die Sekunde. Bei einer gut frequentierten Seite sind solche Werte keine Seltenheit. Die Serverlast stieg während des Benchmarks übrigens auf 1.70 und mehr an. Nicht sehr schön

MIT eAccelerator:
~# ab -n200 -c1 -dS http://admin-blog.com/index.php
Time taken for tests: 43.980311 seconds
Complete requests: 200
Total transferred: 19657400 bytes
HTML transferred: 19560200 bytes
Requests per second: 4.55 [#/sec] (mean)
Time per request: 219.902 [ms] (mean)
Time per request: 219.902 [ms] (mean, across all concurrent requests)
Transfer rate: 436.47 [Kbytes/sec] received

Connection Times (ms)
min avg max
Connect: 0 0 0
Processing: 191 219 611
Total: 191 219 611

Nicht schlecht, oder? Wie man sehen kann holt der eAccelerator hier also mind. die doppelte Performance aus PHP raus, die Load bewegte sich bei ~0.60. Ich kann also nur dazu raten, ihn einzusetzen. Ein weiterer Test mit der Foren-Engine vBulletin 3.0.7 brachte sogar noch deutlichere Ergebnisse, eAccelerator brachte dort einen Gewinn von über 400%, was die Requests/sek. angeht. Komischerweise ist die Homepage http://eaccelerator.net/ seit einer Weile Down, das Sourceforge-Projekt samt Downloads ist aber verfügbar. Generell bin ich also sehr zufrieden mit dem Nachfolger des MMcache und hoffe, die Entwicklung geht positiv weiter ...

Apache2 ist nun in der Version 2.0.55 verfügbar. Dabei wurden einige bekannt Sicherheitslöcher gestopft. Für den arbeitsamen Admin heisst das, diverse Updates der Distributionen stehen ins Haus. Vor allem unter Gentoo endet das wieder im Compilerläufen der Extraklasse. Da klingt es doch sehr gut in meinen Ohren, dass wir in Zukunft eher in Richtung RPM-Distributionen - vor allem Suse - gehen wollen. Da lassen sich nämlich die sehr zeitraubenden Systemupdates noch am ehesten automatisieren.

Openoffice.org bietet nun den Release Candidate 3 von Version 2 an - eigentlich sollte das ja schon die Final werden. Bei Microsoft wäre das wahrscheinlich schon die übernächste Version, schließlich sind dort ja die echten Betatester die Endkunden und RC's stehen teilweise der breiten Masse unverständlicherweise gar nicht zur Verfügung. Wenn nur die Openoffice-Pakete nicht immer so groß wären. Ich hab nun wieder auf Notebook und Desktop jeweils rund 200 MByte zu saugen. Macht nix, meint ihr? Na ihr habt ja auch DSL! Ich häng hier immernoch an meinem WLAN und zu allem Überfluss haben einige Witzbolde im Verein auch noch diverse p2p-Programme am laufen, so dass es nur noch auf ISDN-Niveau voran geht im Netz. Die Admins sind aber dabei, die iptables-p2p zu reaktivieren, um diesen Wahnsinn zu beenden!

HP ruft übrigens diverse Notebooks zurück. Glücklicherweise bin ich nicht betroffen mit meinem nx9030. Das nx9010 - der kleine Bruder - ist hingegen betroffen. Naja, ein neuer Gratisakku wäre schon nicht schlecht gewesen ...

So, ich werde meine Bereitschaftszeit mit den kritischen Blicken auf das Nagios-Monitoring nun fortsetzen ... morgen früh gehts auch wieder ins Büro. Ich sags Euch, das Leben als Admin ist einfach nur hart

Endlich ist es soweit! Ubuntu 5.10 aka "Breezy Badger" wurde heute released. Zu Hause werde ich dann gleich das Update starten, eine CD ist auch bereits gebrannt. Neben einem grafischene Bootbalken (man kennt es von den Win-Dosen) sind auch Gnome 2.12.1 (mit endlich wieder editierbaren Menüsm wurde auch höchste Zeit!), Openoffice.org 2.0 beta 2 und X.org 6.8.2 im Angebot. Mehr Info's und das Release zum Download gibts auf der Ubuntu-Website. Es lohnt sich also auf jeden Fall, ein Update durchzuführen. Ubuntu hält sich erfreulicherweise auch sehr genau an die eigene Roadmap, so wird ja 2x im Jahr ein neues Release gebracht. Da kann sich Debian mal eine Scheibe abschneiden

Und da ein gutes Release am Tag nicht reicht, erschien ebenfalls KDE 3.4.3 zum Download. Neue Feautures sind zwar keine drin, es wurden aber diverse Fehler behoben und weitere Sprachanpassungen vorgenommen.

So und ich geh jetzt gleich nach Hause ...

Nachdem ich es schon aufgegeben hatte, AVM BlueFritz unter Linux einzurichten, habe ich es gestern in einem letzten Versuch unter Suse 9.3 auf meinem Notebook versucht. Und siehe da, es funktioniert! Ich kann mich problemlos via ISDN einwählen, bequem in der ganzen Wohnung herumspazieren und habe stets eine stabile Verbindung. Offenbar haben die Kollegen von Suse den Kernel direkt so angepasst, dass das funktioniert. Unter Ubuntu herrscht aber weiterhin Funkstille. Im Falle eines Ausfalles meiner WLAN-Verbindung zum Bürgernetz Dresden steht mir nun also noch eine ISDN-Leitung zur Verfügung Einzig die Authorisierung am Accesspoint musste von Hand geschehen ("ciptool connect [MAC]"), sonst erledigte YaST aber alles einwandfrei. Bei der Authentifizierung per Passworteingabe am AP braucht man allerdings schnelle Finger, denn wenn man nicht binnen weniger Sekunden den 16-stelligen Bluetooth-Key eingibt, bekommt man direkt einen Timeout. Aber dazu haben geniale Leute irgendwann einmal Copy&Paste erfunden ...

Auf Arbeit habe ich mich heute intensiver mit grsecurity und den dazugehörigen PaX-Tools beschäftigt. Relativ komplex, aber sehr effektiv. Die Einrichtung ist zwar recht umständlich, dafür hat man aber wirklich einen sehr harten Linuxkernel, der kaum anfällig für Buffer Overflows etc. ist. Und das klingt doch gut für den Einsatz auf Produktivsystemen.

Opera stellt seinen Browser ab heute werbefrei und gratis in der Version 8.5 zur Verfügung. Offensichtlich ist dieser Schritt eine Konsequenz auf den wachsenden Anteil von Firefox im Web und der Tatsache, dass immer weniger Leute bereit sind, Geld für einen Browser auszugeben. Ein Update auf 8.5 ist übrigens generell zu empfehlen, da alle Versionen darunter ein Sicherheitsloch im Mailclient "M2" beinhalten. Nachdem mein Kollege voller Freude gleich die neue Version installiert hatte, staunte er nicht schlecht, als microsoft.com als Default-Startseite erschein. Bug oder Feauture?

Als Freund diverser Statistiken habe ich eben ein kleines Script gebastet, welches die Referer zum AdminBlog auswertet. Wirklich interessant, wie die Leute so hierher kommen

Zum Schluß noch ein erneutes Highlight der Google-Autovervollständigung. Ohne Worte:

Es war einer dieser schlimmen Tage als Admin, denn auf einem Linux-Testsystem sollte ColdFusion MX 7 installiert werden. Da die Kollegen von Macromedia irgendwie nicht merken haben, dass sich Linux und die glibc weiterentwickeln, funktioniert der ganze Spaß nicht unter aktuellen Distributionen sondern nur unter Suse 8.1! Falls irgendjemand ColdFusion MX 7 unter Suse 9.x zum Laufen bekommen hat, möge er mir bitte die sachdienlichen Hinweise hier hinterlassen und meinen Dank ernten! Wahnsinn eigentlich, dass dieses Produkt über 1000 EUR kostet und nichtmal ansatzweise an die Fähigkeiten von Perl oder PHP herankommt. Naja, Closed Source halt und dazu noch Javabasierend, was soll man da erwarten? Es ist ja schon so ein Kunststück, unter Suse 8.1 einen aktuellen Apache inkl. PHP 4.4.0, Frontpage und MySql in aktueller Version überhaupt kompilieren zu können. Aber mit der nachinstallation diverser Lib's klappte dann auch das ...

Die Wahlergebnisse von gestern sind auch eher frustrierend als produktiv, schließlich weiss keiner, wie es nun weitergeht. Da wird wohl auch die Nachwahl bei uns hier nichts dran ändern. Aber man weiss ja nie ...

Übrigens habe ich noch einen Google-Suchhit gefunden, den ich euch nicht vorenthalten wollte:

Die ersten Hochrechnungen sind da, toll. Aber da meine Stimme noch nicht eingeflossen ist, kann das Ergebnis nicht stimmen Wobei es ja so aussieht, dass wir 219.000 Dresdner nicht wirklich mehr etwas ändern können. Man darf dennoch gespannt sein, wie es weitergeht.

Außerdem habe ich mein Gnome nun endlich so angepasst, dass Numlock beim Booten automatisch aktiviert wird. Zuerst wird via "apt-get install numlockx" das entsprechende Tool installiert, womit sich via Software der Numlock aktivieren und deaktivieren lässt, anschließend werden folgende Zeilen an die /etc/X11/gdm/Init/Default angehangen:

if [ -x /usr/bin/numlockx ]; then

/usr/bin/numlockx on
fi

In diesem Sinne noch einen angenehmen Sonntag vor dem TV oder sonstwo, morgen beginnt zumindest bei mir der harte Admin-Alltag wieder

PS: Hat jemand auf ARD schon das tolle MS-Logo gesehen, wenn die Hochrechnungen eingeblendet werden?

Linux macht verdammt viel Spaß, manchmal. Heute ist mir und einem Kollegen bei der Installation eines Kundenservers mit Gentoo Linux allerdings beinahe der Spaß vergangen. Das Image war schnell aufgespielt. Danach fix ein "emerge sync", geht auch noch. "emere -u world" und "emerge -u system" haben unsere Geduld dann allerdings minimal auf die Probe gestellt. Mehrere dutzend mehr oder weniger große Pakete mussten neu kompiliert werden. Nach 1-2 Stunden hatten wir dies aber auch hinter uns gelassen (ich für meinen Teil habe sogar produktiv im Sinne eines Projektes eine weitere Serverzusammenlegung durchgeführt). Als mein Kollege dann frohen Mutes "etc-update" eingab, teilte uns das System folgendes mit:

Regenerating GNU info directory index…
Processed 167 info files.
IMPORTANT: 103 config files in /etc need updating.
IMPORTANT: 1 config files in /usr/share/config need updating.
Type emerge –help config to learn how to update config files.

Der fachkundige Leser weiss, was das bedeutet. Als armer Admin muss man nun 103 (!) Configfiles updaten. Gentoo zeigt dabei wahlweise die Unterschiede. Da sich aber auch wichtige Sachen verändert haben könnten, muss man das Ganze wirklich durchspielen. Extrem nervig, aber so hart ist nunmal das Leben als Admin
Beruhigend ist da, dass es auch anderen Usern (hier und hier z.B.) mit Gentoo ähnlich ergeht. Nicht, dass man sowas bei Debian nicht auch hätte - dort geht das aber deutlich angenehmer, wie ich finde.

Da ich ein großer Fan von allen möglichen Statistiken bin, habe ich heute mein MRTG mit RDDtool aufgebohrt. Als Anzeigetool verwende ich mrtg-rdd, ein wirklich cooles Perlscript. Und so sieht das dann aus! Zu bewundern sind dort die Werte meines Web- und Datenbankservers. Die Scripte zur Werteerfassung habe ich teilweise selbst geschrieben, hier zu finden. Es werden aber bestimmt noch Weitere folgen, denn Statistiken sind einfach geil ...

Hab ich eben entdeckt. Also Vorsicht, ich bin extrem gefährlich

Der Bundestag hat kurz vor der kommenden Wahl die Umstellung auf Linux seiner rund 100 Server erfolgreich abgeschlossen. Ich hoffe, dass weitere große Institutionen folgen werden. Nun kann es ja nur noch aufwärts gehen mit Deutschland

Die Kollegen von Novell haben heute einen neuen Linuxkernel für Suse veröffentlicht - ich rate drigend zum Update via Yast, da einige Sicherheitslecks gestopft wurden.

Die aktuellen Ereignisse in den USA rufen leider auch einige Trittbrettfahrer auf den Plan, die den Wirbelsturm Katrina als Trojaner - Falle missbrauchen oder auf dubiosen Webseiten via PayPal zu Spenden aufrufen. Bitte nur auf den den offiziellen Seiten spenden! Schauen wir mal, ob eine neue Spamflut ausgelöst wird. Unser Mailcluster wäre sicher sehr glücklich, wenn dem nicht so wäre

Ansonsten war es ein eher ruhiger Tag, den ich sogar pünktlich halb 3 zum Feierabend beendet habe. Es ist immer schön, wenn alles stabil läuft. Am Montag wartet ein neuer Server auf seine Installation (mit Fedora Core 4), ich werde berichten!

In diesem Sinne wünsche ich Euch ein schönes Wochenende. Meine Wenigkeit wird sich jetzt erstmal zu einem Weinfest hier begeben und einen guten Tropfen trinken!

Gentoo Linux hat mir heute doch recht viel Stress bereitet, ich habe fast den ganzen Vormittag damit verbracht, auf einem Server PHP 5.0.4 samt eAccelerator oder einen anderen PHP-Cache zu installieren. Das ist mir nicht wirklich gelungen, da Gentoo PHP 5 leider nur als maskiertes eBuild zur Verfügung stellt. Dieses war auch schnell installiert, aber dann begannen die Probleme erst

Kein einziger, mir bekannter, PHP-Cache (Turck, APC, eAccelerator) liess sich anschließend auf dem System kompilieren. Alles was ich sah, war permanent dieser Fehler:

./configure --enable-apc --enable-apc-mmap --with-apxs --with-php-config=/usr/bin/php-config
loading cache ./config.cache
./configure: line 531: PHP_INIT_BUILD_SYSTEM: command not found
./configure: line 537: syntax error near unexpected token `config.nice'
./configure: line 537: `PHP_CONFIG_NICE(config.nice)'

Nach Abstimmung mit dem Kunden verzichten wir nun auf einen Cache, schließlich hat die Kiste eh 2 Xeon's mit je 2,8 GHZ am Start. Da geht auch ohne Cache voll die Post ab
Falls dennoch jemand eine Lösung für das Problem hat - her damit!

Der Apache Webserver hat auch auch eine Lücke, so kann durch ein Problem mit Byteranges unter Umständen der gesamte Systemspeichers des Servers belegt werden. Einzig Gentoo bietet bis jetzt eine gepatchte Version an. Die anderen Distributionen werden aber sicher in Kürze folgen. Das bedeutet im Schlimmstfall, dass alle Server upgedated werden müssen

So, nun habe ich Feierabend und werde noch die Pilze putzen, die ich gestern gefunden habe. Es waren zwar nicht sehr viele - zum Abendbrot hat es nicht gereicht - aber zum Trocknen sind die prima geeignet!

Herr Torvalds hat heute den neuen LinuxKernel 2.6.13 freigegeben. Dieser soll dank Echtzeit-Patches, modifizierten Timerwerten usw. wohl noch besser auf dem Desktop laufen. Na ich bin gespannt, ob ich mal etwas davon mitbekomme. Aber bis auf amaroK und mPlayer läuft ja bei mir eh nichts multimediales. Vielleicht sollte ich mir bei ALDI wohl doch mal eine TV-Karte holen
Die meisten tollen Neuerungen gehen irgendwie an mir vorbei, mein Linux 2.6 auf dem Home-Desktop und Notebook läuft seit Ewigkeiten unverändert und gut - neuerdings mit Ubuntu Hoary auf dem Desk und Suse 9.3 auf dem Notebook (KDE 3.4).

Bei DELL UK gab es die Nacht wie es scheint einen Rechner für 5,33 EUR. Bin gespannt, ob die Besteller den wirklich bekommen oder nicht. Es gab wohl gleich Sammelbestellungen bis zu 1000 Stück. Kann man ja auch keinem verübeln.

Naja ich werde dann mal weiter versuchen, die Dual-P3-Kiste hier mit einem aktuellen Gentoo 2005.1 zu installieren - natürlich von Stage 1. Allerdings kommt schon beim booten der LiveCD ein Kernelpanic und nichtmal das Deaktivieren von ACPI usw. hat etwas gebracht. Ich sehe ich mich schon fast genötigt, auf der Kiste ein Suse 9.3 aufzusetzen: Welch furchtbarer Gedanke

Vorhin ist auch eine tolle LiveCD mit Debian GNU/kFreeBSD namens Ging erschienen. Sollte man vielleicht mal testen. Weitere Infos unter http://glibc-bsd.alioth.debian.org/ging/.

So, ich mach jetzt erstmal Mittag ... bis dann.