Erhöhung des sicheren 24/7-Betrieb in Rechenzentren
Zufriedenheit aller Stakeholder
Das digitale Datenvolumen steigt rasant und stetig weiter an. Nicht zuletzt verursacht durch kryptische Währungen, wie z.B. Bitcoin (XBT), Ether (ETH), Litecoin (LTC) usw. oder etwa durch das Blockchain-Verfahren, eine Art Quasi-Datenbank, die auf verschiedenen vernetzten Servern arbeitet. Der steigende Bedarf an Datenaustausch vermehrt auch den Bedarf an Rechenzentren, die global in großem Ausmaß geplant, gebaut und unterhalten werden. Allerdings unterliegen Rechenzentren im elektrisch energetischen Kontext komplexen Herausforderungen, die einen (rechts-)sicheren 24/7-Betrieb beeinflussen können.
Bild: GMC-I Messtechnik GmbHNetz-Störpegel:
- • Starke Zunahme von nichtlinearen Verbrauchen (LED-Beleuchtung, Computer, Ladeeinrichtungen, Frequenzumrichter usw.), die Oberschwingungen erzeugen
- • Zunahme der dezentralen Einspeisungen (z.B. Windkraft, PV-Anlagen), die zu Instabilitäten in der Spannungshaltung führen
Wirkung der Störpegel:
- • Neuere Betriebsmittel (z.B. Server, Steuerungen, Regelungen, Aufzüge, Brandmeldesysteme, usw.) reagieren empfindlicher auf Störpegel und können ausfallen
- • Ganze Bauteile können zerstört werden
- • Betriebsunterbrüche kosten viel Geld
- • Ratlosigkeit bei Anlagenstörungen, da Ursachen oft nicht erkennbar
- • Eingesetzte Messmittel können Störungen nicht ausreichend erkennen
- • Keine Datenaufzeichnung, da Messgeräteversorgung ebenfalls gestört wird
- • Schlussendlich bedingt eine Ursachenanalyse teures Fachpersonal mit Erfahrung
Die Lösung
Wie eingangs beschrieben, können Netzqualitätsprobleme zu Störungen und Ausfällen führen, die immer mit Aufwand und Kosten verbunden sind. Gerade im Segment der Rechenzentren, wo Ausfälle und mögliche Schäden durch viele investitionsintensive Redundanzen (z.B. USV, Generatoren, multiple Einspeisung) eigentlich vermieden werden sollen, stellen Störpegel ein nicht vernachlässigbares Risiko dar. Im Idealfall erfüllen alle eingesetzten Betriebsmittel die Normen hinsichtlich Netzrückwirkung und Störimmunität und ein störungsfreier Betrieb ist somit wahrscheinlich. Allerdings und unter ungünstigen Rahmenbedingungen, diese z.B. verursacht durch viele gleichartige Verbraucher, unsymmetrische Netzbelastung usw., kann es zu deutlichen Pegelüberschreitungen kommen. Um die Risiken einschätzen als auch begrenzen zu können, ist folglich eine permanente Netzqualitätsüberwachung essenziell. Je nach Aufbau und Ausdehnung des Rechenzentrums macht eine Überwachung an verschiedenen Punkten innerhalb der Energieversorgung Sinn:
- • Am Einspeisepunkt des Netzbetreibers, dem sogenannten Verknüpfungspunkt (PCC = Point of Coupling)
- • In allen geschützten Versorgungsbereichen
- • Am Einspeisepunkt von Netzersatzanlagen
Nebst den Auswertungen erlauben die aufgenommenen Netzqualitätsdaten auch bestehende oder sich anbahnende Probleme frühzeitig zu erkennen, bevor sie zu einem Schaden führen. Für die Konformitätsbewertung werden die aufgenommenen Statistiken mit normativen Grenzwerten verglichen. Bei Rechenzentren sind dies:
- • EN50160 (Merkmale der Spannung in öffentlichen NS-, MS-, HS-Versorgungsnetzen), die normalerweise als Basis für den Vertrag mit dem Energielieferanten dient.
- • IEC61000-2-4 (Verträglichkeitspegel in Industrieanlagen), insbesondere Klasse 1 (geschützte Versorgungen).
Die o.g. Normen geben Leitlinien vor, wie sich das Netz am beobachteten Punkt im Normalbetrieb verhalten soll. Nicht abgedeckt sind dabei jene Ausnahmesituationen, die dazu führen können, vorübergehend die Versorgung mit Energie einzuschränken. Solche Störungen, wie Spannungseinbrüche oder -ausfälle, müssen zwar verpflichtend erfasst werden, für die Normerfüllung ist deren Anzahl aber nicht begrenzt. Es ist Aufgabe der USV bzw. von Netzersatzanlagen, solche Versorgungseinschränkungen zu überbrücken. Diese Überbrückung beschränkt sich aber auf die wichtigsten Ressourcen, so dass es zu Funktionseinschränkungen bei anderen Komponenten kommen kann. Es ist deshalb substanziell, dass das Betriebspersonal zeitnah über das Auftreten von Ereignissen nach IEC61000-4-30 informiert wird. Dies erfolgt z.B. via einer automatisierten E-Mail-Nachricht an die fachkundigen Personen. Für den Austausch von Netzqualitätsdaten ist es durchaus sinnvoll, ein standardisiertes Format z.B. PQDIF (Power Quality Data Interchange Format) nach IEEE1159.3 zu verwenden. Demzufolge ist die Auswahl der Analyse-Software von Netzqualitätsdaten nicht auf proprietäre Hersteller-Systeme beschränkt.
Ein weiterer Aspekt - RCM
Zur Vermeidung unkontrollierter Betriebsunterbrüche werden in Rechenzentren keine Geräte zur Fehlerstromüberwachung mit direkter Auslösung (RCDs) eingesetzt. Vielmehr ist es vorgeschrieben, Differenzströme permanent zu überwachen (siehe Abb.5). Hierbei bedient man sich des RCM (Residual Current Monitoring), das nebst dem essenziellen Personenschutz auch dem Anlagen- und Brandschutz dient. Ferner lassen sich aus der Veränderung der Fehlerströme Isolationsverschlechterungen frühzeitig erkennen und Maßnahmen können rechtzeitig eingeleitet werden. Auftretende Fehler im TN-S System (z.B. unzulässige oder zusätzliche Verbindungen PE-N) können ebenfalls früh erkannt und dadurch korrigiert werden.
Bild: GMC-I Messtechnik GmbHKorrekte Messdaten durch metrologische Rückführbarkeit
Ein alter Schlossermeisterspruch besagt: "Zentimeter ist ein Uhrmachermaß". Anders ausgedrückt: "Wer misst, misst Mist." So wissen Techniker und Ökonomen um die bekannte aber dennoch reale Phrase Becheid und kümmern sich um entsprechende Messmethoden. Und obwohl die Ansprüche an ein Netzqualitätsgerät sowohl bezüglich Messverfahren (IEC61000-4-30), Geräteeigenschaften (IEC62586-1) und Prüfung der Einhaltung der Normen (IEC62586-2) exakt definiert sind, gibt es dennoch Unterschiede zwischen den Herstellern. Insbesondere können Anbieter oftmals nicht nachweisen, warum ihr Analysegerät die Vorgaben erfüllt, also korrekt misst. Ein Nachweis einer wirklich korrekten Messung ist nur über eine unabhängige Zertifizierungsstelle, im optimalen Fall durch ein metrologisches Institut möglich. Nicht zertifizierte Prüfstellen oder gar Eigendeklarationen der Hersteller können metrologische Zertifikate nicht ersetzen und sollten deshalb auch kritisch betrachtet werden. Speziell dann, wenn es sich um sensible Bereiche, wie z.B. Rechenzentren handelt, die mit hohen Kosten und Risiken verbunden sind. Beispielhaft hat hier Camille Bauer Metrawatt eine unabhängige Prüfung durch das Institut METAS (Federal Institute of Metrology) in der Schweiz durchführen lassen. Das Institut kann nicht nur für jede anerkannte Maßeinheit ein Normal bereitstellen, sondern führt auch die eigenen Messeinrichtungen nachweislich und rückführbar auf die SI-Grundeinheiten zurück (Traceability). So wird zu jeder Zeit gewährleistet, dass Messdaten nicht in Frage gestellt werden können.
Der Nutzen einer metrologisch zertifizierten Überwachung der Netzqualität
Der wesentliche Nutzen einer professionellen und permanenten Überwachung der Netzqualität liegt in einer Erhöhung der Verfügbarkeit von Rechenzentren. Dabei definiert sich die Netzqualität als ein wesentlicher Baustein der Versorgungsqualität (siehe hierzu Abb. 6) und gilt selbstverständlich auch für viele andere sensible Bereiche außerhalb von Rechenzentren (z.B. in Hospitälern, in sensiblen Industriebetrieben, in der Verkehrsinfrastruktur wie Flughafen, öffentliche Gebäudekomplexe wie Einkaufszentren usw.). Der Nutzen entsteht bei der Analyse der aufgezeichneten Langzeitinformationen durch Beobachtung der Veränderungen und das Entdecken von Korrelationen. Dabei spielt nicht nur die Einhaltung der vertraglichen Einspeiserichtlinien eine Rolle. Zusätzliche und relevante Erkenntnisse können auch aus den folgenden Vorgängen abgeleitet werden:
- • Vergleich von Normalbetrieb zu USV- oder Notstrom-Betrieb
- • Bewertungen von Oberschwingungen und deren Einfluss auf die Betriebsmittel
- • Bewertung der Veränderung der Netzqualität über längeren Zeitraum
- • Veränderung der Netzqualität nach Änderungen in der Installation
- • Veränderungen der Netzqualität nach Zu- oder Abschalten von Betriebsmitteln
- • Bewertung der Spannungsereignisse nach Dauer und Restspannung (ITIC-Kurve) und deren Auswirkung auf die Lebensdauer der Betriebsmittel.
Ein weiterer und spezifischer Nutzen begründet sich auf einem permanenten RCM. Bei einer korrekt ausgeführten und permanenten Überwachung eines Fehlerstroms kann die periodisch wiederkehrende als auch manuelle Prüfung der Isolationsfestigkeit möglicherweise entfallen. Somit ist eine Abschaltung der Anlage während der Prüfung nicht notwendig (= Erhöhung der Verfügbarkeit) und der enorme Prüfaufwand mit den zugehörigen Kosten von Zeit und Personal entfällt.
Fazit
Die richtigen Erkenntnisse aus einer metrologisch zertifizierten Überwachung der Netzqualität inkl. RCM führen zu einem nachhaltigen Investitionsschutz, zur Kostenreduktion während des Betriebs, zur Maximierung der Datenverfügbarkeit und schlussendlich der wichtigen Zufriedenheit aller beteiligten Stakeholder. Dazu zählen Kunden, Mitarbeiter/innen, Energieversorger, Betreiber, Investoren, Servicekräfte, Politik, Verbände usw. Schlussendlich hilft es auch, CO2-Emissionen zu senken, da ein effizienterer und sicherer Betrieb des Rechenzentrums ermöglicht wird.
Ausblick
Schaut man sich die Entwicklung der globalen Datenvolumen an so wird man feststellen, dass die Herausforderungen für die Planer und Betreiber eher größer werden müssen. Allein in China sollen die derzeit >500.000 bestehenden Rechenzentren bis 2023 auf 1.000.000 ausgebaut werden. Zu den Themen der Netzqualität wird man sich immer gezielter die Frage stellen, wie man gemäß der PUE (Power User Effectiveness) den wachsenden Energiebedarf reguliert, da sowohl die energetische Infrastruktur als auch die benötigten Bauflächen an ihre Grenzen stoßen könnten. Dem amerikanischen Wissenschaftler Jonathan Koomey zufolge beträgt bereits heute der Anteil der Rechenzentren am weltweiten Stromverbrauch ca. 1,1 bis 1,5 Prozent. Allein im Ballungszentrum Frankfurt sind die Rechenzentren heute mit ca. 20 Prozent am gesamten Stromverbrauch beteiligt. "Serverleistung versus elektrische Leistung" - welcher Beitrag kann hierbei spezifisch zum PUE geleistet werden? Dazu ist es ratsam, die eingesetzte Energie pro Datenmenge und abgestimmt auf den Arbeitspunkt der Anlage zu überwachen und direkt in Abrechnungsmodelle der Versorgung als auch auf der Kundenseite des Datenaustauschs zu überführen. Quasi eine reale Datenabrechnung mit dem tatsächlichen Energiebedarf pro Dateneinheit. Somit würde ein reales 'Datenverbrauchs-Modell' den Energiepreis definieren und möglicherweise Anbieter von Daten als auch deren Verwender sensibilisieren. Daten könnten aufgrund der tatsächlich erzeugten Energiekosten sparsamer eingesetzt werden. Technisch wäre dazu ein integriertes Energie-Monitoring denkbar, das auf einem nachvollziehbaren Referenzmodell (Definition des Messstandards) beruht, das wiederum einzelne Server, Racks oder ähnliches Datenequipment überwacht und die tatsächlich eingesetzte Energie pro Datenaufkommen am Arbeitspunkt misst und somit valide zur Abrechnung bringt. Des Weiteren ist zu überlegen, ob cyberkriminelle Übergriffe auf die Energieversorgung in Rechenzentren oder andere sensible Bereiche nicht zusätzlich durch ein qualifiziertes und permanentes Monitoring der Netzqualität zu verhindern sind. Dies quasi als Redundanz zu den bestehenden Überwachungseinrichtungen, die heute über Softwarelösungen bereits etabliert sind, allerdings einer enormen Dynamik unterliegen. Es gilt dabei zu erforschen, ob man Veränderungen in der Netzqualität mit Cyberangriffen auf die Server als auch auf die Infrastruktur eines Rechenzentrums in Verbindung bringen und dadurch Angriffe frühzeitig abwehren kann. In beiden Fällen, Serverleistung versus elektrischer Leistung (PUE) als auch dem zusätzlichen Schutz gegenüber Cyberangriffen mittels Netzqualitätsanalyse, werden die Bezugsreferenzen (Definition des Messstandards) maßgebend sein.
Die Lösung
Wie eingangs beschrieben, können Netzqualitätsprobleme zu Störungen und Ausfällen führen, die immer mit Aufwand und Kosten verbunden sind. Gerade im Segment der Rechenzentren, wo Ausfälle und mögliche Schäden durch viele investitionsintensive Redundanzen (z.B. USV, Generatoren, multiple Einspeisung) eigentlich vermieden werden sollen, stellen Störpegel ein nicht vernachlässigbares Risiko dar. Im Idealfall erfüllen alle eingesetzten Betriebsmittel die Normen hinsichtlich Netzrückwirkung und Störimmunität und ein störungsfreier Betrieb ist somit wahrscheinlich. Allerdings und unter ungünstigen Rahmenbedingungen, diese z.B. verursacht durch viele gleichartige Verbraucher, unsymmetrische Netzbelastung usw., kann es zu deutlichen Pegelüberschreitungen kommen. Um die Risiken einschätzen als auch begrenzen zu können, ist folglich eine permanente Netzqualitätsüberwachung essenziell. Je nach Aufbau und Ausdehnung des Rechenzentrums macht eine Überwachung an verschiedenen Punkten innerhalb der Energieversorgung Sinn:
- • Am Einspeisepunkt des Netzbetreibers, dem sogenannten Verknüpfungspunkt (PCC = Point of Coupling)
- • In allen geschützten Versorgungsbereichen
- • Am Einspeisepunkt von Netzersatzanlagen
Nebst den Auswertungen erlauben die aufgenommenen Netzqualitätsdaten auch bestehende oder sich anbahnende Probleme frühzeitig zu erkennen, bevor sie zu einem Schaden führen. Für die Konformitätsbewertung werden die aufgenommenen Statistiken mit normativen Grenzwerten verglichen. Bei Rechenzentren sind dies:
- • EN50160 (Merkmale der Spannung in öffentlichen NS-, MS-, HS-Versorgungsnetzen), die normalerweise als Basis für den Vertrag mit dem Energielieferanten dient.
- • IEC61000-2-4 (Verträglichkeitspegel in Industrieanlagen), insbesondere Klasse 1 (geschützte Versorgungen).
Die o.g. Normen geben Leitlinien vor, wie sich das Netz am beobachteten Punkt im Normalbetrieb verhalten soll. Nicht abgedeckt sind dabei jene Ausnahmesituationen, die dazu führen können, vorübergehend die Versorgung mit Energie einzuschränken. Solche Störungen, wie Spannungseinbrüche oder -ausfälle, müssen zwar verpflichtend erfasst werden, für die Normerfüllung ist deren Anzahl aber nicht begrenzt. Es ist Aufgabe der USV bzw. von Netzersatzanlagen, solche Versorgungseinschränkungen zu überbrücken. Diese Überbrückung beschränkt sich aber auf die wichtigsten Ressourcen, so dass es zu Funktionseinschränkungen bei anderen Komponenten kommen kann. Es ist deshalb substanziell, dass das Betriebspersonal zeitnah über das Auftreten von Ereignissen nach IEC61000-4-30 informiert wird. Dies erfolgt z.B. via einer automatisierten E-Mail-Nachricht an die fachkundigen Personen. Für den Austausch von Netzqualitätsdaten ist es durchaus sinnvoll, ein standardisiertes Format z.B. PQDIF (Power Quality Data Interchange Format) nach IEEE1159.3 zu verwenden. Demzufolge ist die Auswahl der Analyse-Software von Netzqualitätsdaten nicht auf proprietäre Hersteller-Systeme beschränkt.
Ein weiterer Aspekt - RCM
Zur Vermeidung unkontrollierter Betriebsunterbrüche werden in Rechenzentren keine Geräte zur Fehlerstromüberwachung mit direkter Auslösung (RCDs) eingesetzt. Vielmehr ist es vorgeschrieben, Differenzströme permanent zu überwachen (siehe Abb.5). Hierbei bedient man sich des RCM (Residual Current Monitoring), das nebst dem essenziellen Personenschutz auch dem Anlagen- und Brandschutz dient. Ferner lassen sich aus der Veränderung der Fehlerströme Isolationsverschlechterungen frühzeitig erkennen und Maßnahmen können rechtzeitig eingeleitet werden. Auftretende Fehler im TN-S System (z.B. unzulässige oder zusätzliche Verbindungen PE-N) können ebenfalls früh erkannt und dadurch korrigiert werden.
GMC-I Messtechnik GmbH
Dieser Artikel erschien in SCHALTSCHRANKBAU 6 2018 - 09.10.18.Für weitere Artikel besuchen Sie www.schaltschrankbau-magazin.de
