Palma III

Leistungsverzeichnis (LV) Hardware

Ausstattung und Anforderungen an die Rechen-Knoten (Knoten-Typ 1):
Nr. Beschreibung
01 CPUs
- x86-64 Architektur
- Dual Sockel mit mind. 2x64 Kernen
- mind. 4 MB L3 Cache pro Kern
- keine Thin-/Efficient Cores
02 Memory
- Mindestens 768 GB RAM
- Es sind alle Speicherkanäle zu verwenden, der Speicher muss mit der maximalen für die CPU möglichen Frequenz betrieben werden können (gemeint ist dies jeweils bei Verwendung von DDR5- oder MRDIMMs), ohne Mehrfachbelegung der Speicherkanäle
03 Festplatten
- 1x NVMe SSD mit mindestens 1.9 TB und 1 DWPD Lebensdauer, mind. PCIe4.0, power loss protection
04 Netzwerk
- Mindestens 1x 10GbE RJ45 Anschluss
- Dediziertes 1GbE Management / BMC Interface
- Mindestens 1x Infiniband NDR200 Port
- es müssen passende DAC-Splitterkabel für die Verbindung mit den Leaf-Switchen mitgeliefert werden (siehe Abschnitt "Netzwerk")
05 Strom
- Redundante Power-Supplies, mindestens Titanium Standard
- Passende Stromkabel
06 BMC
- HTML5 KVM
- Unterstützung für virtuelle Medien
- Redfish Interface
- Keine zusätzlich anfallenden Lizenzgebühren
- Keinerlei zeitliche Begrenzung der genannten Funktionen
07 Kühlung
- Direktflüssigkeitskühlung (DLC)
08 Mindestens ein drittes Jahr Gewährleistung

Ausstattung und Anforderungen an die 5 Management-Knoten:
Nr. Beschreibung
01 CPUs
- x86-64 Architektur
- 1 Sockel mit mind. 64 Kernen
- Identische CPU-Architektur (AMD/Intel) wie die angebotenen Rechenknoten, nicht zwangsläufig dieselbe SKU
02 Memory
- Mind. 384GB RAM
- Es sind alle Speicherkanäle zu verwenden, der Speicher muss mit der maximalen für die CPU möglichen Frequenz betrieben werden können (gemeint ist dies jeweils bei Verwendung von DDR5- oder MRDIMMs), ohne Mehrfachbelegung der Speicherkanäle
03 Festplatten
- 1x NVMe SSD mit mind. 1,9TB, 1DPWD Lebensdauer, PCIe 4.0, power loss protection
04 Netzwerk
- Mindestens 1x 10GbE RJ45 Anschluss
- Dediziertes 1GbE Management / BMC Interface
- 1x Infiniband NDR200
- Dual Port 100GbE (ConnectX-6 VPI, QSFP56)
- Es müssen passende (Splitter-)Kabel für die Verbindung mit den Infinibandswitchen mitgeliefert werden (Die Infinibandswitche befinden sich in demselben/einem benachbarten Rack, 3m Kabellänge erwünscht). Für die 100G Ethernet-Ports sind Kabel und Switche bereits vorhanden.
05 Strom
- Redundante Power-Supplies, mindestens Titanium Standard
- Passende Stromkabel
06 BMC
- HTML5 KVM
- Unterstützung für virtuelle Medien
- Redfish Interface
- Keine zusätzlich anfallenden Lizenzgebühren
- Keinerlei zeitliche Begrenzung der genannten Funktionen
07 Kühlung
- Luftkühlung. Die Management Knoten werden nicht in die DLC Racks der Rechenknoten integriert.
08 Mindestens ein drittes Jahr Gewährleistung

?
Ausstattung und Anforderungen an die Leaf-Switche:
Nr. Beschreibung
01 Es ist eine für die Zahl der angebotenen Rechenknoten + 10% Nachkaufoptionen sowie für eine effiziente Verkabelung innerhalb der Racks ausreichende Zahl von NDR400 IB Switches anzubieten (wir gehen von einem Switch pro Rack aus).
02 Typ: NDR400 Infiniband
03 Lüftungsrichtung entsprechend der angebotenen Rechenknoten
04 Verkabelung Leaf und Spine Ebene
- 24 Ports (NDR400) pro Switch sind für den Uplink auf den bereits vorhandenen Spine zu verwenden
- LWL-Kabel (mit je 2x MPO-12 Transceivern, sodass beide Kabelenden damit ausgestattet sind) mit 15m Länge für die Verbindung zwischen Leaf- und Spine-Switches sind in passender Anzahl (24 pro Leafswitch) mit anzubieten
05 Verkabelung Rechenknoten
- Passende Infiniband-Splitterkabel sind mit anzubieten
06 Mindestens ein drittes Jahr Gewährleistung

Optional anzubieten ist zudem
- Eine Gewährleistungsverlängerung des Gesamtsystems auf 5 Jahre
- Eine Gewährleistungsverlängerung ausschließlich für das Kühlsystem auf 5 Jahre

Die komplette Leistungsbeschreibung entnehmen Sie den Dokumenten. Dies hier ist ein Auszug:
-----------------------------------------------------------------------

Beschreibung
Diese Ausschreibung umfasst einen Hauptkauf sowie optionale Verlängerungen der Gewährleistung.
- Es soll ein HPC-Rechencluster beschafft werden.
- Es wird nur Hardware samt entsprechender Gewährleistung beschafft.

Racks
Der Cluster soll im HPC-Serverraum untergebracht werden. Der Einbau erfolgt entweder in die vorhandenen Racks vom Typ: Schroff nVent Varistar (Breite 800mm, Höhe 2000mm, Tiefe 1300mm) oder in durch die anbietende Firma gelieferten passenden Racks. Für die vorhandenen Racks ist jeweils ein Kühlwasseranschluss verfügbar. Ziel ist es, das System in drei Racks unterzubringen. Sollte ein Viertes benötigt werden, bitten wir um Bieterkommunikation zur entsprechenden Abklärung. Detaillierte Maße der vorhandenen Schroff-Racks entnehmen sie bitte der zur Verfügung gestellten CAD Datei (nvent_varistar.dwg).
Sollen neue Racks eingebaut werden, müssen diese in die bestehende Schrankreihe integriert werden. Limitierend ist zudem die Aufzuggröße bei der Anlieferung (Höhe: 210cm Breite: 99cm Tiefe: 137cm, Zulässiges Gesamtgewicht 630 kg).
Der Aufbau bzw. Umbau erfolgt durch die anbietende Firma.

Kühlung
Es wird für den Cluster eine Flüssigkeitskühlung (DLC) gefordert, mit dem mindestens die CPUs der Compute-Nodes gekühlt werden. Als Primärkühlung steht Kaltwasser mit einer Vorlauftemperatur von 15°C zur Verfügung. Entsprechende Wärmetauscher zur Trennung des Kühlkreislaufs im Rack für die DLC-Systeme und dem Primärkühlkreislauf des Raums sind in die Racks zu integrieren und auch Bestandteil dieser Ausschreibung. Ebenfalls müssen passende Wasserschläuche zum Anschluss der Wärmetauscher an den Primärwasserkreislauf mit angeboten werden. Dabei wird gefordert, dass mindestens 90% der Abwärme des Systems über das Kühlwasser abgeführt werden. Dies kann durch zusätzlich direkt-flüssigkeitsgekühlte Elemente in den Knoten erfolgen oder die restliche Abwärme, welche nicht per DLC abtransportiert werden kann, kann durch gekühlte Rücktüren abtransportiert werden. Passende Rücktüren für die bestehenden Racks sind beim Hersteller verfügbar.
Zudem sollen fünf Management-Knoten angeboten werden, welche die gleiche CPU-Architektur aufweisen wie die Compute Knoten. Diese müssen luftgekühlt sein und werden nicht in die Schränke des eigentlichen Clusters eingebaut.

Stromversorgung
Für die Stromversorgung stehen bis zu 3 Anschlüsse pro Rack vom Typ CEE Steckverbindung 3-Phasig 63A zur Verfügung. Für die Stromverteilung innerhalb der Racks sind PDUs anzubieten, die über eine Ethernet-Schnittstelle pro Steckdose abfragbar (Energieverbrauch messbar) und schaltbar sind. Referenz: nVent ENLOGIC iPDU, EN6980, 400 VAC, 3-phasig, 63 A.

Netzwerk
Es ist eine für die Zahl der angebotenen Rechenknoten + 10% weitere Knoten desselben Typs (aufgrund der Nachkaufoption) sowie für eine effiziente Verkabelung innerhalb der Racks ausreichende Zahl von NDR400 IB Switches anzubieten (wir gehen dabei von einem Switch pro Rack aus). Die Lüftungsrichtung ist entsprechend der angebotenen Rechenknoten zu wählen. 24 Ports (je NDR400) von jedem Switch sind für die Uplinks auf den bereits vorhandenen Spine vorzusehen und die entsprechenden Transceiver (2x MPO-12) für die Leaf als auch den Spine und LWL-Kabel mit einer Länge von 15m sind mit anzubieten. Für die Infiniband-Verkabelung der Knoten im Rack sollen passende Splitterkabel gewählt werden und sind ebenfalls mit anzubieten.
Ethernet-Switche und -kabel für das 1GB und 10GB Netzwerk sind nicht Teil der Ausschreibung und werden von der Universität Münster gestellt (je zwei jeder Sorte pro Rack in 1HE mit 48 oder wahlweise 24 Ports pro Switch). Die vorhandenen Racks haben 42HE horizontal und 6x 1HE vertikal (3x 1HE auf jeder Seite), um Komponenten wie Switche einzubauen. Der Anbieter muss ein geeignetes Verkabelungskonzept durch geeignete Platzwahl der Switche (horizontal oder vertikal, geeignete Positionen und Kabellängen) erarbeiten und passende Kabellängen angeben.

Bewertung
Es wird vom Lieferanten ein Wert RMAX für einen Linpack-Benchmark (HPL) für das Gesamtsystem zugesichert, der bei dem Abnahmetest mindestens erreicht werden muss. Die Bewertung des Systems erfolgt über eine beigefügte Tabelle. Sollte die geplante Kombination aus CPU SKU und DIMM-Frequenz nicht in dieser Tabelle enthalten sein, bitten wir um Bieterfrage.
Das System setzt sich aus einem einzigen Typ von Rechenknoten zusammen - für diesen ist eine Anzahl in der beigelegten Bewertungsmatrix anzugeben.
Der Bestbieter wird anhand der für das Angebot ermittelten Kennzahl (siehe Bewertungsmatrix) bestimmt. Dabei wird ein Bonus von 5% aufgeschlagen, falls für die Direktflüssigkeitskühlung ein Dielektrikum verwendet wird.
Vertrag
Es wird beabsichtigt, den beigefügten Systemvertrag vor Zuschlagserteilung mit dem Bestbieter zu schließen. Gerichtsstand und Erfüllungsort ist Münster (Westf.).