Best Paper Awards auf der EuroMPI und IWOMP

17.12.2024

Das HPC-Team der RWTH Aachen feierte im September einen großen Erfolg und brachte gleich zwei Best Paper Awards mit nach Hause. Semih Burak erhielt den Rusty Lusk Award für das beste Paper auf der EuroMPI/Australia 2024 mit seiner Arbeit “SPMD IR: Unifying SPMD and Multi-value IR Showcased for Static Verification of Collectives”. Auf dem International Workshop on OpenMP (IWOMP 2024), der gemeinsam mit EuroMPI im australischen Perth ausgerichtet wurde, sicherte sich Jannis Klinkenberg mit seiner Arbeit “Towards Locality-Aware Host-to-Device Offloading in OpenMP” den ersten Platz. Sowohl EuroMPI als auch IWOMP gelten als etablierte und bedeutende Veranstaltungen für MPI und OpenMP, zwei führende parallele Programmierparadigmen, die häufig und intensiv auf Hochleistungsrechnern eingesetzt werden.

Der Beitrag von Jannis Klinkenberg et al. “Towards Locality-Aware Host-to-Device Offloading in OpenMP” beschäftigt sich mit der Optimierung von Datentransfers zwischen Host- und Gerätespeicher in OpenMP-unterstützten, heterogenen Rechnersystemen wie z.B. CPU-GPU-Architekturen. Heutige Systeme bestehen häufig aus mehreren CPU-Sockeln und mehreren GPUs pro Rechenknoten, was durch Unterschiede beim Speicherzugriff zwischen NUMA-Domänen (Non-Uniform Memory Access) zu Leistungsschwankungen führen kann. Diese komplexen Systeme zeigen oft Performanceprobleme aufgrund suboptimaler Offloading-Strategien und Geräteauswahl, die zu nicht-lokalen Speicherzugriffen führen. Bestehende Programmiermodelle wie OpenMP verfügen nicht über ausreichend robuste Funktionen, um die Lokalität zwischen CPU-Kernen, Daten und Geräten zu berücksichtigen, was die Effizienz bei der Datenverarbeitung einschränkt.
In dieser Arbeit wurde die Offloading-Leistung zwischen CPU-Kernen und GPUs untersucht und Erweiterungen der OpenMP-API vorgeschlagen, um nahegelegene GPUs für schnellere Datenübertragungen zu priorisieren. Eine Prototyp-Implementierung innerhalb der LLVM OpenMP-Laufzeitumgebung und Experimente auf zwei aktuellen heterogenen Architekturen mit Nvidia- und AMD-GPUs zeigen, dass der lokalitäts-bewusste Ansatz die Rechenleistung und Effizienz in Systemen mit mehreren GPUs erheblich verbessert.

Der Artikel von Semih Burak et al. “SPMD IR: Unifying SPMD and Multi-value IR Showcased for Static Verification of Collectives” stellt eine vereinheitlichende Zwischendarstellung (Intermediate Representation, IR) vor, genannt SPMD IR, die die Wiederverwendbarkeit und Erweiterbarkeit von statischen Analysen und Optimierungen in modernen Compiler-Systemen für Hochleistungsrechnen (HPC) verbessert. Da moderne HPC-Systeme zunehmend parallele CPU- und GPU-Architekturen in Multi-Knoten-Setups umfassen, hat sich der Einsatz verschiedener paralleler Programmiermodelle (z.B. MPI, SHMEM, NCCL) etabliert, um die Hardware effektiv nutzen zu können. Tool-Entwickler stehen jedoch vor der Herausforderung, anpassungsfähige Verifikations- und Optimierungstools zu entwickeln, die modellübergreifend funktionieren. SPMD (Single Program, Multiple Data) IR begegnet diesen Herausforderungen, indem es eine standardisierte Darstellung gemeinsamer paralleler Operationen, wie Kommunikation und Synchronisation, bietet, die in SPMD-zentrierten Programmiermodellen häufig vorkommen.
Der Artikel beschreibt außerdem die Zuordnung von gängigen parallelen Programmiermodellen auf die SPMD IR. Die IR ist in der Lage, wesentliche Eigenschaften von SPMD-Programmen durch eine erweiterte Multi-Value-Analyse darzustellen.
Sobald ein Tool zur SPMD IR portiert wurde, ermöglicht es die Unterstützung eines anderen Programmiermodells allein durch die Umwandlung der ursprünglichen Darstellung in die SPMD IR; die Implementierung des Tools selbst muss nicht geändert werden. Unter anderem erhöht die SPMD IR die semantischen Informationen, die der Compiler über das Programm hat. Eine Prototyp-Implementierung in der MLIR/LLVM-Compiler-Infrastruktur demonstriert das Potenzial von der SPMD IR. Sie unterstützt die Modelle MPI, SHMEM und NCCL (einschließlich hybrider Kombinationen) und validiert, dass sie flexiblere und robustere Compiler-Toolchains für vielfältige HPC-Anwendungen ermöglicht. Der Ansatz der SPMD IR wurde erfolgreich durch das Anwendungsbeispiel der statischen Verifikation kollektiver Kommunikation im Vergleich zum Stand der Technik demonstriert und evaluiert.