Jul222025

High-Performance-Computing

SUPer-REchner für NUMerische Anwendungen

 

SUPRENUM – Supercomputer for Numerical Applications was a German research project to develop a parallel computer between 1985 and 1990. Although the Suprenum–1 was the most powerful massively parallel computer system in the world for a short time, the development of a second generation of the system was not financed.

Brief overview of the successful and most powerful parallel computer based on MIMD technology developed in Germany, which began about 40 years ago: from innovation “Made in Germany” to invest “Made for Germany” (#MadeForGermany).

SUPRENUM – European supercomputer

SUPRENUM was the German supercomputer project aiming at the development and construction of a distributed-memory multiprocessor system. Within the SUPRENUM project many application codes are either parallelized or completely new developed. Using the concepts of the Abstract SUPRENUM Machine and some programming environment tools these applications can be parallelized rather easily and straightforward.

History

“The SUPRENUM project ended around 25 years ago (07/2018). The aim of this large–scale German project, funded by the Ministry of Research, was to develop a parallel supercomputer, particularly for large numerical applications. In a joint initiative involving research centers, industry, and university expert groups, the aim was to create a scalable computer system that offered true peak performance based on a MIMD parallel architecture. In addition to hardware design and implementation, this also required a large number of software developments. In fact, around two-thirds of the project costs were spent on software development.

In 1989, the first (“small”) system was presented to great public acclaim at the Hannover Messe Industrie trade fair and celebrated as a major success. A system with the highest level of expansion was then installed and approved at the GMD in Sankt Augustin in December 1990. From 1991 and 1992, a large number of applications were implemented on this fully developed system and extensive performance measurements were carried out. The result in a nutshell: With a peak performance of 3.0 GFLOPS (for a matrix multiplication), SUPRENUM was the fastest MIMD computer in the world at the time.

However, the more significant and lasting breakthroughs were achieved not on the hardware side, but on the software side. The project had not only a research goal, but also a commercial one. This was one of the conditions formulated by the main industry partners from the outset. The SUPRENUM systems manufactured by the industry partner Krupp Atlas Elektronik GmbH were to be procured and used in particular by research institutions as high-performance computers. However, apart from the target system for the GMD, only five smaller systems were procured and installed by institutions closely involved in the project.

The main reason for this lack of commercial success was that industry and research policy makers could not agree on the financing of the further development of the system (SUPRENUM 2). No (genuine) buyer can be found for a (high-performance) system whose future is uncertain. However, the software developments of the project were successfully marketed by Pallas GmbH and continued in the European GENESIS project and later in the EUROPORT project, among others. The parallelization concepts in particular were groundbreaking. They still form the basis of a large number of large parallel applications today.

This article takes a retrospective look at the technical developments and research policy aspects of the project at the time. Some of the technical developments appear exceptional in retrospect. Some of the political decisions in the initial phase of the project were courageous and visionary, while the attitude of industry at the end was rather short-sighted and not very forward-looking.”

Zusammenfassung

Vor rund 25 Jahren (07/2018) endete das SUPRENUM-Projekt. Ziel dieses großen, vom Forschungsministerium geförderten deutschen Projekts war die Entwicklung eines parallelen SUPer-REchners, insbesondere für große NUMerische Anwendungen. In einer gemeinsamen Initiative von Forschungszentren, der Industrie und universitären Expertengruppen sollte ein skalierbares Rechnersystem entstehen, das auf der Basis einer MIMD-parallelen Architektur echte Höchstleistung bot. Dazu war neben der Hardware-Konzeption und -Realisierung auch eine Vielzahl von Software-Entwicklungen erforderlich. Und tatsächlich wurden auch etwa zwei Drittel der Projektkosten für die Software-Entwicklungen aufgewendet. Im Jahre 1989 wurde das erste („kleine“) System unter großer öffentlicher Aufmerksamkeit auf der Hannover-Messe Industrie präsentiert und als großer Erfolg gefeiert.
Ein System der höchsten Ausbaustufe wurde dann im Dezember 1990 in der GMD in Sankt Augustin installiert und abgenommen. Ab 1991 und 1992 wurden eine Vielzahl von Anwendungen auf diesem voll ausgebauten System implementiert und umfangreiche Leistungsmessungen durchgeführt. Das Ergebnis kurz zusammengefasst: Mit einer Leistungsspitze von gemessenen 3,0 GFLOPS (für eine Matrixmultiplikation) war SUPRENUM damals der schnellste MIMD-Rechner der Welt. Die langfristig bedeutenderen, nachhaltigen Durchbrüche gelangen allerdings nicht auf der Hardware-, sondern auf der Software-Seite.

 

Das Projekt hatte nicht nur ein Forschungs-, sondern auch ein kommerzielles Ziel. Das war eine der Bedingungen, die von den Hauptindustrie-Partnern von Anfang an formuliert wurden. Die vom Industriepartner Krupp Atlas Elektronik GmbH gefertigten SUPRENUM-Systeme sollten insbesondere von Forschungseinrichtungen als Hochleistungsrechner beschafft und genutzt werden. Es wurden aber außer dem Zielsystem für die GMD nur fünf kleinere Systeme von projektnahen Institutionen beschafft und installiert. Der Hauptgrund für diesen ungenügenden kommerziellen Erfolg lag in der Tatsache, dass Industrie und Forschungspolitik sich über die Finanzierung der Weiterentwicklung des Systems (SUPRENUM 2) nicht einigen konnten. Für ein (Höchstleistungs-)System, dessen Zukunft nicht gewährleistet ist, findet man keinen (echten) Käufer.
Die Softwareentwicklungen des Projekts wurden allerdings mit Erfolg von der Pallas GmbH vermarktet und unter anderem im europäischen GENESIS-Projekt und später im EUROPORT-Projekt weitergeführt. Insbesondere die Parallelisierungskonzepte waren richtungsweisend. Sie sind heute noch die Grundlage einer Vielzahl von großen parallelen Anwendungen.

 

In diesem Artikel werden die damaligen technischen Entwicklungen und die forschungspolitischen Aspekte des Projekts rückblickend betrachtet. Manche der technischen Entwicklungen erscheinen im Rückblick exzeptionell. Einige der politischen Entscheidungen in der Startphase des Projekts waren mutig und visionär, die Haltung der Industrie am Ende dagegen eher kurzsichtig und wenig zukunftsorientiert.

 

Review article

SUPRENUM 25 years in Informatik-Spektrum:

Source

Review article with permission from the authors:

Author´s acknowledgement

“Danke, Thomas, für die hervorragende Zusammenfassung von SUPRENUM und die Erinnerung daran, dass Deutschland einmal eine führende Position in der weltweiten Supercomputer-Entwicklung hatte. Technisch-wissenschaftlich hat sich dass MIMD-Konzept und die Vektorbeschleunigung weiterhin durchgesetzt, längst realisiert in hochkompakten Prozessoren, wie sie heute u.a. in der KI eingesetzt werden.

Bei SUPRENUM ging es aber nicht nur um Hardwarebeschleunigung sondern um das Zusammenspiel mit der Parallelisierung komplexer, hochperformanter numerischer Algorithmen. Was oft übersehen wird, ist, dass die Beschleunigung aus dem Produkt von HW- und algorithmischer Innovation resultiert. Zur SUPRENUM-Zeit lieferten weltweit gerade die von Ulrich Trottenberg mit entwickelten Mehrgitter-/Multi-Level-Verfahren DEN algorithmischen Boost auf der SUPRENUM-Architektur.” ~ PD Dr. habil. Bernhard Thomas

 

GitHub repository

Further information

This list of links on the SUPRENUM topic does not claim to be exhaustive:

 

Key people

Wolfgang Giloi, together with Ulrich Trottenberg, played a key role in the development of the SUPRENUM parallel computer.

“Wolfgang Giloi is considered the creator of the first German supercomputer, the SUPRENUM computer, and made a decisive contribution to the development of computer science in Germany. Whereas Ulrich Trottenberg is regarded as the initiator of the project and the person who came up with the idea for the application algorithms, i.e. multigrid and parallelization concept.“

 

Videos

 

References

Literature references from the review article “SUPRENUM 25 Jahre”, by Ulrich Trottenberg and Bernhard Thomas. The following publications are a selection of contributions that are directly or indirectly relevant to this review. In total, more than 200 publications related to SUPRENUM appeared during the project period and thereafter, more than 150 of which are already listed in the bibliography [1] (1989).

  1. Brand, K.; Lemke, M.: SUPRENUM Bibliography Edition 2.1, SUPRENUM Report 9, 1989
  2. Brandt, A.: Local and Multi-Level Parallel Processing Mill , in [33]
  3. Colbrook, A.; Duff, I.; Hey, T.; Stüben, K.; Thole, C.-A. (Special Issue Eds.): Special Issue EUROPORT, The International Journal of Supercomputer Applications and High Performance Computing, Volume 11, Number 4, Sage Science Press, 1997
  4. Feilmeier, M.; Junker, M.: Superrechner, das Projekt SUPRENUM und die Konsequenzen dieser Entwicklung, Report, F&J-News, 56-66, München 1986
  5. Fessler, G.: Überlegungen zu Mehrgitteralgorithmen auf Baumrechnern, in [34]
  6. Franke, B.; Harneit, R.; Kern, A.; Zeidler, H.C.: The Pipeline Bus: An interconnection network for multiprocessor systems, 403-412, in [35]
  7. Gärtel, U.; Joppich, W.; Schüller, A.; Trottenberg, U.: Wetter- und Klimavorhersage auf hochgradig parallelen Rechnern. Informatik-Spektrum 18, 335-339, 1995
  8. Giloi, W.K.: SUPRENUM: A Trendsetter in Modern Supercomputer Development, 283-296, in [35]
  9. Hempel, R.: Portabilität numerischer Software für Parallelrechner unterschiedlicher Architektur, in: Reuter, A. (Ed.): GI – 20. Jahrestagung I (1990), Springer-Verlag 1990
  10. Hempel, R.; Schüller, A.; Solchenbach, K.; Trottenberg, U.: Portable Anwendungssoftware für Parallelrechner, Informationstechnik it 34, 50-56, 1992
  11. Herzog, U.: Performance evaluation principles for vector- and multiprocessor systems, 425-438, in [35]
  12. Hey, A.; McBryan, O.A.: SUPRENUM and GENESIS, Parallel Computing 20, Special Issues 10+11, 1994
  13. Hillis, W.D.: The Connection Machine, Cambridge, Mass., MIT-Press 1985
  14. Hoffmann, G.-R.; Maretis, D.K.: The Dawn of Massively Parallel Processing in Meteorology, Topics in Atmospheric and Oceanic Sciences, (Ghil, M.; Sadourny, R.; Sündermann, J. – Series Eds.), Springer 1990
  15. Kammer, H.: The SUPRENUM vector floating-point unit, 315-324, in [35]
  16. Kauranne, T.: Summary of GENESIS work at the European Centre for Medium-range Weather Forecasts (ECMWF), in [12]
  17. Kehl, E.; Oertel, K.-D.; Solchenbach, K.; Vogelsang, R.; McBryan, O.W.: Application Benchmarks on SUPRENUM, SUPRENUM Report 21, 1990
  18. Kolp, O.; Mierendorff, H.: Performance estimations for SUPRENUM systems, 357-366, in [35]
  19. Kremer, U.; Bast, H.-J.; Gerndt, M.; Zima, H.: Advanced tools and techniques for automatic parallelization, 387-393, in [35]
  20. Kroll, N.: Anforderungen an Rechnerleistungen aus der Sicht der numerischen Aerodynamik, in [34]
  21. McBryan, O.A.; Frederickson, P.O.; Linden, J.; Schüller, A.; Solchenbach, K.; Stüben, K.; Thole, C.-A.; Trottenberg, U.: Multigrid Methods on Parallel Computers – A Survey of Recent Developments. In: Impact of Computing in Science and Engineering 3, 1-75, 1991
  22. Mierendorff, H.; Trottenberg, U. (Eds.): Leistungsmessungen für technisch-wissenschaftliche Anwendungen auf dem SUPRENUM-System, Arbeitspapiere der GMD 624, 1992
  23. Mierendorff, H.; Trottenberg, U. (Eds.): Ergänzende Leistungsmessungen für technisch-wissenschaftliche Anwendungen auf dem SUPRENUM-System, Arbeitspapiere der GMD 669, 1992
  24. Mühlenbein, H.: Modellierung von parallelen Mehrgitteralgorithmen und Rechnerarchitekturen, in [33]
  25. Peinze, K.; Trottenberg, U.; Thomas, B.: Parallelrechner für Superleistung – SUPRENUM, Technische Mitteilungen Krupp 1, 15-28, 1989
  26. Regenspurg, G.: Hochleistungsrechner-Architekturprinzipien, McGraw-Hill 1987
  27. Rönsch, W.; Strauss, H.: A linear algebra package for a local memory multiprocessor: Problems, proposals and solutions, 413-418, in [35]
  28. Schröder, W.: PEACE: The distributed SUPRENUM operating system, 325-333, in [35]
  29. Solchenbach, K.: Suprenum-Fortran – an MIMD/SIMD language, SUPERCOMPUTER 30 (volume VI number 2), 25-30, ASFRA Verlag, Amsterdam 1989
  30. Solchenbach, K.; Thomas, B.; Trottenberg, U.: Dem parallelen Rechnen gehört die Zukunft. In Meuer, H.W. (Ed.): Supercomputer ´89, Informatik-Fachberichte 211, 110-118, Springer-Verlag 1989
  31. Solchenbach, K.; Trottenberg, U.: SUPRENUM: System essentials and grid applications, 265-282, in [12]
  32. Solchenbach, K.; Thole, C.-A.; Trottenberg, U.: GENESIS Application Software, in [5]
  33. Trottenberg, U.; Wypior, P.: Rechnerarchitekturen für die numerische Simulation auf der Basis superschneller Lösungsverfahren I, GMD-Studien Nr.88, 1984
  34. Trottenberg, U.; Wypior, P.: Rechnerarchitekturen für die numerische Simulation auf der Basis superschneller Lösungsverfahren II, GMD-Studien Nr. 102, 1985
  35. Trottenberg, U. (Guest Ed.): Proceedings of the 2nd International SUPRENUM Colloquium 1987, Parallel Computing 7, 1988
  36. Trottenberg, U.; Oosterlee, C.W.; Schüller, A.: Multigrid, Academic Press, 2001
  37. Trottenberg, U.: Das Superrechnerprojekt SUPRENUM (1984-1989). In: Reuse, B.; Vollmar, R. (Eds.): Informatikforschung in Deutschland, 176-187, Springer-Verlag 2008
  38. Werner, K.H.; Brass, U.; Thomas, E.: The Suprenum user interface, SUPERCOMPUTER 30 (volume VI, number 2), 20-24, ASFRA Verlag, Amsterdam 1989
  39. Burde, T.; Vallbracht, G.; Waldschütz, S.: Fördervorhaben SUPRENUM, Untersuchung von Anwendungs-, Bedarfs- und Akzeptanzfragen, B-SZ 1415/01, IABG GmbH, 1985
  40. Händler, W.: Anmerkungen zu Erlanger Multiprozessoren, 77 – 113, in [33]
  41. Händler, W.; Herzog, U.; Hofmann, F.; Schneider, H.J.: Multiprozessoren für breite Anwendungsgebiete: Erlangen General Purpose Array, GI/NTG Fachtagung „Architektur und Betrieb von Rechensystemen“, 195 -208, Informatik-Fachberichte 78, Springer-Verlag 1984
  42. Hofmann, F.; Händler, W.; Volkert, J.; Henning, G.; Fritsch, G.: Multiprozessor-Architekturkonzept für Mehrgitterverfahren, 65 – 76, in [33]
  43. Hoßfeld, F.: Vector-Supercomputers, 373-385, in [12]
  44. Peinze, K.: The SUPRENUM preprototype: Status and Experiences, 297-313, in [35]

 

Funding

The work underlying this report was funded by the German Federal Minister of Research and Technology (BMFT), grant number ITR 8502D0.

 

Retrospective

InterScience Trusted Partnership

Categories: Deep Technology, Industrie, Innovation, Software
Tags: 

Author: Dr. Thomas Fabula

Thomas Fabula applies his profound experience in various functions for multinational corporations and medium-sized enterprises in different branches. As a former athlete his passion for sportive leadership enables him to motivate intercultural & cross-disciplinary teams in business environments to high-performance level.