GRID Computing

Fraunhofer-Institut für Algorithmen und Wissenschaftliches Rechnen SCAI

Grid, Cloud und Service-orientierte Architekturen (SOA) sind unterschiedliche Lösungen des Problems, Ressourceneinsatz und Ressourcennutzung zu flexibilisieren und zu dynamisieren. Alle haben den Ansatz, bei Bedarf dynamisch zusätzliche, auch externe Ressourcen oder Dienste für die Erledigung von Aufgaben verwenden zu können. Daher ergeben sich für Grid, Cloud und SOA dem Wesen nach ähnliche Fragestellungen auf Ebene der Middleware, die gelöst werden müssen, um verteilte Ressourcen oder Dienste innerhalb einer einzigen administrativen Domäne oder über mehrere Domänen hinweg nutzen können.

Dazu gehören Authentifizierung und Autorisierung, Vertrauen und Sicherheit, Auffinden von Ressourcen und Diensten, Orchestrierung von Ressourcen und Diensten, Zuordnen von Anwendungen zu geeigneten Rechenressourcen, Lizenzmanagement für kommerzielle Software, sowie Service Level Agreements (SLAs) über die Qualität der zu nutzenden Ressourcen und Dienste. Aktuell existieren hierzu proprietäre Lösungen, welche in der Regel jedoch nur lokale Umgebungen unterstützen.

Grids, Clouds sowie SOAs sind jedoch nur dann geeignet um Anwendungen oder Dienste in wissenschaftlichen oder kommerziellen Umgebungen auszuführen, wenn globale, auf Standards basierende Lösungen für die angesprochenen Problemen zur Verfügung stehen. Während Grid Computing seinen Ursprung in der öffentlichen Forschung hat, sind Clouds und SOA heute stärker im wirtschaftlichen Umfeld verbreitet.

Entwicklungen

Basierend auf mehr als 10 Jahren Erfahrung im Grid Computing fokussiert sich unsere Forschung auf Lösungen für die oben genannten Probleme. Erste Ergebnisse aus dieser Forschung stehen zur Verfügung und können nun evaluiert werden. Einige dieser Ergebnisse werden im Unterpunkt »Lösungen« genauer beschrieben. Unsere Forschung und Entwicklung findet im Kontext europäischer und nationaler Projekte statt, zum Beispiel im  deutschen D-Grid-Projekt, dem europäischen Projekt SmartLM sowie dem Open Grid Forum. Aktuelle in der Entwicklung befindliche F&E Arbeiten, die in Kürze oder innerhalb der nächsten Monate zur Verfügung stehen, sind:

  • Lizenzmanagement für kommerzielle Anwendungen in verteilten Umgebungen (entwickelt in SmartLM)
  • Zuordnung von Anwendungen auf geeignete Rechenressourcen (IANOS, entwickelt in CoreGRID)
  • Aushandeln und Verwalten von SLAs (Ergebnis unserer Standardisierungsaktivitäten im Open Grid Forum)
  • Interoperable Authentisierungs- und Autorisierungsmechanismen (entwickelt im D-Grid)
  • Reservieren von Bandbreite für Netzverbindungen (bandwidth on demand) für verteilte, datenintensive Anwendungen (entwickelt in PHOSPHORUS)
  • Ein robustes Rahmenwerk für schnelle Entwicklung und Einsatz eines Labors für Virtuellen Screening (entwickelt in PHOSPHORUS)

Weiterhin arbeiten wir an Lösungen für effizientes Text-Mining und Patent-Mining, z.B. in  HPC Grids. Im Rahmen dieser Entwicklung wird das ebenfalls in der Abteilung Bioinformatik entwickelte Text-Mining Werkzeug ProMiner an für die Nutzung in Grid bzw. Cloud angepasst.

Sämtliche Entwicklungen unterstützen entweder die drei am meisten verbreiteten Grid-Plattformen (Globus Toolkit, UNICORE und gLite) oder arbeiten unabhängig von der verwendeten Middleware. Durch den Einsatz von Web-Service-Technologien lassen sich sämtliche Entwicklungen nativ in SOA-Umgebungen nutzen. Bei Cloud Plattformen setzen wir auf kommerzielle Lösungen, wie etwa von Amazon oder SUN, und auf Open Source Entwicklungen, wie OpenNebula oder Eukalyptus. 

Integrierte Grid Forschung

CoreGRID: Das europäische »Network of Excellence« zielt darauf ab, die wissenschaftliche und technische Qualität im Bereich Grid- und Peer-to-Peer-Technologien zu stärken und zu erweitern.

Grid-Entwicklungen und -Testumgebungen

  • VO-Management: In diesem vom BMBF geförderten Projekt wird ein Rahmenkonzept für das VO-Management in D-Grid entwickelt.
  • IVOM: Dieses vom BMBF geförderte Projekt hat die Interoperabilität und Integration von VO-Management-Technologien in D-Grid im Fokus.
  • VIOLA: Ein ebenfalls durch das BMBF gefördertes Projekt, in dem die Anwendung neuer Netzwerk-Technologien und neue Arten der Netzwerk-Intelligenz innerhalb eines Testbeds untersucht werden.
  • PHOSPHORUS: Dieses europäische Projekt bearbeitet einige der wesentlichen technischen Problemfelder, um on-demand e2e Grid-Netzwerk-Dienste domänenübergreifend im europäischen Rahmen zu realisieren.

Biomedizinische Grid-Anwendungen

  • SiMDAT: Entwicklung grundlegender Techniken für Grid-Computing.
  • @neurIST: Integrierte biomedizinische Informatik zum Management zerebraler Aneurysmen

Lösungen

elasticLM ist ein Produkt für Lizenzmanagement im Grid, das aus dem im SmartLM Projekt entwickelten Prototypen hervorgegangen ist. elasticLM erlaubt die flexible, kontrollierte Nutzung von lizenzgeschützten, kommerziellen Anwendungen auch auf Ressourcen ausserhalb der Einrichtung,  die die Lizenz gekauft hat. elasticLM ist unsere Antwort auf die Probleme bei der Nutzung anderer Lizenzmanagementsysteme wenn dynamisch nicht lokale Ressourcen genutzt werden sollen.

Mit dem MetaScheduling Service (MSS) bieten wir eine Lösung zur Orchestrierung von Ressourcen, die sich sowohl in einer administrativen Domäne aber auch in mehreren Domänen befinden können. Der MSS unterstützt Vorabreservierung von Ressourcen für komplexe Anwendungen, die entweder gleichzeitigen Zugriff auf mehrere Ressourcen benötigen (co-allocation) oder Ressourcen in zeitlicher Abhängigkeit belegen (Workflows). Der MSS kann unabhängig von der jeweiligen Middleware genutzt werden. Wir stellen jedoch auch eine mit dem UNICORE-Client integrierte Version zur Verfügung.

WSAG4J, ein Framework für die Erzeugung und Verwaltung von Service Level Agreements in JAVA stellen wir eine vollständige Implementierung des OGF Standards WS-Agreement zur Verfügung. Neben dem generischen WSAG4J gibt es eine Reihe von Anpassungen an konkrete Einsatzgebiete, zum Beispiel WSAG4UNICORE6 mit einer Integration in UNICORE 6 oder WSAG4NSP mit der Integration in HARMONY, die Multi-domain Netzwerk Service Architektur, z.B. für Bandbreitenreservierung.