Das KI-Labor FLAIR@Scale der Arbeitsgruppe bietet Studierenden und Forscher*innen einen webbasierten Zugang zu leistungsfähiger Hardware für Lehrveranstaltungen, Abschlussarbeiten und Projekten.
Das (virtuelle) KI-Labor FLAIR@Scale am Fachbereich Wirtschaft stellt Studierenden und Forscher*innen Rechenleistungen für Lehrveranstaltungen, Abschlussarbeiten sowie Forschungs- und Transferprojekten zur Verfügung. Die Server verfügen über insgesamt 22 Nvidia physikalische GPUs verschiedenster Modelle (4x H100, 13x A30, 4x T4, 1x RTX3090). Durch Virtualisierung lassen sich diese auf bis zu 81 virtuelle GPUs erweitern, sodass diese auch in großen Gruppen genutzt werden können.
Zudem wird der Zugriff auf ein LLM (nvidia/Llama-3.1-Nemotron-70B-Instruct-HF), das auf Servern der Hochschule läuft, aus dem Campusnetz der Hochschule angeboten. Angepasste LLMs können zudem bereitgestellt werden.
Zur Verwaltung der Server wird auf Kubeflow gesetzt. Ein Softwareframework, welches sowohl Jupyter Notebooks zum Prototyping bereitstellt als auch die Umsetzung komplexer Workflows im Bereich Hyperparameteroptimization und MLOps ermöglicht.
Neben den Servern steht Embedded-Hardware in Form von Nvidia Jetson Development Boards und Coral TPUs für lokale Infernzaufgaben zur Verfügung.
Flankiert wird das virtuelle Labor durch einen modernen Raum, der flexibel für Workshops und PC-Labore genutzt werden kann. Der Raum bietet in moderner Umgebung Platz für 20 Personen, sodass Workshops, Hackathons o.ä. mit und ohne PCs durchgeführt werden können.
Das Labor soll insbesondere die Prototypen-Phase für Unternehmen und Gründer*innen ansprechen.
Weitere Informationen, etwa zur Ausstattung und Nutzung des Labors, gibt es hier.