OpenAI & ChatGPT

Wer hier nutzt ChatGPT?

OpenClosedAI

  • Früher: OpenAI mit "the greater good" — das Wohl der Allgemeinheit beschrieben
  • Heute: Wichtige Forschungsergebnisse werden zurückgehalten
  • Gefahr dass durch Quasi-Monopol Innovationsanreiz verloren geht vgl. Google
  • Was passiert mit meinen Daten? Wird es OpenAI und damit auch ChatGPT für immer geben?

Wie soll die Forschungsgemeinschaft Verbesserungen für ein Modell vorschlagen, das gar nicht offen zugänglich ist?William Falcon, CEO von Lightning AI

Gibt es überhaupt eine Alternative zu Big-Tech?

KI auf eigener Hardware: Chancen und Herausforderungen

  • Vor- und Nachteile
  • Tools zur praktische Nutzung
  • Einrichtung
  • Demo — So kann das Betreiben eines Sprachmodells auf dem eigenen PC aussehen
  • Ausblick in die Zukunft

Vorteile

  • Keine Abhängigkeit von einem externen Serviceanbieter
  • Daten müssen das eigene Netzwerk nicht verlassen und müssen
    nicht Dritten zugänglich gemacht werden
  • Für spezielle Zwecke sind spezialisierte (fine-tuned) Open Source Large
    Language Models verfügbar

Nachteile aka. Herausforderungen

Nachteile

  • Einrichtung, Wartungen und Updates können mit großem manuellen Aufwand
    verbunden sein zudem evtl. Fachwissen nötig
  • Die Hardware großer KI-Anbieter kann effizienter für den Betrieb von
    KI sein
  • Speicherplatz: LLMs erfordern große Mengen an Speicherkapazitäten

Tools zur praktischen Nutzung

  • LLM (Großes Sprachmodell), Analogie zur Bluray
  • Benötigt wird Schnittstelle für Interaktion, eine Art "Bluray-Player"
  • Im besten Fall noch einen Bildschirm um Information zu sehen

Einrichtungsprozess (vereinfacht)

  1. Ollama für Linux herunterladen und installieren:
curl -fsSL https://ollama.com/install.sh | sh
  1. Großes Sprachmodell herunterladen:
ollama pull smollm2:135m
  1. Openweb-UI mit Podman ausführen:
podman run -d --name openwebui -p 3000:8080 ghcr.io/open-webui/open-webui:main
  1. Evtl. Verbindungseinstellungen in Openweb-UI anpassen:

Soviel zur Theorie! Nun zur Praxis.

Demo

contain

Ausblick in die Zukunft

  • Demokratisierung durch effizientere KI-Modelle, Weniger ist Mehr
  • Beispiel: Stable Diffusion (Nominiert für den Deutschen Zukunftspreis 2024)
  • Shareholder getriebene Finanzierung wird nicht ausreichen

Wenn jeder in der Lage ist etwas zum Entwicklungsprozess beizutragen sind die Chancen auf Erfolg größerProf. Dr. Björn Ommer

Fazit

  • Gibt es eine alternative zu Big-Tech?
  • JA, KI unabhängig von Internetgiganten zu verwenden um so die Innovation in diesem Feld voranzutreiben muss auch ein Weg sein
  • Einstieg in die Technologie mit den vorgestellten Tools
  • Aktive Community in diesem Bereich z.B. Huggingface.com

Comments in marp have to be in html format, otherwise the text is rendered to the slide.

Global styling, is used in the "first" page, as seen above (slide-deck.md)

Comments are visible inside presenter view, and therefore can be used as notes for the presentation.

About the SVG-Symbol: (OpenAI logo), path to a resource is from the standpoint of the rendered document, which resides in: ./docs/index.html, ./assets/open_ai_logo.svg would be the wrong path because assets is not on the same directory level as the docs directory.

Local styling

Vertically split background in "cover" mode with even spacing.

Picture on the left side using 33% of the page.

A series of pictures with the same height on the right side requireing 60% of space. The position (side) only has to specified once.

Picture (qr-code) on the left "position" is not specified, so the picture is rendered in at the "foreground".

Blurred picture as a background. Pictures from the internet can also be used.