55-04.242.800 (SG) GenAI in Education, Science, and Society

Lehrende: Dr. Sylvia Melzer; Prof. Dr. Ralf Möller

Veranstaltungsart: Vorlesung + Seminar

Anzeige im Stundenplan:

Credits: 6,0

Unterrichtssprache: Englisch

Min. | Max. Teilnehmerzahl: 5 | 30

Weitere Informationen:

Dies ist eine Kombiveranstaltung aus Vorlesung und Seminar, die Veranstaltungen sind nicht als Einzelveranstaltungen belegbar.

Für den erfolgreichen Besuch dieser Veranstaltungen im Rahmen des Studium General werden 6 LP angerechnet.



Für Angebote des Fachbereichs Philosophie entfällt die Nachmeldephase!
 

Kommentare/ Inhalte:
Mit der Belegung des Moduls „GenAI in Education, Science, and Society“ erarbeiten sich Studierende grundlegende Kenntnisse aus dem Bereich der Künstlichen Intelligenz, und sie meistern alle die folgenden Themen:

1. Repräsentationslernen für sequentielle Strukturen, Einbettungsräume, word2vec, CBOW, Skip-Gram mit negativem Sampling
   
2. Verarbeitung natürlicher Sprache: große Sprachmodelle (engl. large language models, LLMs): rekurrente Netze (LSTMs), Transformatoren (BERT, GPT-2, GPT-3, Llama), Inferenz natürlicher Sprache und Beantwortung von Anfragen, Verstärkungslernen mit menschlichem Feedback (RLHF, InstructGPT, PPO)
   
3. GPT-Generierungsparameter: Temperatur- und Top-P-Sampling, ChatGPT, GPT-4, Retrieval-unterstützte Generierung, Destillieren
   
4. Prompt-Engineering: Verbalisierung von Aufgabenbeschreibungen, kontextbezogenes Lernen (zero-shot vs. few-shot prompting)
   
5. GPT für das Problemlösen: AlphaZero, AlphaGeometry
   
6. Softwareentwicklung mit LLMs (GPT, Llama 2), Lösen von Datenintegrationsproblemen, FunSearch 
   
7. Sehen: AlexNet, ResNet, Vision Transformers (ViT), YOLO
   
8. Sehen und Sprache: große multimodale Modelle (LMMs): ViLBERT / CLIP / GPT-4V, Gemini
   
9. Sprach-Sehen-Modelle (DALL-E)
   
10. Anwendungen für die Wirtschaft (z.B. Copilot, GPTs, NFTs)
    
11. Anwendungen für die Wissenschaft (z.B. AlphaFold)
    
12. Auswirkungen auf die Gesellschaft (z.B. Empower yourself: Build-your-Own-LMM)
    

Lernziel:
Langfristiges Forschungsziel der KI ist es, die Entwicklung flexibler Systeme (Agenten) zu ermöglichen, die auf der Grundlage explizit oder implizit gegebener Aufgabenbeschreibungen und interner Modelle über die Umgebung (die "Welt") in der Lage sind, (i) sogenannte (dynamisch) wahrgenommene Wahrnehmungen (von denen Aufgabenbeschreibungen ein Spezialfall sein könnten) angemessen zu interpretieren und (ii) reaktiv Aktionen in der Welt zu bestimmen und auszuführen, um gestellte Aufgaben bestmöglich zu lösen. Folglich müssen Interpretationen von Aufgabenbeschreibungen in einem sozialen Kontext sinnvollerweise von den Agenten selbst entwickelt werden (möglicherweise unter Ausnutzung von Rückmeldungen), wenn sie Handlungen zum Nutzen aller Teilnehmer im sozialen Kontext ausführen (auch sozialer Mechanismus genannt). Die Forschung in der KI als Wissenschaft umfasst die Analyse sozialer Mechanismen mit möglicherweise sehr vielen Agenten und deren Interaktionen untereinander sowie den Nutzen für den Menschen in Form von Zielen, Einschränkungen und von der Gesellschaft auferlegten Regeln. Aufgrund allgemeiner Komplexitätserwägungen, die unabhängig von ontologischen und erkenntnistheoretischen Verpflichtungen sind, die in internen Modi verwendet werden, kann ein Agent nur in begrenztem Maße optimal handeln. Der Begriff der Intelligenz, der in der KI verwendet wird, definiert ein möglichst perfektes (oder optimales) Handeln aus lokaler Sicht (Rationalität), das die natürlichen Grenzen gut widerspiegelt (begrenzte Optimalität), ist aber ohne Bezug auf einen Agenten bedeutungslos. Das Konzept der Agentenintelligenz als optimales Handeln unter (starken) Ressourcenbeschränkungen bei gleichzeitiger kontinuierlicher Anpassung der Aufgabenbeschreibungen an die Präferenzen aller Menschen in einem sozialen Mechanismus mit kooperativem Handeln definiert die Forschungsziele einer echten KI als Wissenschaft, die vielfältige ontologische und epistemologische Verpflichtungen für die Modellierung sowie den sozialen Interaktionskontext berücksichtigt, in dem Menschen mit intelligenten Agenten interagieren. Deskriptive und normative Ethikforschung sowie andere Bereiche der Philosophie sind eng mit der KI-Forschung verbunden. 

Mit der Belegung des Kurses "GenAI in Education, Science, and Society" sind die Studierenden in der Lage, zu den aufgeführten Inhalten (i) die zentralen Ideen zu benennen, (ii) die jeweils relevanten Begriffe zu definieren und (iii) die Funktionsweise der zugehörigen Methoden und Ansätze anhand von Anwendungsbeispielen zu erläutern.

Vorgehen:
In der Veranstaltung werden zentrale Inhalte in Form einer Vorlesung vermittelt. Anschließend tragen Studierende in einem seminaristischen Unterricht relevante Entwicklungen zum Vorlesungstoff aus Veröffentlichungen vor. Eine aktive Beteiligung wird erwartet: Im Seminar sollen Fragen zum Vortrag und auch zur zugehörigen Vorlesung gestellt werden.

Literatur:
Stuart Russell and Peter Norvig. 2020. Artificial Intelligence: A Modern Approach (4th. ed.). Prentice Hall Press, USA.

Weitere Literatur wird in der veranstaltung bekanntgegeben.

Zusätzliche Hinweise zu Prüfungen:
Studienleistungen:

• aktive Teilnahme
  
• sorgfältige Vor-/Nachbereitung der Seminarsitzung
  
• weitere Studienleistungen werden ggf. am Anfang der Veranstaltung bekannt gegeben