Zum Hauptinhalt springen

Weiterführende Literatur

Vertiefe dein Wissen über Prompt Engineering mit sorgfältig kuratierten Büchern, wissenschaftlichen Papers und Online-Ressourcen. Von theoretischen Grundlagen bis zu praktischen Anwendungen - hier findest du die besten Quellen für kontinuierliches Lernen.

1. Literatur-Kategorien

2. Wissenschaftliche Forschungsarbeiten

2.1 Grundlegende Papers

1. "Language Models are Few-Shot Learners" (2020)

2. "Chain-of-Thought Prompting Elicits Reasoning in Large Language Models" (2022)

Autoren: Jason Wei, Xuezhi Wang, Dale Schuurmans, et al. (Google Research)

Jahr: 2022

Beschreibung: Einführung der Chain-of-Thought (CoT) Prompting-Technik, die LLMs dazu bringt, ihre Gedankengänge Schritt für Schritt zu erklären, was die Leistung bei komplexen Reasoning-Aufgaben drastisch verbessert.

Schlüsselkonzepte: Schrittweises Reasoning, Transparenz in KI-Entscheidungen

3. "Self-Consistency Improves Chain of Thought Reasoning in Language Models" (2022)

Autoren: Xuezhi Wang, Jason Wei, Dale Schuurmans, et al.

Jahr: 2022

Beschreibung: Verbesserung der CoT-Methode durch Sampling mehrerer Reasoning-Pfade und Auswahl der konsistentesten Antwort.

Innovation: Erhöhung der Zuverlässigkeit durch Ensemble-Methoden

2.2 Fortgeschrittene Prompting-Techniken

4. "Automatic Chain of Thought Prompting in Large Language Models" (2022)

Autoren: Zhuosheng Zhang, Aston Zhang, Mu Li, Alex Smola

Jahr: 2022

Beschreibung: Automatisierung der CoT-Prompt-Erstellung ohne manuelle Beispiele. Das System generiert selbst passende Reasoning-Ketten.

Praktischer Nutzen: Reduziert den manuellen Aufwand bei der Prompt-Erstellung erheblich

5. "Tree of Thoughts: Deliberate Problem Solving with Large Language Models" (2023)

Autoren: Shunyu Yao, Dian Yu, Jeffrey Zhao, et al.

Jahr: 2023

Beschreibung: Erweitert CoT zu einem baumbasierten Suchverfahren, bei dem mehrere Lösungswege parallel erkundet und bewertet werden.

Anwendung: Besonders effektiv bei Planungsaufgaben und Puzzles

6. "Large Language Models are Zero-Shot Reasoners" (2022)

Autoren: Takeshi Kojima, Shixiang Shane Gu, Machel Reid, et al.

Jahr: 2022

Beschreibung: Zeigt, dass der simple Prompt "Let's think step by step" die Zero-Shot-Performance von LLMs bei Reasoning-Aufgaben dramatisch verbessert.

Bedeutung: Minimalistischer Ansatz mit maximaler Wirkung

2.3 Systematische Ansätze und Frameworks

7. "DSPy: Compiling Declarative Language Model Calls into Self-Improving Pipelines" (2023)

Autoren: Omar Khattab, Arnav Singhvi, Paridhi Maheshwari, et al. (Stanford)

Jahr: 2023

Beschreibung: Ein programmatisches Framework für Prompt Engineering, das Prompts wie Code behandelt und automatisch optimiert.

Innovation: Paradigmenwechsel von "Prompting" zu "Programming" mit LLMs

8. "Promptware Engineering: Software Engineering for LLM Prompt Development" (2025)

Autoren: Zhenpeng Chen, Chong Wang, Weisong Sun, et al.

Jahr: 2025

Beschreibung: Überträgt Software-Engineering-Prinzipien auf die Prompt-Entwicklung und etabliert Best Practices für die systematische Prompt-Erstellung.

Fokus: Versionierung, Testing und Wartung von Prompts

9. "The Prompt Report: A Systematic Survey of Prompting Techniques" (2024)

Autoren: Sander Schulhoff, Michael Ilie, Nishant Balepur, et al.

Jahr: 2024

Beschreibung: Umfassende Taxonomie mit 58 Text-Prompting-Techniken und 40 Techniken für andere Modalitäten. Meta-Analyse der gesamten Literatur zum Thema Prompting.

Umfang: 33 Fachbegriffe, systematische Kategorisierung aller bekannten Techniken

2.4 Multimodale und Spezialgebiete

10. "Visual Prompting via Image Inpainting" (2022)

Autoren: Amir Bar, Yossi Gandelsman, Trevor Darrell, et al.

Jahr: 2022

Beschreibung: Überträgt Prompting-Konzepte auf Computer Vision Tasks durch visuelle Prompts.

Anwendung: Bildklassifikation und -segmentierung ohne Task-spezifisches Training

11. "ReAct: Synergizing Reasoning and Acting in Language Models" (2022)

Autoren: Shunyu Yao, Jeffrey Zhao, Dian Yu, et al.

Jahr: 2022

Beschreibung: Kombiniert Reasoning mit Aktionen, ermöglicht LLMs die Interaktion mit externen Tools und Umgebungen.

Bedeutung: Grundlage für moderne AI Agents

12. "Constitutional AI: Harmlessness from AI Feedback" (2022)

Autoren: Yuntao Bai, Saurav Kadavath, Sandipan Kundu, et al. (Anthropic)

Jahr: 2022

Beschreibung: Nutzt Prompting für die Selbst-Verbesserung von AI-Systemen basierend auf ethischen Prinzipien.

Innovation: AI-Systeme bewerten und verbessern sich selbst durch Prompts

2.5 Evaluation und Optimierung

13. "Automatic Prompt Optimization with 'Gradient Descent' and Beam Search" (2023)

Autoren: Reid Pryzant, Dan Iter, Jerry Li, et al.

Jahr: 2023

Beschreibung: Behandelt Prompt-Optimierung wie ein Gradientenabstiegs-Problem und nutzt Beam Search für die systematische Verbesserung.

Methodik: Automatische, iterative Prompt-Verbesserung

14. "PromptBreeder: Self-Referential Self-Improvement via Prompt Evolution" (2023)

Autoren: Chrisantha Fernando, Dylan Banarse, Henryk Michalewski, et al.

Jahr: 2023

Beschreibung: Evolutionärer Algorithmus zur Prompt-Optimierung, inspiriert von genetischen Algorithmen.

Besonderheit: Prompts entwickeln sich selbst weiter

15. "Large Language Models as Optimizers" (2023)

Autoren: Chengrun Yang, Xuezhi Wang, Yifeng Lu, et al. (Google DeepMind)

Jahr: 2023

Beschreibung: Nutzt LLMs selbst als Optimierer für verschiedene Aufgaben, einschließlich Prompt-Optimierung.

Ansatz: Meta-Learning für bessere Prompts

2.6 Sicherheit und Alignment

16. "Red Teaming Language Models with Language Models" (2022)

Autoren: Ethan Perez, Saffron Huang, Francis Song, et al.

Jahr: 2022

Beschreibung: Verwendet Prompting-Techniken, um Schwachstellen in LLMs zu finden und zu beheben.

Relevanz: Sicherheit durch systematisches Prompt-Testing

17. "Jailbreaking ChatGPT via Prompt Engineering" (2023)

Autoren: Yi Liu, Gelei Deng, Zhengzi Xu, et al.

Jahr: 2023

Beschreibung: Systematische Analyse von Prompt-Injection-Techniken und deren Abwehr.

Wichtigkeit: Verständnis von Sicherheitsrisiken im Prompt Engineering

2.7 Praktische Anwendungen

18. "Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks" (2020)

Autoren: Patrick Lewis, Ethan Perez, Aleksandra Piktus, et al.

Jahr: 2020

Beschreibung: Kombiniert Prompting mit externem Wissen durch Retrieval-Mechanismen.

Impact: Grundlage für moderne RAG-Systeme

19. "PAL: Program-aided Language Models" (2022)

Autoren: Luyu Gao, Aman Madaan, Shuyan Zhou, et al.

Jahr: 2022

Beschreibung: LLMs generieren Programme statt direkte Antworten, was besonders bei mathematischen Aufgaben hilft.

Vorteil: Höhere Genauigkeit bei Berechnungen

20. "Toolformer: Language Models Can Teach Themselves to Use Tools" (2023)

Autoren: Timo Schick, Jane Dwivedi-Yu, Roberto Dessì, et al. (Meta)

Jahr: 2023

Beschreibung: LLMs lernen selbstständig, wann und wie sie externe Tools durch spezielle Prompts nutzen sollten.

Durchbruch: Selbstständige Tool-Integration

2.8 Neueste Entwicklungen (2024-2025)

21. "Unleashing the potential of prompt engineering in Large Language Models" (2024)

Autoren: Banghao Chen, Zhaofeng Zhang, Nicolas Langrené, Shengxin Zhu

Jahr: 2024

Beschreibung: Umfassende Übersicht über die Rolle des Prompt Engineering bei der Entfaltung von LLM-Fähigkeiten. Behandelt sowohl grundlegende als auch fortgeschrittene Methoden.

Beitrag: Strukturiertes Framework für zukünftige Forschung

22. "A Survey of Prompt Engineering Methods in Large Language Models for Different NLP Tasks" (2024)

Autoren: Shubham Vatsal, Harsh Dubey

Jahr: 2024

Beschreibung: Analyse von 44 Forschungsarbeiten zu 39 verschiedenen Prompting-Methoden über 29 NLP-Aufgaben.

Wert: Systematische Kategorisierung nach Aufgabentypen

23. "ConstitutionalExperts: Training a Mixture of Principle-based Prompts" (2024)

Autoren: Savvas Petridis, Ben Wedin, Ann Yuan, et al. (Google Research)

Jahr: 2024

Beschreibung: Methode zum Lernen von Prompts aus konstitutionellen Prinzipien mit inkrementeller Verbesserung einzelner Regeln.

Innovation: Mixture-of-Experts für verschiedene semantische Regionen

24. "Specific versus General Principles for Constitutional AI" (2023)

Autoren: Jared Kaplan, Sam McCandlish, et al. (Anthropic)

Jahr: 2023

Beschreibung: Untersucht, ob Modelle aus einem einzigen allgemeinen Prinzip ("tue was für die Menschheit am besten ist") ethisches Verhalten lernen können.

Erkenntnis: Balance zwischen allgemeinen und spezifischen Prinzipien notwendig

25. "Demonstrate-Search-Predict: Composing retrieval and language models for knowledge-intensive NLP" (2022)

Autoren: Omar Khattab, Keshav Santhanam, et al. (Stanford)

Jahr: 2022

Beschreibung: Grundlagenarbeit für DSPy, zeigt wie Retrieval und Sprachmodelle komponiert werden können.

Bedeutung: Basis für moderne RAG-Pipelines und DSPy-Framework

26. "Prompting as Scientific Inquiry" (2025)

Autoren: Ari Holtzman, Chenhao Tan

Jahr: 2025

Beschreibung: Argumentiert, dass Prompting als wissenschaftliche Methode zur Erforschung von LLMs verstanden werden sollte, nicht als "Alchemie". Die Autoren betrachten LLMs als komplexe, opake Organismen, die trainiert statt programmiert werden, und Prompting als Verhaltenswissenschaft.

Innovation: Paradigmenwechsel in der Betrachtung von Prompting als legitime wissenschaftliche Methode

27. "What Makes a Good Natural Language Prompt?" (2025)

Autoren: Do Xuan Long, Duy Dinh, Ngoc-Hai Nguyen, et al.

Jahr: 2025 (ACL 2025 Main Conference)

Beschreibung: Meta-Analyse von über 150 Prompting-Papers mit einem property-zentrierten Framework zur Bewertung von Prompt-Qualität. Identifiziert 21 Eigenschaften in 6 Dimensionen und analysiert deren Einfluss auf LLM-Performance.

Beitrag: Systematisches Framework für Prompt-Evaluation und -Optimierung

28. "You Only Fine-tune Once: Many-Shot In-Context Fine-Tuning for Large Language Model" (2025)

Autoren: Wenchong He, Liqian Peng, Zhe Jiang, Alex Go

Jahr: 2025

Beschreibung: Einführung von Many-Shot In-Context Fine-tuning (ManyICL), das die Lücke zwischen In-Context Learning und dediziertem Fine-tuning schließt. Behandelt jeden Answer im Kontext als Supervised Training Target.

Innovation: Neue Trainingsmethode, die catastrophic forgetting vermeidet

29. "Prompt Mechanisms in Medical Imaging: A Comprehensive Survey" (2025)

Autoren: Hao Yang, Xinlong Liang, Zhang Li, et al.

Jahr: 2025

Beschreibung: Systematische Übersicht über Prompt Engineering in der medizinischen Bildgebung. Analysiert textuelle, visuelle und lernbare Prompts für Bildgenerierung, Segmentierung und Klassifikation.

Anwendung: Spezialisierte Prompting-Techniken für Healthcare-Domäne

30. "A Survey of Frontiers in LLM Reasoning: Inference Scaling, Learning to Reason, and Agentic Systems" (2025)

Autoren: Zixuan Ke, Fangkai Jiao, Yifei Ming, et al.

Jahr: 2025

Beschreibung: Umfassende Übersicht über Reasoning-Methoden in LLMs, kategorisiert nach Regimes (Inference vs. Training) und Architekturen (Standalone vs. Agentic Systems). Analysiert den Übergang von Inference-Scaling zu Learning-to-Reason.

Umfang: 72 Seiten, deckt Lernalgorithmen von SFT bis PPO/GRPO ab

3. Bücher

3.1 Grundlagen und Einführung

1. "Prompt Engineering for LLMs" (2024)

Autoren: John Berryman, Albert Ziegler

Verlag: O'Reilly Media

Umfang: 300+ Seiten

Zielgruppe: Anfänger bis Fortgeschrittene

Highlights:

  • Verständnis der LLM-Architektur und optimale Interaktion
  • Design kompletter Prompt-Crafting-Strategien
  • Techniken wie Few-Shot Learning, Chain-of-Thought und RAG
  • Praktische Beispiele und Best Practices

Besonders wertvoll für: Entwickler, die LLM-basierte Anwendungen erstellen wollen

2. "Prompt Engineering for Generative AI" (2024)

Autoren: James Phoenix, Mike Taylor

Verlag: O'Reilly Media

Umfang: 422 Seiten

Beschreibung: Praktischer Leitfaden für effektives Prompt Engineering mit LLMs und Diffusionsmodellen. Erklärt die Prinzipien, die zuverlässige KI-Outputs ermöglichen.

Schwerpunkte:

  • Strukturierte Interaktionsketten zwischen Programm und AI-Modell
  • Anwendung in NLP, Bild- und Codegenerierung
  • Einfluss der Modellarchitektur auf Prompting-Strategien

3. "The Prompt Engineering Handbook: A Developer's Guide to AI-Powered Applications" (2024)

Autor: Nathan G. Rainey

Verlag: Independently published

Umfang: Comprehensive guide

Zielgruppe: Entwickler und AI-Praktiker

Highlights:

  • Praktische, hands-on Anleitung für LLM-Integration
  • Core Principles und Advanced Techniques wie Chain-of-Thought
  • Real-world Use Cases und Code Examples
  • Responsible AI Development und Best Practices

Besonders wertvoll für: Entwickler, die AI-powered Lösungen erstellen wollen

3.2 Spezialisierte Literatur

4. "Building LLM Powered Applications" (2024)

Autorin: Valentina Alto

Fokus: Praktische Anwendungsentwicklung mit GPT-3.5, GPT-4, LangChain, Llama 2 und anderen Modellen

Besonderheiten: Hands-on Ansatz mit realen Projekten

5. "Hands-On Large Language Models" (2024)

Autoren: Jay Alammar, Maarten Grootendorst

Schwerpunkt: Technisches Verständnis von LLMs und deren praktische Anwendung

Zielgruppe: Entwickler und Data Scientists

3.3 Fortgeschrittene und Spezialisierte Literatur

6. "AI Engineering in Practice" (2025/2026)

Autor: Richard Davies

Verlag: Manning Publications (MEAP - Early Access)

Umfang: 225 Seiten (geschätzt)

Schwerpunkte:

  • Prompt Design für genaue und lesbare LLM-Antworten
  • Mitigation von Halluzinationen
  • Domain-aware Content Generation mit RAG
  • Prompt-Evaluation und -Optimierung
  • Autonome AI Agents

Besonderheit: Praktische Beispiele von E-Mail-Generierung bis zu Custom Chatbots

7. "LLM Engineer's Handbook" (2024)

Autoren: Paul Iusztin et al.

Umfang: Umfassender Guide für Production LLMs

Highlights:

  • Master the art of engineering LLMs von Konzept bis Produktion
  • Enhancing LLM Abilities mit Prompting, Fine-Tuning und RAG
  • Production-ready Implementierungen

Zielgruppe: LLM Engineers und ML-Praktiker

8. "Building LLM Powered Applications" (2024)

Autorin: Valentina Alto

Fokus: Praktische Anwendungsentwicklung mit GPT-3.5, GPT-4, LangChain, Llama 2

Besonderheiten:

  • Hands-on Ansatz mit realen Projekten
  • Integration verschiedener LLM-Modelle
  • Best Practices für Production-Deployments

9. "Build a Large Language Model (From Scratch)" (2024)

Autor: Sebastian Raschka

Verlag: Manning Publications

Besonderheit: #1 Bestseller in AI Expert Systems

Inhalt:

  • Schritt-für-Schritt Anleitung zum Bau eigener LLMs
  • Tiefes Verständnis der Architektur
  • Praktische Implementierung in PyTorch

Zielgruppe: Fortgeschrittene Entwickler, die LLMs von Grund auf verstehen wollen

4. Online-Kurse und MOOCs

4.1 Universitätskurse

1. CS324 - Large Language Models (Stanford)

Dozent: Prof. Percy Liang

Format: Kostenlos online verfügbar

URL: cs324.stanford.edu

Inhalte:

  • Fundamentals of Language Models
  • Prompting Strategies
  • Fine-tuning vs. Prompting
  • Safety and Alignment

Besonders wertvoll: Akademische Tiefe + praktische Anwendungen

34. "A Comparative Study of DSPy Teleprompter Algorithms for Aligning Large Language Models Evaluation Metrics to Human Evaluation" (2024)

Autoren: Bhaskarjit Sarmah, Kriti Dutta, Anna Grigoryan, et al. (BlackRock)

Jahr: 2024

Beschreibung: Vergleichende Analyse von fünf DSPy Teleprompter-Algorithmen zur Optimierung von LLM-Prompts für Halluzinationserkennung.

Bedeutung: Zeigt dass optimierte Prompts besser mit menschlichen Bewertungen übereinstimmen

4.2 Evaluation und Benchmarking

35. "PromptBench: A Unified Library for Evaluation of Large Language Models" (2024)

Autoren: Kaijie Zhu, Qinlin Zhao, Hao Chen, et al. (Microsoft Research Asia)

Jahr: 2024

Beschreibung: Umfassende Bibliothek zur Evaluation von LLMs mit Schwerpunkt auf adversarial prompt attacks, prompt engineering und dynamische Evaluation.

Bedeutung: Standardisiertes Framework für Prompt-Evaluation und Robustheitstests

36. "Evaluation Agent: Efficient and Promptable Evaluation Framework for Visual Generative Models" (2024)

Autoren: Fan Zhang, Shulin Tian, Ziqi Huang, et al. (Nanyang Technological University)

Jahr: 2024

Beschreibung: Framework für effiziente, multi-round Evaluationen visueller generativer Modelle mit menschenähnlichen Strategien.

Bedeutung: Reduziert Evaluationszeit auf 10% bei vergleichbaren Ergebnissen

37. "Zero-shot Benchmarking: A Framework for Flexible and Scalable Automatic Evaluation of Language Models" (2025)

Autoren: José Pombal, Nuno M. Guerreiro, Ricardo Rei, André F. T. Martins (Instituto Superior Técnico)

Jahr: 2025

Beschreibung: Framework zur automatischen Erstellung hochwertiger Benchmarks für beliebige Aufgaben durch Nutzung von LLMs für Datengenerierung und Evaluation.

Bedeutung: Ermöglicht skalierbare Benchmark-Erstellung ohne menschliche Annotation

38. "HPSS: Heuristic Prompting Strategy Search for LLM Evaluators" (2025)

Autoren: Bosi Wen, Pei Ke, Yufei Sun, et al. (Tsinghua University)

Jahr: 2025

Beschreibung: Genetischer Algorithmus zur automatischen Optimierung von Prompting-Strategien für LLM-Evaluatoren durch Kombination von 8 Schlüsselfaktoren.

Bedeutung: Übertrifft sowohl menschliche als auch bestehende automatische Prompt-Optimierungsmethoden

4.3 Many-Shot Learning

39. "Many-Shot In-Context Learning" (2024)

Autoren: Rishabh Agarwal, Avi Singh, Lei M Zhang, et al. (Google DeepMind)

Jahr: 2024

Beschreibung: Untersuchung von ICL mit hunderten oder tausenden Beispielen in erweiterten Kontextfenstern moderner LLMs.

Bedeutung: Zeigt signifikante Leistungssteigerungen gegenüber Few-Shot ICL

40. "You Only Fine-tune Once: Many-Shot In-Context Fine-Tuning for Large Language Model" (2025)

Autoren: Wenchong He, Liqian Peng, Zhe Jiang, Alex Go

Jahr: 2025

Beschreibung: ManyICL-Ansatz der die Lücke zwischen ICL und dediziertem Fine-Tuning schließt durch Behandlung jeder Antwort im Kontext als Trainingsziel.

Bedeutung: Erreicht Leistung nahe dediziertem Fine-Tuning bei deutlich reduziertem catastrophic forgetting

41. "Many-Shot In-Context Learning in Multimodal Foundation Models" (2024)

Autoren: Yixing Jiang, Jeremy Irvin, Ji Hun Wang, et al. (Stanford University)

Jahr: 2024

Beschreibung: Evaluation von GPT-4o und Gemini 1.5 Pro bei Many-Shot ICL über 14 multimodale Datensätze.

Bedeutung: Zeigt log-lineare Verbesserungen bis zu 2000 Beispielen bei multimodalen Aufgaben

42. "More is not always better? Enhancing Many-Shot In-Context Learning with Differentiated and Reweighting Objectives" (2025)

Autoren: Xiaoqing Zhang, Ang Lv, Yuhan Liu, et al. (Peking University)

Jahr: 2025

Beschreibung: DrICL-Methode zur Optimierung von Many-Shot ICL durch differenzierte Lernziele und dynamisches Reweighting.

Bedeutung: Adressiert Leistungsplateau und -abfall bei sehr vielen Beispielen

43. "The broader spectrum of in-context learning" (2024)

Autoren: Andrew Kyle Lampinen, Stephanie C. Y. Chan, et al. (Google DeepMind)

Jahr: 2024

Beschreibung: Erweiterte Perspektive auf ICL als breites Spektrum meta-gelernter Fähigkeiten über supervised Few-Shot Learning hinaus.

Bedeutung: Vereinheitlicht verschiedene ICL-Fähigkeiten und betont Generalisierung

4.4 Prompt-Optimierung Frameworks

44. "Beyond Prompt Content: Enhancing LLM Performance via Content-Format Integrated Prompt Optimization" (2025)

Autoren: Yuanye Liu, Jiahang Xu, Li Lyna Zhang, et al. (Microsoft Research)

Jahr: 2025

Beschreibung: CFPO-Methodik zur gemeinsamen Optimierung von Prompt-Inhalt und -Formatierung durch iterative Verfeinerung.

Bedeutung: Zeigt dass Formatierung ebenso wichtig wie Inhalt für Prompt-Leistung ist

45. "DSPy: Compiling Declarative Language Model Calls into State-of-the-Art Pipelines" (2024)

Autoren: Omar Khattab, Arnav Singhvi, Paridhi Maheshwari, et al. (Stanford NLP)

Jahr: 2024

Beschreibung: Framework zur systematischen Optimierung von LM-Pipelines durch Trennung von Programmfluss und Parametern.

Bedeutung: Automatisiert Prompt-Engineering und macht kleine Modelle konkurrenzfähig zu GPT-3.5

46. "Optimizing Instructions and Demonstrations for Multi-Stage Language Model Programs" (2024)

Autoren: Krista Opsahl-Ong, Michael J Ryan, Josh Purtell, et al. (Stanford)

Jahr: 2024

Beschreibung: MIPRO-Algorithmus zur Optimierung mehrstufiger LM-Programme durch program- und datenbasierte Techniken.

Bedeutung: Bis zu 13% Genauigkeitssteigerung gegenüber Baseline-Optimierern

47. "Fine-Tuning and Prompt Optimization: Two Great Steps that Work Better Together" (2024)

Autoren: Dilara Soylu, Christopher Potts, Omar Khattab (Stanford)

Jahr: 2024

Beschreibung: BetterTogether-Strategien kombinieren Gewichts- und Prompt-Optimierung für modulare LM-Pipelines.

Bedeutung: Übertrifft einzelne Optimierungsansätze um bis zu 60% bei Gewichten und 6% bei Prompts

4.5 Umfassende Surveys und Meta-Analysen

48. "The Prompt Report: A Systematic Survey of Prompting Techniques" (2024)

Autoren: Sander Schulhoff, Michael Ilie, Nishant Balepur, et al. (University of Maryland, OpenAI)

Jahr: 2024

Beschreibung: Umfassende systematische Untersuchung mit Taxonomie von 58 text-basierten und 40 multimodalen Prompting-Techniken.

Bedeutung: Standardwerk mit vollständigem Vokabular und strukturierter Übersicht aller Prompting-Methoden

49. "What Makes a Good Natural Language Prompt?" (2025)

Autoren: Do Xuan Long, Duy Dinh, Ngoc-Hai Nguyen, et al. (National University of Singapore)

Jahr: 2025

Beschreibung: Meta-Analyse von über 150 Prompting-Papers mit Framework zur Bewertung von Prompt-Qualität über 21 Eigenschaften in 6 Dimensionen.

Bedeutung: Etabliert Grundlage für property-zentrierte Prompt-Evaluation und -Optimierung

50. "A Systematic Survey of Prompt Engineering in Large Language Models: Techniques and Applications" (2024)

Autoren: Pranab Sahoo, Ayush Kumar Singh, Sriparna Saha, et al. (IIT Patna)

Jahr: 2024

Beschreibung: Systematische Übersicht über Prompt Engineering kategorisiert nach Anwendungsbereichen mit detaillierter Taxonomie.

Bedeutung: Strukturierte Analyse von 29 verschiedenen Techniken mit Stärken und Schwächen

51. "A Survey on In-context Learning" (2023)

Autoren: Qingxiu Dong, Lei Li, Damai Dai, et al. (Peking University)

Jahr: 2023

Beschreibung: Umfassender Survey über In-Context Learning mit Fokus auf Training, Inference-Mechanismen und Analyse-Methoden.

Bedeutung: Grundlegendes Referenzwerk für ICL-Forschung und -Anwendungen

52. "Principled Instructions Are All You Need for Questioning LLaMA-1/2, GPT-3.5/4" (2024)

Autoren: Sondos Mahmoud Bsharat, Aidar Myrzakhan, Zhiqiang Shen (MBZUAI)

Jahr: 2024

Beschreibung: 26 prinzipienbasierte Richtlinien für effektives Prompting mit empirischer Validierung über mehrere Modelle.

Bedeutung: Praktischer Leitfaden mit bis zu 57.7% Leistungssteigerung durch systematische Prompt-Prinzipien

53. "PromptAgent: Strategic Planning with Language Models Enables Expert-level Prompt Optimization" (2024)

Autoren: Xinyuan Wang, Chenxi Li, Zhen Wang, et al. (UC San Diego, Microsoft)

Jahr: 2024

Beschreibung: Agent-basierter Ansatz zur automatischen Prompt-Optimierung durch strategische Planung mit Monte Carlo Tree Search.

Bedeutung: Erreicht Experten-Level Prompt-Optimierung automatisch über verschiedene Domänen

54. "Large Language Models as Optimizers" (2024)

Autoren: Chengrun Yang, Xuezhi Wang, Yifeng Lu, et al. (Google DeepMind)

Jahr: 2024

Beschreibung: Optimization by PROmpting (OPRO) - Verwendung von LLMs als Optimierer für verschiedene Aufgaben einschließlich Prompt-Optimierung.

Bedeutung: Zeigt dass LLMs effektiv zur Optimierung ihrer eigenen Prompts eingesetzt werden können

4.6 Weitere wichtige Papers (2024-2025)

55. "ExpertPrompting: Instructing Large Language Models to be Distinguished Experts" (2023)

Autoren: Benfeng Xu, An Yang, Junyang Lin, et al.

Jahr: 2023

Beschreibung: Zeigt, wie die Zuweisung spezifischer Expertenrollen die Qualität und Genauigkeit von LLM-Antworten signifikant verbessert.

Bedeutung: Grundlegende Arbeit für rollenbasierte Prompting-Strategien

56. "RoleLLM: Benchmarking, Eliciting, and Enhancing Role-Playing Abilities of Large Language Models" (2023)

Autoren: Zekun Moore Wang, Zhongyuan Peng, Haoran Que, et al.

Jahr: 2023

Beschreibung: Umfassende Studie über die Fähigkeiten von LLMs, verschiedene Rollen anzunehmen, mit Benchmarks und Verbesserungsmethoden.

Bedeutung: Etabliert Standards für rollenbasiertes Prompting

57. "Instruction Tuning for Large Language Models: A Survey" (2023)

Autoren: Shengyu Zhang, Linfeng Dong, Xiaoya Li, et al.

Jahr: 2023

Beschreibung: Umfassende Übersicht über Instruction Tuning-Methoden und deren Unterschiede zu System-Prompts.

Bedeutung: Klärt die Beziehung zwischen Fine-Tuning und Prompting

58. "The Instruction Hierarchy: Training LLMs to Prioritize Privileged Instructions" (2024)

Autoren: Eric Wallace, Kai Xiao, Reimar Leike, et al.

Jahr: 2024

Beschreibung: Einführung einer Instruktions-Hierarchie, in der System-Prompts als privilegierte Instruktionen höhere Priorität als User-Eingaben haben.

Bedeutung: Grundlegend für sichere System-Prompt-Implementierung

59. "Extracting Prompts by Inverting LLM Outputs" (2024)

Autoren: Collin Zhang, John X. Morris, Vitaly Shmatikov

Jahr: 2024

Beschreibung: Warnung vor Prompt-Extraction-Attacken und zeigt, dass System-Prompts anfällig für Sicherheitslücken sind.

Bedeutung: Macht gründliches Testing von System-Prompts essentiell

60. "Prompt Injection attack against LLM-integrated Applications" (2023)

Autoren: Yi Liu, Gelei Deng, Yuekang Li, et al.

Jahr: 2023

Beschreibung: Zeigt, dass 31 von 36 getesteten realen Anwendungen anfällig für Prompt Injection waren. Entwickelt HouYi als Black-Box-Methode zur Erkennung.

Bedeutung: Erste umfassende Studie zu Prompt Injection in realen Anwendungen

61. "More than you've asked for: A Comprehensive Analysis of Novel Prompt Injection Threats to Application-Integrated Large Language Models" (2023)

Autoren: Kai Greshake, Sahar Abdelnabi, Shailesh Mishra, et al.

Jahr: 2023

Beschreibung: Entdeckung indirekter Prompt Injections und erfolgreiche Angriffe gegen Bing's GPT-4 Chat.

Bedeutung: Führt das Konzept der indirekten Injection ein

62. "A Threat Taxonomy for LLM-enabled AI Agents" (2024)

Autoren: Yanyue Li, Alexander Fabbri, Saurabh Srivastava, et al.

Jahr: 2024

Beschreibung: Umfassende Bedrohungstaxonomie für LLM-gestützte KI-Agenten mit neuen Angriffsvektoren in Multi-Agenten-Systemen.

Bedeutung: Systematisiert Sicherheitsbedrohungen für moderne AI-Systeme

63. "Prompt Infection: LLM-to-LLM Prompt Injection within Multi-Agent Systems" (2024)

Autoren: Donghyun Lee, Mo Tiwari

Jahr: 2024

Beschreibung: Entdeckung von "Prompt Infection" - LLM-zu-LLM Prompt Injection in Multi-Agenten-Systemen.

Bedeutung: Neue Sicherheitsherausforderung für vernetzte AI-Systeme

64. "Reasoning on a Budget: A Survey of Adaptive and Controllable Test-Time Compute in LLMs" (2025)

Autoren: Xidong Han, Xuefei Ning, Yixuan Wang, et al.

Jahr: 2025

Beschreibung: Umfassende Übersicht über Test-Time-Compute-Strategien mit zweistufiger Taxonomie für L1-Controllability und L2-Adaptiveness.

Bedeutung: Standardwerk für Thinking und Reasoning-Effort-Methoden

65. "DeepSeek-R1: Incentivizing Reasoning Capability in LLMs via Reinforcement Learning" (2025)

Autoren: DeepSeek-AI Team

Jahr: 2025

Beschreibung: Erstes offenes Modell, das zeigt, dass Reasoning-Fähigkeiten rein durch Reinforcement Learning ohne SFT incentiviert werden können.

Bedeutung: Durchbruch in Open-Source Reasoning-Modellen

66. "The Effect of Sampling Temperature on Problem Solving in Large Language Models" (2024)

Autoren: Matthew Renze, Erhan Guven

Jahr: 2024

Beschreibung: Zeigt, dass Änderungen der Temperature im Bereich 0.0 bis 1.0 keinen statistisch signifikanten Einfluss auf LLM-Performance bei Problemlösungsaufgaben haben.

Bedeutung: Widerlegt gängige Annahmen über Temperature-Effekte

67. "Exploring the Impact of Temperature on Large Language Models: Hot or Cold?" (2024)

Autoren: Guodong Wang, Jingjing Chen

Jahr: 2024

Beschreibung: Untersucht Temperature-Effekte und zeigt, dass die "Mutation Temperature" mit der Modellgröße zunimmt.

Bedeutung: Neue Erkenntnisse über skalierungsabhängige Temperature-Effekte

68. "To Cool or not to Cool? Temperature Network Meets Large Foundation Models via DRO" (2024)

Autoren: Zi Wang, Xuefeng Liu, Shenao Zhang, et al.

Jahr: 2024

Beschreibung: Erforscht das Lernen von Temperature-Parametern und deren kritische Rolle in Softmax-Funktionen.

Bedeutung: Zeigt Potenzial für adaptive Temperature-Netzwerke

69. "Exploring the Impact of Temperature Scaling in Softmax for Classification and Adversarial Robustness" (2025)

Autoren: Jing Liu, Yuhang Li, Jiayi Xian, et al.

Jahr: 2025

Beschreibung: Technische Analyse der Softmax-Modifikation durch Temperature und deren Auswirkungen.

Bedeutung: Tiefes Verständnis der mathematischen Grundlagen

70. "Is Temperature the Creativity Parameter of Large Language Models?" (2024)

Autoren: Max Peeperkorn, Tom Kouwenhoven, Dan Brown, Anna Jordanous

Jahr: 2024

Beschreibung: Hinterfragt die Annahme, dass Temperature der "Kreativitätsparameter" sei. Findet schwache Korrelation mit Neuheit, aber keine mit Kohäsion.

Bedeutung: Entmystifiziert Temperature-Effekte auf Kreativität

71. "Conformal Nucleus Sampling" (2023)

Autoren: Shauli Ravfogel, Yoav Goldberg, Jacob Goldberger

Jahr: 2023

Beschreibung: Bewertet die probabilistische Bedeutung von Top-p Sets in verschiedenen linguistischen Kontexten.

Bedeutung: Verbessert das Verständnis von Nucleus Sampling

72. "The Unreasonable Ineffectiveness of Nucleus Sampling on Mitigating Text Memorization" (2024)

Autoren: Luka Borec, Philipp Sadler, David Knott

Jahr: 2024

Beschreibung: Zeigt die "unreasonable ineffectiveness" von Nucleus Sampling bei der Vermeidung von Text-Memorierung.

Bedeutung: Aufdeckung wichtiger Limitationen von Top-p

73. "A Comprehensive Survey of Retrieval-Augmented Generation (RAG): Evolution, Current Landscape and Future Directions" (2024)

Autoren: Syed Raza Bashir, Shaina Raza, Vojislav Misic, et al.

Jahr: 2024

Beschreibung: Umfassende Studie über RAG von den Grundkonzepten bis zum aktuellen Stand der Technik.

Bedeutung: Standardreferenz für moderne RAG-Systeme

74. "Self-RAG: Learning to Retrieve, Generate, and Critique through Self-Reflection" (2023)

Autoren: Akari Asai, Zeqiu Wu, Yizhong Wang, et al.

Jahr: 2023

Beschreibung: Entwicklung selbstüberwachender RAG-Systeme mit integrierter Qualitätskontrolle.

Bedeutung: Durchbruch in adaptiven RAG-Architekturen

75. "A Survey on Knowledge-Oriented Retrieval-Augmented Generation" (2025)

Autoren: Mingyue Cheng, Yongliang Wu, Xin Gao, et al.

Jahr: 2025

Beschreibung: Umfrage zu wissensorientierten RAG-Systemen mit Fokus auf Optimierungen für lange Dokumente.

Bedeutung: Aktuelle Übersicht über spezialisierte RAG-Techniken

76. "Retrieval Augmented Generation (RAG) and Beyond: A Comprehensive Survey on How to Make your LLMs use External Data More Wisely" (2024)

Autoren: Siyun Zhao, Yuqing Yang, Zilong Wang, et al.

Jahr: 2024

Beschreibung: Umfassende Übersicht über RAG und erweiterte Techniken wie Graph-RAG für strukturierte Kontextbereitstellung.

Bedeutung: Zeigt Entwicklung über traditionelles RAG hinaus

77. "Agentic Retrieval-Augmented Generation: A Survey on Agentic RAG" (2025)

Autoren: Aditi Singh, Abul Ehtesham, Saket Kumar, et al.

Jahr: 2025

Beschreibung: Beschreibt "Agentic RAG" - selbstlernende Kontextsysteme mit autonomen AI-Agenten in der RAG-Pipeline.

Bedeutung: Zeigt Zukunft autonomer Kontextsysteme

78. "Retrieval Augmented Generation and Understanding in Vision: A Survey and New Outlook" (2025)

Autoren: Yihang Li, Xinda Zhou, Mingwen Dong, et al.

Jahr: 2025

Beschreibung: Umfrage zu multimodalen RAG-Systemen, die Text, Bild und andere Modalitäten integrieren.

Bedeutung: Erweitert RAG-Konzepte auf Computer Vision

79. "Prompt Engineering a Prompt Engineer" (2023)

Autoren: Qinyuan Ye, Maxamed Axmed, Reid Pryzant, Fereshte Khani

Jahr: 2023

Beschreibung: PE2-Methode zur automatischen Prompt-Optimierung durch Meta-Prompting mit detaillierten Beschreibungen und Reasoning-Templates.

Bedeutung: Automatisiert Prompt Engineering selbst

80. "Meta-Prompting: Enhancing Language Models with Task-Agnostic Scaffolding" (2024)

Autoren: Mirac Suzgun, Adam Tauman Kalai

Jahr: 2024

Beschreibung: Zeigt, wie KI-Modelle selbst Prompts erstellen, analysieren und optimieren können.

Bedeutung: Grundlage für selbstverbessernde Prompt-Systeme

81. "MetaGPT: Meta Programming for Multi-Agent Collaborative Framework" (2023)

Autoren: Sirui Hong, Mingchen Zhuge, Jonathan Chen, et al.

Jahr: 2023

Beschreibung: Framework für Meta-Prompting in Multi-Agenten-Systemen.

Bedeutung: Erweitert Meta-Prompting auf kollaborative AI

82. "Complexity-Based Prompting for Multi-Step Reasoning" (2022)

Autoren: Yao Fu, Hao Peng, Ashish Sabharwal, et al.

Jahr: 2022

Beschreibung: Zeigt, wie mehrstufiges Reasoning die Performance bei komplexen Aufgaben verbessert.

Bedeutung: Grundlage für moderne Chaining-Strategien

83. "PromptChainer: Chaining Large Language Model Prompts through Visual Programming" (2022)

Autoren: Tongshuang Wu, Ellen Jiang, Aaron Donsbach, et al.

Jahr: 2022

Beschreibung: Visuelles Programming-Interface für Prompt Chaining, das transparente und kontrollierbare Multi-Step-Workflows ermöglicht.

Bedeutung: Demokratisiert Prompt Chaining für Nicht-Experten

84. "Prompt Chaining or Stepwise Prompt? Refinement in Text Summarization" (2024)

Autoren: Jiacheng Li, Songyang Gao, Yujia Zhang, et al.

Jahr: 2024

Beschreibung: Empirische Studie zeigt Überlegenheit von Prompt Chaining gegenüber integrierten Stepwise-Ansätzen.

Bedeutung: Validiert diskrete Chaining-Strategien

85. "Hierarchical Neural Story Generation" (2018)

Autoren: Angela Fan, Mike Lewis, Yann Dauphin

Jahr: 2018

Beschreibung: Einführung von Top-k Sampling als Alternative zu Beam Search für kreativere Textgenerierung.

Bedeutung: Grundlegende Arbeit für Top-k Sampling

86. "The Curious Case of Neural Text Degeneration" (2019)

Autoren: Ari Holtzman, Jan Buys, Li Du, et al.

Jahr: 2019

Beschreibung: Einführung von Nucleus (Top-p) Sampling als adaptive Alternative zu Top-k.

Bedeutung: Revolutioniert Text-Sampling-Methoden

87. "Large Language Models: A Survey" (2024)

Autoren: Shervin Minaee, Tomas Mikolov, Narjes Nikzad, et al.

Jahr: 2024

Beschreibung: Umfassende LLM-Übersicht mit detaillierter Erklärung von Sampling-Methoden.

Bedeutung: Aktuelles Standardwerk zu LLM-Technologien

88. "Increasing diversity while maintaining accuracy: Text data generation with large language models and human interventions" (2023)

Autoren: John Joon Young Chung, Ece Kamar, Saleema Amershi

Jahr: 2023

Beschreibung: Methoden zur Verbesserung der Diversität bei gleichzeitiger Genauigkeit durch adaptive Sampling.

Bedeutung: Balance zwischen Vielfalt und Qualität

89. "Improving Linguistic Diversity of Large Language Models with Possibility Exploration Fine-Tuning" (2024)

Autoren: Long Tran, Thanh-Thien Le, Thang Doan, et al.

Jahr: 2024

Beschreibung: Zeigt Wichtigkeit der richtigen Wahl von Sampling-Parametern für linguistische Diversität.

Bedeutung: Optimierung von Sampling-Strategien

90. "LZ Penalty: An information-theoretic repetition penalty for autoregressive language models" (2024)

Autoren: Piotr Nawrot, Adrian Łańcucki, Dirk Groeneveld, et al.

Jahr: 2024

Beschreibung: Neue LZ-Penalty basierend auf LZ77-Kompression als Verbesserung gegenüber Frequency und Presence Penalty.

Bedeutung: Nächste Generation von Repetition-Control

91. "Repetition Penalty in Language Models" (2023)

Autoren: OpenAI Research Team

Jahr: 2023

Beschreibung: Detaillierte Erklärung wie Frequency Penalty mit der Häufigkeit des Auftretens skaliert.

Bedeutung: Technische Grundlagen für Penalty-Mechanismen

92. "What is Context Engineering? The New Foundation for Reliable AI and RAG Systems" (2025)

Autoren: Data Science Dojo Team

Jahr: 2025

Beschreibung: Definiert Context Engineering als die neue Grundlage für moderne KI-Systemdesigns.

Bedeutung: Etabliert Context Engineering als eigenständige Disziplin

93. "Claude 3.7 Sonnet and Claude Code" (2025)

Autoren: Anthropic Team

Jahr: 2025

Beschreibung: Einführung von Extended Thinking und Hybrid-Reasoning-Modellen.

Bedeutung: Neuer Ansatz für integriertes Reasoning

94. "Introducing OpenAI o3 and o4-mini" (2025)

Autoren: OpenAI Team

Jahr: 2025

Beschreibung: Einführung von Reasoning-Effort-Parameter für adaptive Compute-Allocation.

Bedeutung: Standard für kontrollierbare Reasoning-Tiefe

95. "OpenAI Reasoning Models Documentation" (2025)

Autoren: OpenAI Documentation Team

Jahr: 2025

Beschreibung: Offizielle API-Dokumentation für Reasoning-Effort-Parameter.

Bedeutung: Praktische Implementierungsguide

96. "OpenAI o3-mini" (2025)

Autoren: OpenAI Team

Jahr: 2025

Beschreibung: Definition der drei Effort-Level für o3-mini.

Bedeutung: Praktische Guidance für Effort-Auswahl

97. "With OpenAI o1 & o3 Models Devs Can Set Reasoning Effort" (2025)

Autoren: Cobus Greyling

Jahr: 2025

Beschreibung: Detaillierte Analyse von Performance-Metriken nach Effort-Level.

Bedeutung: Praktische Kosten-Nutzen-Analyse

98. "Better performance from reasoning models using the Responses API" (2025)

Autoren: OpenAI Cookbook Contributors

Jahr: 2025

Beschreibung: Best Practices für Reasoning-Effort-Implementierung.

Bedeutung: Offizielle Empfehlungen von OpenAI

99. "Chain complex prompts for stronger performance" (2024)

Autoren: Anthropic Documentation Team

Jahr: 2024

Beschreibung: Offizielle Anthropic-Empfehlung für sequenzielle Verkettung.

Bedeutung: Best Practices von einem führenden AI-Lab

100. "Prompt Chaining Guide" (2024)

Autoren: DAIR.AI Team

Jahr: 2024

Beschreibung: Umfassender Guide zu Prompt Chaining mit praktischen Beispielen.

Bedeutung: Community-Standard für Chaining-Techniken

101. "Decoding Strategies in Large Language Models" (2024)

Autoren: Maxime Labonne (Hugging Face)

Jahr: 2024

Beschreibung: Detaillierte Erklärung verschiedener Decoding-Strategien mit Empfehlung, entweder Top-p oder Temperature zu nutzen, nicht beide.

Bedeutung: Praktische Guidance für Sampling-Parameter

102. "Adaptive Graph of Thoughts: Test-Time Adaptive Reasoning Unifying Chain, Tree, and Graph Structures" (2025)

Autoren: Dong Guo, Zhihong Xu, Yujie Wang, et al.

Jahr: 2025

Beschreibung: Dynamisches graph-basiertes Reasoning-Framework als Weiterentwicklung von Chain und Tree of Thoughts.

Bedeutung: Nächste Generation von Reasoning-Architekturen

103. "On the Diagram of Thought" (2024)

Autoren: Yifan Zhang, Yang Yuan, Andrew Chi-Chih Yao

Jahr: 2024

Beschreibung: Topos-theoretische Formalisierung des DoT-Frameworks für logische Konsistenz im Reasoning.

Bedeutung: Mathematische Grundlagen für Reasoning-Verfahren

104. "Supervised Chain of Thought" (2024)

Autoren: Xiang Zhang, Dujian Ding

Jahr: 2024

Beschreibung: Argument für task-spezifisches "supervised" CoT angereichert mit menschlichem Wissen.

Bedeutung: Kritische Betrachtung von unsupervised Prompting

105. "SentencePiece: A simple and language independent subword tokenizer and detokenizer for Neural Text Processing" (2018)

Autoren: Taku Kudo, John Richardson

Jahr: 2018

Beschreibung: Entwicklung der Grundlagen moderner Tokenisierung für Large Language Models.

Bedeutung: Fundamentale Technologie für Token-basierte Sprachmodelle

106. "Introducing Prompt Caching" (2024)

Autoren: Anthropic Team

Jahr: 2024

Beschreibung: Einführung der Prompt Caching Technologie für kosteneffiziente LLM-Nutzung.

Bedeutung: Erster großer Anbieter mit Caching-Technologie

107. "Prompt Cache: Modular Attention Reuse for Low-Latency Inference" (2024)

Autoren: In Gim, Guojun Chen, Seung-seob Lee, et al.

Jahr: 2024

Beschreibung: Wissenschaftliche Grundlagen für effizientes Prompt Caching zur Verbesserung der LLM-Inferenz.

Bedeutung: Technische Innovation für effiziente LLM-Nutzung

108. "Principled Instructions Are All You Need for Questioning LLaMA-1/2, GPT-3.5/4" (2023)

Autoren: Sondos Mahmoud Bsharat, Aidar Myrzakhan, Zhiqiang Shen

Jahr: 2023

Beschreibung: Systematische Studie zu 26 Prompting-Prinzipien für die Verbesserung der LLM-Performance.

Bedeutung: Fundamentale Arbeit zu Best Practices im Prompt Engineering

109. "Large Language Models Understand and Can be Enhanced by Emotional Stimuli" (2023)

Autoren: Cheng Li, Jindong Wang, Yixuan Zhang, et al.

Jahr: 2023

Beschreibung: Zeigt, dass emotionale Stimuli die Leistung von Large Language Models um bis zu 50% steigern können.

Bedeutung: Wissenschaftlicher Nachweis für die Wirksamkeit emotionaler Prompting-Techniken