Weiterführende Literatur
Vertiefe dein Wissen über Prompt Engineering mit sorgfältig kuratierten Büchern, wissenschaftlichen Papers und Online-Ressourcen. Von theoretischen Grundlagen bis zu praktischen Anwendungen - hier findest du die besten Quellen für kontinuierliches Lernen.
Literatur-Kategorien
Übersicht der Ressourcen:
- Bücher: Umfassende Guides und Handbücher
- Scientific Papers: Aktuelle Forschung und Methoden
- Online-Kurse: Strukturierte Lernpfade
- Blogs & Artikel: Praktische Tipps und Case Studies
- Podcasts & Videos: Expertengespräche und Tutorials
- Communities: Austausch und Diskussion
Wissenschaftliche Forschungsarbeiten
Grundlegende Papers
1. "Language Models are Few-Shot Learners" (2020)
Autoren: Tom Brown, Benjamin Mann, Nick Ryder, et al. (OpenAI)
Jahr: 2020
Beschreibung: Das bahnbrechende GPT-3 Paper, das Few-Shot Prompting einführte und zeigte, wie große Sprachmodelle ohne Fine-Tuning komplexe Aufgaben lösen können. Fundamentale Arbeit für das moderne Prompt Engineering.
Wichtigste Erkenntnisse:
- Einführung des In-Context Learning Konzepts
- Demonstration von Zero-Shot, One-Shot und Few-Shot Prompting
- Skalierungsgesetze für Sprachmodelle
2. "Chain-of-Thought Prompting Elicits Reasoning in Large Language Models" (2022)
Autoren: Jason Wei, Xuezhi Wang, Dale Schuurmans, et al. (Google Research)
Jahr: 2022
Beschreibung: Einführung der Chain-of-Thought (CoT) Prompting-Technik, die LLMs dazu bringt, ihre Gedankengänge Schritt für Schritt zu erklären, was die Leistung bei komplexen Reasoning-Aufgaben drastisch verbessert.
Schlüsselkonzepte: Schrittweises Reasoning, Transparenz in KI-Entscheidungen
3. "Self-Consistency Improves Chain of Thought Reasoning in Language Models" (2022)
Autoren: Xuezhi Wang, Jason Wei, Dale Schuurmans, et al.
Jahr: 2022
Beschreibung: Verbesserung der CoT-Methode durch Sampling mehrerer Reasoning-Pfade und Auswahl der konsistentesten Antwort.
Innovation: Erhöhung der Zuverlässigkeit durch Ensemble-Methoden
Fortgeschrittene Prompting-Techniken
4. "Automatic Chain of Thought Prompting in Large Language Models" (2022)
Autoren: Zhuosheng Zhang, Aston Zhang, Mu Li, Alex Smola
Jahr: 2022
Beschreibung: Automatisierung der CoT-Prompt-Erstellung ohne manuelle Beispiele. Das System generiert selbst passende Reasoning-Ketten.
Praktischer Nutzen: Reduziert den manuellen Aufwand bei der Prompt-Erstellung erheblich
5. "Tree of Thoughts: Deliberate Problem Solving with Large Language Models" (2023)
Autoren: Shunyu Yao, Dian Yu, Jeffrey Zhao, et al.
Jahr: 2023
Beschreibung: Erweitert CoT zu einem baumbasierten Suchverfahren, bei dem mehrere Lösungswege parallel erkundet und bewertet werden.
Anwendung: Besonders effektiv bei Planungsaufgaben und Puzzles
6. "Large Language Models are Zero-Shot Reasoners" (2022)
Autoren: Takeshi Kojima, Shixiang Shane Gu, Machel Reid, et al.
Jahr: 2022
Beschreibung: Zeigt, dass der simple Prompt "Let's think step by step" die Zero-Shot-Performance von LLMs bei Reasoning-Aufgaben dramatisch verbessert.
Bedeutung: Minimalistischer Ansatz mit maximaler Wirkung
Systematische Ansätze und Frameworks
7. "DSPy: Compiling Declarative Language Model Calls into Self-Improving Pipelines" (2023)
Autoren: Omar Khattab, Arnav Singhvi, Paridhi Maheshwari, et al. (Stanford)
Jahr: 2023
Beschreibung: Ein programmatisches Framework für Prompt Engineering, das Prompts wie Code behandelt und automatisch optimiert.
Innovation: Paradigmenwechsel von "Prompting" zu "Programming" mit LLMs
8. "Promptware Engineering: Software Engineering for LLM Prompt Development" (2025)
Autoren: Zhenpeng Chen, Chong Wang, Weisong Sun, et al.
Jahr: 2025
Beschreibung: Überträgt Software-Engineering-Prinzipien auf die Prompt-Entwicklung und etabliert Best Practices für die systematische Prompt-Erstellung.
Fokus: Versionierung, Testing und Wartung von Prompts
9. "The Prompt Report: A Systematic Survey of Prompting Techniques" (2024)
Autoren: Sander Schulhoff, Michael Ilie, Nishant Balepur, et al.
Jahr: 2024
Beschreibung: Umfassende Taxonomie mit 58 Text-Prompting-Techniken und 40 Techniken für andere Modalitäten. Meta-Analyse der gesamten Literatur zum Thema Prompting.
Umfang: 33 Fachbegriffe, systematische Kategorisierung aller bekannten Techniken
Multimodale und Spezialgebiete
10. "Visual Prompting via Image Inpainting" (2022)
Autoren: Amir Bar, Yossi Gandelsman, Trevor Darrell, et al.
Jahr: 2022
Beschreibung: Überträgt Prompting-Konzepte auf Computer Vision Tasks durch visuelle Prompts.
Anwendung: Bildklassifikation und -segmentierung ohne Task-spezifisches Training
11. "ReAct: Synergizing Reasoning and Acting in Language Models" (2022)
Autoren: Shunyu Yao, Jeffrey Zhao, Dian Yu, et al.
Jahr: 2022
Beschreibung: Kombiniert Reasoning mit Aktionen, ermöglicht LLMs die Interaktion mit externen Tools und Umgebungen.
Bedeutung: Grundlage für moderne AI Agents
12. "Constitutional AI: Harmlessness from AI Feedback" (2022)
Autoren: Yuntao Bai, Saurav Kadavath, Sandipan Kundu, et al. (Anthropic)
Jahr: 2022
Beschreibung: Nutzt Prompting für die Selbst-Verbesserung von AI-Systemen basierend auf ethischen Prinzipien.
Innovation: AI-Systeme bewerten und verbessern sich selbst durch Prompts
Evaluation und Optimierung
13. "Automatic Prompt Optimization with 'Gradient Descent' and Beam Search" (2023)
Autoren: Reid Pryzant, Dan Iter, Jerry Li, et al.
Jahr: 2023
Beschreibung: Behandelt Prompt-Optimierung wie ein Gradientenabstiegs-Problem und nutzt Beam Search für die systematische Verbesserung.
Methodik: Automatische, iterative Prompt-Verbesserung
14. "PromptBreeder: Self-Referential Self-Improvement via Prompt Evolution" (2023)
Autoren: Chrisantha Fernando, Dylan Banarse, Henryk Michalewski, et al.
Jahr: 2023
Beschreibung: Evolutionärer Algorithmus zur Prompt-Optimierung, inspiriert von genetischen Algorithmen.
Besonderheit: Prompts entwickeln sich selbst weiter
15. "Large Language Models as Optimizers" (2023)
Autoren: Chengrun Yang, Xuezhi Wang, Yifeng Lu, et al. (Google DeepMind)
Jahr: 2023
Beschreibung: Nutzt LLMs selbst als Optimierer für verschiedene Aufgaben, einschließlich Prompt-Optimierung.
Ansatz: Meta-Learning für bessere Prompts
Sicherheit und Alignment
16. "Red Teaming Language Models with Language Models" (2022)
Autoren: Ethan Perez, Saffron Huang, Francis Song, et al.
Jahr: 2022
Beschreibung: Verwendet Prompting-Techniken, um Schwachstellen in LLMs zu finden und zu beheben.
Relevanz: Sicherheit durch systematisches Prompt-Testing
17. "Jailbreaking ChatGPT via Prompt Engineering" (2023)
Autoren: Yi Liu, Gelei Deng, Zhengzi Xu, et al.
Jahr: 2023
Beschreibung: Systematische Analyse von Prompt-Injection-Techniken und deren Abwehr.
Wichtigkeit: Verständnis von Sicherheitsrisiken im Prompt Engineering
Praktische Anwendungen
18. "Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks" (2020)
Autoren: Patrick Lewis, Ethan Perez, Aleksandra Piktus, et al.
Jahr: 2020
Beschreibung: Kombiniert Prompting mit externem Wissen durch Retrieval-Mechanismen.
Impact: Grundlage für moderne RAG-Systeme
19. "PAL: Program-aided Language Models" (2022)
Autoren: Luyu Gao, Aman Madaan, Shuyan Zhou, et al.
Jahr: 2022
Beschreibung: LLMs generieren Programme statt direkte Antworten, was besonders bei mathematischen Aufgaben hilft.
Vorteil: Höhere Genauigkeit bei Berechnungen
20. "Toolformer: Language Models Can Teach Themselves to Use Tools" (2023)
Autoren: Timo Schick, Jane Dwivedi-Yu, Roberto Dessì, et al. (Meta)
Jahr: 2023
Beschreibung: LLMs lernen selbstständig, wann und wie sie externe Tools durch spezielle Prompts nutzen sollten.
Durchbruch: Selbstständige Tool-Integration
Neueste Entwicklungen (2024-2025)
21. "Unleashing the potential of prompt engineering in Large Language Models" (2024)
Autoren: Banghao Chen, Zhaofeng Zhang, Nicolas Langrené, Shengxin Zhu
Jahr: 2024
Beschreibung: Umfassende Übersicht über die Rolle des Prompt Engineering bei der Entfaltung von LLM-Fähigkeiten. Behandelt sowohl grundlegende als auch fortgeschrittene Methoden.
Beitrag: Strukturiertes Framework für zukünftige Forschung
22. "A Survey of Prompt Engineering Methods in Large Language Models for Different NLP Tasks" (2024)
Autoren: Shubham Vatsal, Harsh Dubey
Jahr: 2024
Beschreibung: Analyse von 44 Forschungsarbeiten zu 39 verschiedenen Prompting-Methoden über 29 NLP-Aufgaben.
Wert: Systematische Kategorisierung nach Aufgabentypen
23. "ConstitutionalExperts: Training a Mixture of Principle-based Prompts" (2024)
Autoren: Savvas Petridis, Ben Wedin, Ann Yuan, et al. (Google Research)
Jahr: 2024
Beschreibung: Methode zum Lernen von Prompts aus konstitutionellen Prinzipien mit inkrementeller Verbesserung einzelner Regeln.
Innovation: Mixture-of-Experts für verschiedene semantische Regionen
24. "Specific versus General Principles for Constitutional AI" (2023)
Autoren: Jared Kaplan, Sam McCandlish, et al. (Anthropic)
Jahr: 2023
Beschreibung: Untersucht, ob Modelle aus einem einzigen allgemeinen Prinzip ("tue was für die Menschheit am besten ist") ethisches Verhalten lernen können.
Erkenntnis: Balance zwischen allgemeinen und spezifischen Prinzipien notwendig
25. "Demonstrate-Search-Predict: Composing retrieval and language models for knowledge-intensive NLP" (2022)
Autoren: Omar Khattab, Keshav Santhanam, et al. (Stanford)
Jahr: 2022
Beschreibung: Grundlagenarbeit für DSPy, zeigt wie Retrieval und Sprachmodelle komponiert werden können.
Bedeutung: Basis für moderne RAG-Pipelines und DSPy-Framework
26. "Prompting as Scientific Inquiry" (2025)
Autoren: Ari Holtzman, Chenhao Tan
Jahr: 2025
Beschreibung: Argumentiert, dass Prompting als wissenschaftliche Methode zur Erforschung von LLMs verstanden werden sollte, nicht als "Alchemie". Die Autoren betrachten LLMs als komplexe, opake Organismen, die trainiert statt programmiert werden, und Prompting als Verhaltenswissenschaft.
Innovation: Paradigmenwechsel in der Betrachtung von Prompting als legitime wissenschaftliche Methode
27. "What Makes a Good Natural Language Prompt?" (2025)
Autoren: Do Xuan Long, Duy Dinh, Ngoc-Hai Nguyen, et al.
Jahr: 2025 (ACL 2025 Main Conference)
Beschreibung: Meta-Analyse von über 150 Prompting-Papers mit einem property-zentrierten Framework zur Bewertung von Prompt-Qualität. Identifiziert 21 Eigenschaften in 6 Dimensionen und analysiert deren Einfluss auf LLM-Performance.
Beitrag: Systematisches Framework für Prompt-Evaluation und -Optimierung
28. "You Only Fine-tune Once: Many-Shot In-Context Fine-Tuning for Large Language Model" (2025)
Autoren: Wenchong He, Liqian Peng, Zhe Jiang, Alex Go
Jahr: 2025
Beschreibung: Einführung von Many-Shot In-Context Fine-tuning (ManyICL), das die Lücke zwischen In-Context Learning und dediziertem Fine-tuning schließt. Behandelt jeden Answer im Kontext als Supervised Training Target.
Innovation: Neue Trainingsmethode, die catastrophic forgetting vermeidet
29. "Prompt Mechanisms in Medical Imaging: A Comprehensive Survey" (2025)
Autoren: Hao Yang, Xinlong Liang, Zhang Li, et al.
Jahr: 2025
Beschreibung: Systematische Übersicht über Prompt Engineering in der medizinischen Bildgebung. Analysiert textuelle, visuelle und lernbare Prompts für Bildgenerierung, Segmentierung und Klassifikation.
Anwendung: Spezialisierte Prompting-Techniken für Healthcare-Domäne
30. "A Survey of Frontiers in LLM Reasoning: Inference Scaling, Learning to Reason, and Agentic Systems" (2025)
Autoren: Zixuan Ke, Fangkai Jiao, Yifei Ming, et al.
Jahr: 2025
Beschreibung: Umfassende Übersicht über Reasoning-Methoden in LLMs, kategorisiert nach Regimes (Inference vs. Training) und Architekturen (Standalone vs. Agentic Systems). Analysiert den Übergang von Inference-Scaling zu Learning-to-Reason.
Umfang: 72 Seiten, deckt Lernalgorithmen von SFT bis PPO/GRPO ab
Bücher
Grundlagen und Einführung
1. "Prompt Engineering for LLMs" (2024)
Autoren: John Berryman, Albert Ziegler
Verlag: O'Reilly Media
Umfang: 300+ Seiten
Zielgruppe: Anfänger bis Fortgeschrittene
Highlights:
- Verständnis der LLM-Architektur und optimale Interaktion
- Design kompletter Prompt-Crafting-Strategien
- Techniken wie Few-Shot Learning, Chain-of-Thought und RAG
- Praktische Beispiele und Best Practices
Besonders wertvoll für: Entwickler, die LLM-basierte Anwendungen erstellen wollen
2. "Prompt Engineering for Generative AI" (2024)
Autoren: James Phoenix, Mike Taylor
Verlag: O'Reilly Media
Umfang: 422 Seiten
Beschreibung: Praktischer Leitfaden für effektives Prompt Engineering mit LLMs und Diffusionsmodellen. Erklärt die Prinzipien, die zuverlässige KI-Outputs ermöglichen.
Schwerpunkte:
- Strukturierte Interaktionsketten zwischen Programm und AI-Modell
- Anwendung in NLP, Bild- und Codegenerierung
- Einfluss der Modellarchitektur auf Prompting-Strategien
3. "The Prompt Engineering Handbook: A Developer's Guide to AI-Powered Applications" (2024)
Autor: Nathan G. Rainey
Verlag: Independently published
Umfang: Comprehensive guide
Zielgruppe: Entwickler und AI-Praktiker
Highlights:
- Praktische, hands-on Anleitung für LLM-Integration
- Core Principles und Advanced Techniques wie Chain-of-Thought
- Real-world Use Cases und Code Examples
- Responsible AI Development und Best Practices
Besonders wertvoll für: Entwickler, die AI-powered Lösungen erstellen wollen
Spezialisierte Literatur
4. "Building LLM Powered Applications" (2024)
Autorin: Valentina Alto
Fokus: Praktische Anwendungsentwicklung mit GPT-3.5, GPT-4, LangChain, Llama 2 und anderen Modellen
Besonderheiten: Hands-on Ansatz mit realen Projekten
5. "Hands-On Large Language Models" (2024)
Autoren: Jay Alammar, Maarten Grootendorst
Schwerpunkt: Technisches Verständnis von LLMs und deren praktische Anwendung
Zielgruppe: Entwickler und Data Scientists
Fortgeschrittene und Spezialisierte Literatur
6. "AI Engineering in Practice" (2025/2026)
Autor: Richard Davies
Verlag: Manning Publications (MEAP - Early Access)
Umfang: 225 Seiten (geschätzt)
Schwerpunkte:
- Prompt Design für genaue und lesbare LLM-Antworten
- Mitigation von Halluzinationen
- Domain-aware Content Generation mit RAG
- Prompt-Evaluation und -Optimierung
- Autonome AI Agents
Besonderheit: Praktische Beispiele von E-Mail-Generierung bis zu Custom Chatbots
7. "LLM Engineer's Handbook" (2024)
Autoren: Paul Iusztin et al.
Umfang: Umfassender Guide für Production LLMs
Highlights:
- Master the art of engineering LLMs von Konzept bis Produktion
- Enhancing LLM Abilities mit Prompting, Fine-Tuning und RAG
- Production-ready Implementierungen
Zielgruppe: LLM Engineers und ML-Praktiker
8. "Building LLM Powered Applications" (2024)
Autorin: Valentina Alto
Fokus: Praktische Anwendungsentwicklung mit GPT-3.5, GPT-4, LangChain, Llama 2
Besonderheiten:
- Hands-on Ansatz mit realen Projekten
- Integration verschiedener LLM-Modelle
- Best Practices für Production-Deployments
9. "Build a Large Language Model (From Scratch)" (2024)
Autor: Sebastian Raschka
Verlag: Manning Publications
Besonderheit: #1 Bestseller in AI Expert Systems
Inhalt:
- Schritt-für-Schritt Anleitung zum Bau eigener LLMs
- Tiefes Verständnis der Architektur
- Praktische Implementierung in PyTorch
Zielgruppe: Fortgeschrittene Entwickler, die LLMs von Grund auf verstehen wollen
Online-Kurse und MOOCs
Universitätskurse
1. CS324 - Large Language Models (Stanford)
Dozent: Prof. Percy Liang
Format: Kostenlos online verfügbar
URL: cs324.stanford.edu
Inhalte:
- Fundamentals of Language Models
- Prompting Strategies
- Fine-tuning vs. Prompting
- Safety and Alignment
Besonders wertvoll: Akademische Tiefe + praktische Anwendungen
Fazit
Die Literaturlandschaft zu Prompt Engineering wächst exponentiell. Von akademischen Papers bis zu praktischen Tutorials gibt es Ressourcen für jeden Lernstil und jedes Niveau. Der Schlüssel liegt darin, kontinuierlich zu lernen und Theorie mit Praxis zu verbinden.
Die wichtigsten Empfehlungen:
- Beginne mit strukturierten Ressourcen (Bücher, Kurse) für solide Grundlagen
- Ergänze durch aktuelle Papers für cutting-edge Techniken
- Nutze Communities für Diskussion und Problemlösung
- Praktiziere kontinuierlich mit realen Projekten
- Bleibe durch Newsletter und Podcasts auf dem Laufenden
Prompt Engineering ist ein schnell evolving field. Die besten Lernenden sind die, die neugierig bleiben, experimentieren und ihr Wissen mit der Community teilen. Nutze diese Ressourcen als Sprungbrett für deine eigene Entdeckungsreise in die faszinierende Welt des Prompt Engineering.
34. "A Comparative Study of DSPy Teleprompter Algorithms for Aligning Large Language Models Evaluation Metrics to Human Evaluation" (2024)
Autoren: Bhaskarjit Sarmah, Kriti Dutta, Anna Grigoryan, et al. (BlackRock)
Jahr: 2024
Beschreibung: Vergleichende Analyse von fünf DSPy Teleprompter-Algorithmen zur Optimierung von LLM-Prompts für Halluzinationserkennung.
Bedeutung: Zeigt dass optimierte Prompts besser mit menschlichen Bewertungen übereinstimmen
Evaluation und Benchmarking
35. "PromptBench: A Unified Library for Evaluation of Large Language Models" (2024)
Autoren: Kaijie Zhu, Qinlin Zhao, Hao Chen, et al. (Microsoft Research Asia)
Jahr: 2024
Beschreibung: Umfassende Bibliothek zur Evaluation von LLMs mit Schwerpunkt auf adversarial prompt attacks, prompt engineering und dynamische Evaluation.
Bedeutung: Standardisiertes Framework für Prompt-Evaluation und Robustheitstests
36. "Evaluation Agent: Efficient and Promptable Evaluation Framework for Visual Generative Models" (2024)
Autoren: Fan Zhang, Shulin Tian, Ziqi Huang, et al. (Nanyang Technological University)
Jahr: 2024
Beschreibung: Framework für effiziente, multi-round Evaluationen visueller generativer Modelle mit menschenähnlichen Strategien.
Bedeutung: Reduziert Evaluationszeit auf 10% bei vergleichbaren Ergebnissen
37. "Zero-shot Benchmarking: A Framework for Flexible and Scalable Automatic Evaluation of Language Models" (2025)
Autoren: José Pombal, Nuno M. Guerreiro, Ricardo Rei, André F. T. Martins (Instituto Superior Técnico)
Jahr: 2025
Beschreibung: Framework zur automatischen Erstellung hochwertiger Benchmarks für beliebige Aufgaben durch Nutzung von LLMs für Datengenerierung und Evaluation.
Bedeutung: Ermöglicht skalierbare Benchmark-Erstellung ohne menschliche Annotation
38. "HPSS: Heuristic Prompting Strategy Search for LLM Evaluators" (2025)
Autoren: Bosi Wen, Pei Ke, Yufei Sun, et al. (Tsinghua University)
Jahr: 2025
Beschreibung: Genetischer Algorithmus zur automatischen Optimierung von Prompting-Strategien für LLM-Evaluatoren durch Kombination von 8 Schlüsselfaktoren.
Bedeutung: Übertrifft sowohl menschliche als auch bestehende automatische Prompt-Optimierungsmethoden
Many-Shot Learning
39. "Many-Shot In-Context Learning" (2024)
Autoren: Rishabh Agarwal, Avi Singh, Lei M Zhang, et al. (Google DeepMind)
Jahr: 2024
Beschreibung: Untersuchung von ICL mit hunderten oder tausenden Beispielen in erweiterten Kontextfenstern moderner LLMs.
Bedeutung: Zeigt signifikante Leistungssteigerungen gegenüber Few-Shot ICL
40. "You Only Fine-tune Once: Many-Shot In-Context Fine-Tuning for Large Language Model" (2025)
Autoren: Wenchong He, Liqian Peng, Zhe Jiang, Alex Go
Jahr: 2025
Beschreibung: ManyICL-Ansatz der die Lücke zwischen ICL und dediziertem Fine-Tuning schließt durch Behandlung jeder Antwort im Kontext als Trainingsziel.
Bedeutung: Erreicht Leistung nahe dediziertem Fine-Tuning bei deutlich reduziertem catastrophic forgetting
41. "Many-Shot In-Context Learning in Multimodal Foundation Models" (2024)
Autoren: Yixing Jiang, Jeremy Irvin, Ji Hun Wang, et al. (Stanford University)
Jahr: 2024
Beschreibung: Evaluation von GPT-4o und Gemini 1.5 Pro bei Many-Shot ICL über 14 multimodale Datensätze.
Bedeutung: Zeigt log-lineare Verbesserungen bis zu 2000 Beispielen bei multimodalen Aufgaben
42. "More is not always better? Enhancing Many-Shot In-Context Learning with Differentiated and Reweighting Objectives" (2025)
Autoren: Xiaoqing Zhang, Ang Lv, Yuhan Liu, et al. (Peking University)
Jahr: 2025
Beschreibung: DrICL-Methode zur Optimierung von Many-Shot ICL durch differenzierte Lernziele und dynamisches Reweighting.
Bedeutung: Adressiert Leistungsplateau und -abfall bei sehr vielen Beispielen
43. "The broader spectrum of in-context learning" (2024)
Autoren: Andrew Kyle Lampinen, Stephanie C. Y. Chan, et al. (Google DeepMind)
Jahr: 2024
Beschreibung: Erweiterte Perspektive auf ICL als breites Spektrum meta-gelernter Fähigkeiten über supervised Few-Shot Learning hinaus.
Bedeutung: Vereinheitlicht verschiedene ICL-Fähigkeiten und betont Generalisierung
Prompt-Optimierung Frameworks
44. "Beyond Prompt Content: Enhancing LLM Performance via Content-Format Integrated Prompt Optimization" (2025)
Autoren: Yuanye Liu, Jiahang Xu, Li Lyna Zhang, et al. (Microsoft Research)
Jahr: 2025
Beschreibung: CFPO-Methodik zur gemeinsamen Optimierung von Prompt-Inhalt und -Formatierung durch iterative Verfeinerung.
Bedeutung: Zeigt dass Formatierung ebenso wichtig wie Inhalt für Prompt-Leistung ist
45. "DSPy: Compiling Declarative Language Model Calls into State-of-the-Art Pipelines" (2024)
Autoren: Omar Khattab, Arnav Singhvi, Paridhi Maheshwari, et al. (Stanford NLP)
Jahr: 2024
Beschreibung: Framework zur systematischen Optimierung von LM-Pipelines durch Trennung von Programmfluss und Parametern.
Bedeutung: Automatisiert Prompt-Engineering und macht kleine Modelle konkurrenzfähig zu GPT-3.5
46. "Optimizing Instructions and Demonstrations for Multi-Stage Language Model Programs" (2024)
Autoren: Krista Opsahl-Ong, Michael J Ryan, Josh Purtell, et al. (Stanford)
Jahr: 2024
Beschreibung: MIPRO-Algorithmus zur Optimierung mehrstufiger LM-Programme durch program- und datenbasierte Techniken.
Bedeutung: Bis zu 13% Genauigkeitssteigerung gegenüber Baseline-Optimierern
47. "Fine-Tuning and Prompt Optimization: Two Great Steps that Work Better Together" (2024)
Autoren: Dilara Soylu, Christopher Potts, Omar Khattab (Stanford)
Jahr: 2024
Beschreibung: BetterTogether-Strategien kombinieren Gewichts- und Prompt-Optimierung für modulare LM-Pipelines.
Bedeutung: Übertrifft einzelne Optimierungsansätze um bis zu 60% bei Gewichten und 6% bei Prompts
Umfassende Surveys und Meta-Analysen
48. "The Prompt Report: A Systematic Survey of Prompting Techniques" (2024)
Autoren: Sander Schulhoff, Michael Ilie, Nishant Balepur, et al. (University of Maryland, OpenAI)
Jahr: 2024
Beschreibung: Umfassende systematische Untersuchung mit Taxonomie von 58 text-basierten und 40 multimodalen Prompting-Techniken.
Bedeutung: Standardwerk mit vollständigem Vokabular und strukturierter Übersicht aller Prompting-Methoden
49. "What Makes a Good Natural Language Prompt?" (2025)
Autoren: Do Xuan Long, Duy Dinh, Ngoc-Hai Nguyen, et al. (National University of Singapore)
Jahr: 2025
Beschreibung: Meta-Analyse von über 150 Prompting-Papers mit Framework zur Bewertung von Prompt-Qualität über 21 Eigenschaften in 6 Dimensionen.
Bedeutung: Etabliert Grundlage für property-zentrierte Prompt-Evaluation und -Optimierung
50. "A Systematic Survey of Prompt Engineering in Large Language Models: Techniques and Applications" (2024)
Autoren: Pranab Sahoo, Ayush Kumar Singh, Sriparna Saha, et al. (IIT Patna)
Jahr: 2024
Beschreibung: Systematische Übersicht über Prompt Engineering kategorisiert nach Anwendungsbereichen mit detaillierter Taxonomie.
Bedeutung: Strukturierte Analyse von 29 verschiedenen Techniken mit Stärken und Schwächen
51. "A Survey on In-context Learning" (2023)
Autoren: Qingxiu Dong, Lei Li, Damai Dai, et al. (Peking University)
Jahr: 2023
Beschreibung: Umfassender Survey über In-Context Learning mit Fokus auf Training, Inference-Mechanismen und Analyse-Methoden.
Bedeutung: Grundlegendes Referenzwerk für ICL-Forschung und -Anwendungen
52. "Principled Instructions Are All You Need for Questioning LLaMA-1/2, GPT-3.5/4" (2024)
Autoren: Sondos Mahmoud Bsharat, Aidar Myrzakhan, Zhiqiang Shen (MBZUAI)
Jahr: 2024
Beschreibung: 26 prinzipienbasierte Richtlinien für effektives Prompting mit empirischer Validierung über mehrere Modelle.
Bedeutung: Praktischer Leitfaden mit bis zu 57.7% Leistungssteigerung durch systematische Prompt-Prinzipien
53. "PromptAgent: Strategic Planning with Language Models Enables Expert-level Prompt Optimization" (2024)
Autoren: Xinyuan Wang, Chenxi Li, Zhen Wang, et al. (UC San Diego, Microsoft)
Jahr: 2024
Beschreibung: Agent-basierter Ansatz zur automatischen Prompt-Optimierung durch strategische Planung mit Monte Carlo Tree Search.
Bedeutung: Erreicht Experten-Level Prompt-Optimierung automatisch über verschiedene Domänen
54. "Large Language Models as Optimizers" (2024)
Autoren: Chengrun Yang, Xuezhi Wang, Yifeng Lu, et al. (Google DeepMind)
Jahr: 2024
Beschreibung: Optimization by PROmpting (OPRO) - Verwendung von LLMs als Optimierer für verschiedene Aufgaben einschließlich Prompt-Optimierung.
Bedeutung: Zeigt dass LLMs effektiv zur Optimierung ihrer eigenen Prompts eingesetzt werden können