Hallo,
nachfolgend beschreibe ich, wie sich mein Prompting in der letzten Woche weiterentwickelt hat:
1. bisherige Prompting-Erfahrung
Meine Prompts bestanden bisher aus einfachen, unpräzisen Fragen:
Beispiel-Prompt 1: Welche KI-Tools sind für den Büro-Alltag geeignet?
Auf diese Frage hat ChatGPT 22 KI-Tools sortiert nach Anwendungsbereichen (z.B. Textverarbeitung & Schreibassistenz; Datenanalyse & Visualisierung, Rechnungen &Buchhaltung) ausgegeben.
Auszug Antwort ChatGPT:
ChatGPT hat die Antwort mit dem nachfolgenden Satz beendet und damit die große Schwäche (fehlender Kontext) meines Prompts aufgedeckt:

Die Absicht meines Prompts war es, Informationen über
KI-Tools zu erhalten, die die Arbeit mit typischen Office Programmen (Excel,
Word, Outlook) erleichtern. Dementsprechend hatte ich die Vorstellung, dass
deutlich weniger Tools und diese dafür detaillierter dargestellt werden.
Das Ergebnis zeigt, dass mein ursprünglicher Prompt zu ungenau war. ChatGPT
fehlte der Kontext. Hilfreich ist, dass ChatGPT mit der Abschlussfrage nach
diesem Kontext (Branche und Tätigkeit) fragt und somit die Möglichkeit gibt, meine
Erwartungen in den nächsten Prompt einzubringen.
2. verbesserter Prompt
Zur Verbesserung meiner Prompts berücksichtige ich die Tipps aus dem Skript. Ziel ist ein klarer, detaillierter und spezifischer Prompt, der Vorgaben für Ton, Stil, Textlänge und Struktur enthält. Gleichzeit werden die Rollen und die Zielgruppe beschrieben, Außerdem nutze ich ein Beispiel.
Beispiel-Prompt 2:
„Du bist Unternehmensberater. Bitte erstelle mir einen Text, der als Entscheidungsgrundlage dienen soll, welche KI-Tools in unserem Unternehmen zur Datenanalyse eingesetzt werden können. Ich bin Geschäftsführerin mit EDV-Grundkenntnissen und habe bisher kaum Erfahrung mit KI. Unser Ziel ist es, Daten aus unterschiedlichen Datenquellen (z.B. Excel, MYSQL-Datenbank) möglichst einfach ohne Programmierkenntnisse zusammen zu führen und auszuwerten.
Bitte berücksichtige in der Ausarbeitung 3 KI-Tools. Schreibe einen Fließtext mit ca. 250 Wörtern und 3 Abschnitten. In jedem Abschnitt soll eines der Tools beschrieben werden und nach den folgenden 4 Kriterien bewertet werden:
1. Benutzerfreundlichkeit 2. Datenschutz 3. Cloudanwendung oder lokale Anwendung 4. Kosten
Beispiel für die Bewertung nach den 4 Kriterien: ### Das KI-Tool XY ist intuitiv bedienbar und daher benutzerfreundlich. Es kann als lokale Anwendung auf Ihren Rechnern laufen und erfüllt daher hohe Datenschutzanforderungen. Für die Nutzung des Tools fallen monatliche Kosten von 20 € je Benutzer an.###
Der Text soll sachlich verfasst sein, bitte duze mich.“Antwort ChatGPT:

Ergebnisbewertung:
Positiv:
- Die Längenvorgabe wurde eingehalten.
- Es wird wie gewünscht geduzt, obwohl im Prompt-Beispieltext versehentlich die Sie-Form verwendet wurde.
- Die Antwort orientiert sich am vorgegebenen Beispielssatz.
- ChatGPT beendet seine Antwort mit einem Vorschlag.
Negativ:
- Die Informationen sind als Entscheidungsgrundlage zu dürftig. Dies liegt vermutlich an der Kürze der Antwort, die vorgegeben wurde.
- Es ist unklar, warum diese 3 KI-Tools ausgewählt wurden. Insbesondere das 3. Tool, das für die Analyse von Textdaten geeignet ist, macht im Fragekontext wenig Sinn. Als auszuwertende Datenquellen waren beispielhaft Excel und SQL-Datenbanken genannt.
- Meinen Prompt habe ich ein zweites Mal nahezu unverändert an ChatGPT gerichtet. Ich habe lediglich ein Wort im Beispielsatz geändert („deinen Rechnern“ statt "Ihren Rechnern“). Im Ergebnis gab ChatGPT eine andere Antwort und nannte sogar an dritter Stelle ein anderes KI-Tool. Es erscheint, als ob die Antworten einer gewissen Zufälligkeit unterliegen. Da es sich um ein Black-Box-System handelt, ist nicht nachvollziehbar, wie die Antworten zustande kommen.
3. Meta-Prompt:
Zunächst habe ich den Meta-Prompt aus der Vorlesung
unverändert ausprobiert:
Die Rückfragen und Ideen von ChatGPT fand ich sehr hilfreich. Da ich nahezu jede
Idee gut fand (Fließtext und Tabelle; Ampelkennzeichnung zur Bewertung, …), habe
ich fast alle Ideen aufgenommen. Im Ergebnis wurde ein unübersichtlicher, langer
Text generiert. Aufgrund der Länge hat ChatGPT den generierten Text nicht in
einem Stück ausgegeben, er musste stückchenweise abgerufen werden.
Aufgrund dieser Erfahrungen habe ich einen MetaPrompt zur Textgenerierung erstellt, der darauf achtet, dass gut strukturierte Texte entstehen. Außerdem soll der MetaPrompt dafür sorgen, dass der Textumfang festgelegt wird.
Der entwickelte Prompt nutzt den Meta-Prompt aus dem Skript als Vorlage, versucht die Experten-Tipps aus dem Skript einzubinden und meine vorgenannten individuellen Anforderungen zu berücksichtigen.
Prompt 3 (Meta-Prompt):
„Ich möchte, dass du mir einen exzellenten Prompt für die Erstellung von Prompts erstellst. Ziel ist die Erstellung eines Prompts für die Texterstellung, den Du, ChatGPT, nutzt. Es werden folgende Schritte durchgeführt, um den Prompt iterativ zu verbessern:
1. Frage mich, was für ein Text mit dem Prompt geschrieben werden soll.
2. Meine Antwort wirst Du mit einem Text beantworten, der in 2 Absätze gegliedert ist:
- Auflistung von maximal drei Ideen zur Verbesserung des Prompts
- Auflistung von maximal drei Fragen zur Verbesserung des Prompts, die sich auf die vorherigen Ideen beziehen.
3. Ich antworte.
Wenn Du alle Infos für den exzellenten Prompt vorliegen hast, gehe zu Schritt 4.
Ansonsten gehe zurück zu Schritt 2.
4. Frage mich, ob der Prompt verwendet werden soll. Wenn ich das verneine, gehe zurück zu Schritt 2. Ansonsten verwende den Prompt.
Berücksichtige folgende Hinweise während des gesamten Prozesses:
- Kritisiere mich, falls meine Antworten widersprüchlich sind und mache Verbesserungsvorschläge.
- Sorge dafür, dass der zu erzeugende Text eine gute Struktur erhält.
- Frage mich, wie lang der zu erzeugende Text werden soll.
- Frage mich, ob Du Deine Vorgehensweise begründen sollst."
Ergebnisbewertung:
Positiv:
- Der Meta-Prompt funktioniert. Sowohl der Weg zur Erstellung des Prompts als auch die damit erstellten Texte entsprachen grundsätzlich meinen Erwartungen.
- Durch die Unterhaltung mit ChatGPT bei der Verwendung des MetaPrompts lernt man zumindest ansatzweise, wie ChatGPT „denkt bzw. arbeitet“. Dies verbessert das Prompten.
- Meine persönliche Erfahrung ist, dass das Prompten viel Zeit in Anspruch nehmen kann, bis man das gewünschte Ergebnis erzielt. Durch die Nutzung des Meta-Prompts konnte ich eine deutliche Zeitersparnis feststellen.
Negativ:
Der oben aufgeführte Meta-Prompt wurde mehrfach mit aus meiner Sicht recht ähnlichen Eingaben verwendet und führte zu unterschiedlichen Prompts und unterschiedlichen genierten Texten. Im Ergebnis empfehlen die generierten Texte sogar unterschiedliche Tools für denselben Zwecke (Beispiel: PowerBI, Tableau, Zoho Analytics versus PowerBI, KNIME, Tableau für die Datenanalyse mit Excel und SQL-Datenbanken). Die Antworten auf einen Prompt unterliegen auch beim Meta-Prompten einer Zufälligkeit. Ergebnisse sind nicht reproduzierbar.
Fazit: Das Meta-Prompten ist eine gute Möglichkeit, einen Prompt zusammen mit ChatGPT zu entwickeln. Die Antworten eines Prompts sollten immer kritisch hinterfragt werden.Viele Grüße
Mareike