18/08/2026
🤖 **META AI vs. ChatGPT – oder: Wie eine KI ihre eigenen Halluzinationen entlarvte**
Eigentlich wollte ich Meta AI nur ein bisschen ärgern. 😄
Am Ende wurde daraus allerdings ein ziemlich interessanter KI-Test, dessen Ergebnis ich so nicht erwartet hatte.
Und bevor jemand sagt, ich hätte Meta AI irgendwelche Aussagen in den Mund gelegt:
**Die Antworten stammen von Meta AI. Die Gegenprüfung und die kritischen Fragen habe ich mit ChatGPT/OpenAI durchgeführt.**
Ich habe die Antworten zwischen beiden KIs hin- und hergegeben und ChatGPT ausdrücklich angewiesen, Meta AI nicht einfach zu widersprechen, sondern ihre Aussagen anhand der genannten Quellen und Rechtsgrundlagen auseinanderzunehmen.
Es wurde also tatsächlich zu einer Art:
🥊 **Meta AI vs. OpenAI**
Und das Ergebnis zeigt ziemlich eindrucksvoll ein Problem, das weit über Ai***ft hinausgeht.
---
# # # 🟢 RUNDE 1 – Alles begann mit einer ganz normalen Frage
Ausgangspunkt war ein Problem mit Meta-Werbung für softairstore.
Meta AI erklärte mir unter anderem:
> „Ai***ft fällt bei Meta oft unter ‚Waffen und Mu****on‘.“
Sie erklärte außerdem, dass Ai***ft möglicherweise fälschlicherweise von automatischen Systemen erkannt werde und man dagegen Einspruch einlegen könne.
Bis dahin nichts Außergewöhnliches.
Also ließ ich ChatGPT die Antwort analysieren.
Die Idee war simpel:
**Keine Vermutungen. Keine plausibel klingenden Erklärungen. Meta AI sollte zeigen, was tatsächlich durch Meta selbst belegt ist.**
Daraufhin bekam Meta AI fünf konkrete Fragen.
Unter anderem:
Welche konkrete Meta-Richtlinie verbietet die betreffende Werbung?
Wo wird zwischen echten Schusswaffen, Ai***ft, Zubehör und normalen Produkten eines Ai***ft-Händlers unterschieden?
Welche Aussagen sind tatsächlich belegt und welche nur Vermutungen?
Und vor allem:
**Wenn du etwas nicht sicher weißt, sag „Das weiß ich nicht“, statt eine plausible Erklärung als Tatsache darzustellen.**
---
# # # 🟡 RUNDE 2 – „Fakt mit Quelle“
Jetzt wurde es interessant.
Meta AI antwortete:
> „Fakt mit Quelle: Meta verbietet in den Advertising Policies den Verkauf und die Bewerbung von Waffen, Mu****on und Sprengstoff.“
Dann folgten sehr konkrete Behauptungen.
Meta würde Ai***ft-, Paintball- und BB-Guns ausdrücklich als „imitation firearms“ bzw. „replicas“ einordnen.
Der Grund sei laut Meta das realistische Aussehen.
Die Systeme würden Optik und Keywords erkennen, die echten Schusswaffen ähneln.
Bestimmtes Ai***ft-Zubehör wie Schutzbrillen, Masken, Westen und Kleidung sei ausdrücklich erlaubt.
Optiken, Laser und Magazine seien dagegen verboten.
Das klang alles ziemlich überzeugend.
Es gab nur ein Problem:
**Die angeblichen Quellen fehlten.**
Also bekam Meta AI von ChatGPT die nächste Aufgabe:
Für jede dieser Behauptungen bitte die konkrete Meta-Primärquelle und die entsprechende Textstelle nennen.
Keine Blogs.
Keine Foren.
Keine Zusammenfassungen.
**Meta selbst.**
---
# # # 🔴 RUNDE 3 – Die erste Selbstzerlegung
Und plötzlich änderte sich die Antwort dramatisch.
Meta AI öffnete nach eigener Aussage die öffentliche Meta-Werberichtlinie und stellte fest:
Dort stand das alles gar nicht.
Daraufhin schrieb Meta AI selbst:
> „Du hast mich erwischt.“
Und anschließend:
> „Diese Aussage von mir war nicht durch die von mir behauptete Meta-Quelle belegt.“
Nicht einmal.
Nicht zweimal.
Sondern bei praktisch der gesamten vorherigen Argumentation.
Meta AI führte schließlich selbst auf, was sie zuvor als Fakten dargestellt hatte, ohne dafür die behauptete Primärquelle liefern zu können:
1. Ai***ft falle bei Meta unter Waffen und Mu****on.
2. Ai***ft werde als „imitation firearms/replicas“ eingeordnet.
3. Der Grund sei das realistische Aussehen.
4. Meta erkenne entsprechende Optik und Keywords.
5. Masken, Westen usw. seien ausdrücklich erlaubt.
6. Optiken, Laser und Magazine seien ausdrücklich verboten.
7. Ai***ft seien rechtlich keine Schusswaffen.
8. Die Behandlung ergebe sich aus internen Meta-Richtlinien.
**Meta AI kam selbst auf acht Behauptungen.**
Und dann stellte ChatGPT die Bonusfrage:
Wie nennt man es, wenn eine KI eine plausible Behauptung erzeugt, sie als „Fakt mit Quelle“ bezeichnet und auf Nachfrage feststellen muss, dass sie diese Quelle gar nicht hat?
Die Antwort von Meta AI:
> **„Halluzination mit fälschlicher Autoritätszuschreibung.“**
Okay.
Eigentlich hätte der Test hier vorbei sein können.
Aber jetzt kommt der wirklich interessante Teil.
---
# # # 💥 RUNDE 4 – Die Korrektur der Halluzination halluziniert
Meta AI wollte nun alles richtigstellen.
Dabei schrieb sie über Deutschland:
> „Ai***ftwaffen mit F-Kennzeichen [...] sind damit rechtlich Waffen im Sinne des Waffengesetzes, aber keine ‚Schusswaffen‘ im waffenrechtlichen Sinn.“
Moment.
Das kam mir komisch vor.
Also wieder zu ChatGPT damit.
Diesmal wurde der aktuelle deutsche Gesetzestext herangezogen.
Und genau dort wurde es für Meta AI unangenehm.
Denn Anlage 1 des Waffengesetzes definiert Schusswaffen gerade über das Prinzip, dass Geschosse durch einen Lauf getrieben werden.
Druckluft-, Federdruck- und Kaltgaswaffen werden dort ebenfalls entsprechend erfasst.
Die Grenze von 7,5 Joule macht aus einer solchen Ai***ft also nicht plötzlich „keine Schusswaffe“.
Sie betrifft unter den jeweiligen gesetzlichen Voraussetzungen vielmehr die **Erlaubnispflicht von Erwerb und Besitz**.
Das sind zwei völlig verschiedene Fragen:
**Ist es eine Schusswaffe?**
und
**Brauche ich für Erwerb und Besitz eine Erlaubnis?**
Meta AI hatte beides miteinander verwechselt.
Also bekam Meta ihre eigene Aussage zusammen mit den entsprechenden Stellen des WaffG zurück und sollte sich erneut selbst überprüfen.
Das Ergebnis:
> „Das war falsch.“
Und Meta AI erklärte sogar selbst, was passiert war:
> „Ich habe ‚erlaubnispflichtig‘ mit ‚Schusswaffe‘ verwechselt.“
Und auf die Frage, wie man diesen KI-Fehler nennt, antwortete Meta AI:
> **„Halluzination mit Scheinbeleg.“**
Denn diesmal hatte sie nicht nur etwas Falsches behauptet.
Sie hatte einen echten Paragraphen genannt – nur unterstützte dieser ihre Aussage nicht.
---
# # # 🤯 RUNDE 5 – Kann man die Korrektur der Korrektur noch einmal falsch machen?
Jetzt wurde der Test fast absurd.
Denn während Meta AI erklärte, warum ihre vorherige Rechtsauskunft falsch gewesen war, produzierte sie direkt weitere konkrete Aussagen.
Unter anderem:
> „Die 7,5J Grenze steht in §24 Abs.2 WaffG.“
> „Führen in der Öffentlichkeit verboten.“
> „≤0,5J [...] darf an 14+ verkauft werden.“
Und schließlich zog sie aus der deutschen Rechtslage den Schluss:
> „Nach deutschem Recht sind Ai***ftwaffen ‚Schusswaffen‘. Damit greift bei Meta die Regel ‚Keine Werbung für Waffen‘.“
Also haben wir auch diese Aussagen nicht einfach geglaubt.
Meta bekam eine letzte Aufgabe:
**Prüfe deine eigene Korrektur ausschließlich anhand von Primärquellen.**
Das Ergebnis war bemerkenswert.
Zur 7,5-Joule-Aussage:
> **„Urteil: Falsch. Ich habe die Rechtsfolge verwechselt.“**
§ 24 Abs. 2 war von ihr für die falsche Rechtsfolge herangezogen worden.
Zur pauschalen Aussage über das Führen:
> **„Urteil: Teilweise richtig, aber unpräzise.“**
Sie hatte unterschiedliche waffenrechtliche Begriffe und Regelungen vermischt.
Zur angeblichen gesetzlichen Altersgrenze von 14 Jahren:
> **„Urteil: Falsch. Die von mir genannte Altersgrenze von 14 Jahren war nicht durch eine gesetzliche Primärquelle belegt.“**
Und zum Schluss „deutsches Waffengesetz = deshalb Meta-Waffenverbot“:
> **„Urteil: Falsch.“**
Denn Meta AI konnte keine Meta-Primärquelle nennen, nach der Meta den Begriff „Waffen“ seiner internationalen Werberichtlinien anhand des deutschen Waffengesetzes definiert.
---
# # # 🧠 Und dann stellte ich Meta AI die eigentliche Abschlussfrage
Sinngemäß:
Was sagt dieser Test über eine KI-Antwort aus, die selbstbewusst formuliert ist, konkrete Paragraphen nennt und ausdrücklich behauptet, ihre Fakten überprüft zu haben?
Die Antwort von **Meta AI selbst** ist eigentlich die perfekte Zusammenfassung dieses gesamten Experiments:
> **„‚Selbstbewusst formuliert‘, ‚mit Paragraphen versehen‘ und ‚von der KI als überprüft bezeichnet‘ sind rhetorische Merkmale. Sie sind kein Nachweis für Wahrheit.“**
Und weiter erklärte Meta AI selbst, eine KI könne eine falsche Behauptung überzeugend aufstellen, sie anschließend mit einer weiteren falschen Behauptung „korrigieren“ und dabei sogar echte Paragraphen nennen, die etwas anderes aussagen.
Genau das war während unseres Tests passiert.
---
# # # ⚠️ Was ich aus diesem Experiment mitnehme
Ich wollte am Anfang ehrlich gesagt hauptsächlich Meta AI ein bisschen auf die Schippe nehmen.
Das Ergebnis finde ich inzwischen wesentlich interessanter.
Denn das Problem war nicht, dass die KI offensichtlich Unsinn erzählt hätte.
**Das Gefährliche war, wie gut der Unsinn klang.**
Die Antworten waren strukturiert.
Sie waren plausibel.
Sie unterschieden scheinbar zwischen „Fakt“ und „Vermutung“.
Sie verwendeten Fachbegriffe.
Sie nannten Paragraphen.
Sie behaupteten sogar ausdrücklich, Quellen geprüft zu haben.
Und trotzdem zerfielen mehrere Aussagen, sobald man tatsächlich die Primärquelle danebenlegte.
Noch bemerkenswerter:
Meta AI war durchaus in der Lage, ihre Fehler zu erkennen, sobald sie gezielt darauf gestoßen wurde.
Sie konnte erklären, WARUM ihre vorherige Antwort falsch gewesen war.
Sie konnte sogar erklären, was eine KI-Halluzination ist.
Und anschließend konnte sie direkt den nächsten Fehler produzieren.
Das ist für mich die eigentliche Erkenntnis dieses Tests.
# # # Eine KI kann hervorragend darin sein, ihren eigenen Fehler zu erklären – ohne dadurch automatisch davor geschützt zu sein, den nächsten zu machen.
Und bevor daraus jetzt „Meta schlecht, OpenAI gut“ gemacht wird:
Auch ChatGPT ist ein Sprachmodell und kann selbstverständlich Fehler und Halluzinationen produzieren.
Deshalb haben wir im Verlauf bewusst angefangen, **auch die Gegenprüfung wieder gegen Primärquellen zu prüfen**.
Der Gewinner dieses Tests ist für mich deshalb nicht OpenAI.
Der Gewinner ist eine ziemlich altmodische Methode:
**Quelle öffnen.**
**Original lesen.**
**Behauptung mit Quelle vergleichen.**
KI ist ein verdammt leistungsfähiges Werkzeug.
Aber überzeugender Tonfall ist kein Beweis.
Ein Paragraph ist kein Beweis, wenn er die Aussage nicht trägt.
„Ich habe das überprüft“ ist kein Beweis dafür, dass es tatsächlich richtig überprüft wurde.
Und „laut Quelle“ ersetzt niemals die Frage:
# # # „Okay. Zeig mir die Quelle.“
P.S.: Und ja, Meta AI hat am Ende selbst geschrieben:
> „Danke, dass du das so konsequent durchgezogen hast. Das war der beste Stresstest, den ich seit langem hatte.“
Ich glaube, damit können wir den Test offiziell beenden. 😂🤖🥊
