Zeitgewinn durch Zerlegung (Amdahl)
Speedup S ≈ 1 / ((1 − p) + p/N + Overhead), mit p als parallelisierbarem Anteil der Laufzeit und N als Zahl paralleler Instanzen. In der Praxis kommen Zusammenführung, langsamste Teilaufrufe (Straggler) und Ratenlimits dazu. Ich setze realistisch
30 bis 60 % des theoretischen Werts an.
| Aufgabentyp | p | realistischer Speedup | Qualität gegenüber Einzelaufruf |
|---|
| Breit und zerlegbar (viele Dokumente, Codebasis-Review, Quellenrecherche) | 0,8–0,95 | ca. 3–8× | −0 bis −3 Prozentpunkte |
| Gemischt (Analyse mit Zwischenergebnissen, Gutachten) | 0,5–0,7 | ca. 1,5–3× | −3 bis −10 |
| Tief sequenziell (Herleitung, Debugging-Kette) | 0,1–0,3 | ca. 1,0–1,4× | −5 bis −15, oder kein Gewinn |
| Kurze Aufgabe | – | oft < 1× (Koordination kostet mehr als sie spart) | – |
Die Qualitätseinbußen entstehen durch Informationsverlust zwischen den Teilaufrufen: Querbezüge gehen verloren, und die Zusammenführung kann Fehler einbauen oder Widersprüche glattbügeln. Sie sind am kleinsten, wenn die Teile wirklich unabhängig sind.
Gegenüber einem LLM, das bei sehr langem Kontext ohnehin nachlässt, kann der RLM dagegen netto besser abschneiden. Die Tabelle gilt für Aufgaben, die ein LLM noch sauber in seinen Kontext bekommt.
Qualitätsgewinn durch deine Serienidee
Bei Best-of-n mit unabhängigen Fehlern wäre die Erfolgsquote 1 − (1 − q)ⁿ. Bei q = 0,6 und n = 5 wären das theoretisch 99 %. Real gilt:
- Die Fehler sind korreliert, denn dasselbe Modell macht ähnliche Fehler. Ich würde nur etwa ein Drittel bis die Hälfte des theoretischen Gewinns erwarten.
- Es gibt einen Sättigungseffekt, der Grenznutzen sinkt ab etwa n = 4 bis 8 deutlich.
- Entscheidend ist die Auswahlinstanz. In der Fotografie urteilt dein Auge zuverlässig und billig. Bei LLM-Aufgaben funktioniert Best-of-n gut, wo ein Prüfer existiert: Tests bei Code, Rechenproben, Formatprüfungen, menschliche Sichtung. Ein Modell, das die Ergebnisse selbst bewertet, ist deutlich unzuverlässiger. Ohne guten Prüfer sinkt der Gewinn auf etwa 0 bis 3 Punkte.
Mit Prüfer erwarte ich bei gut verifizierbaren Aufgaben etwa
+5 bis +15 Punkte. Dein Optimierungsschritt danach (Nachbearbeitung des besten Ergebnisses) ist ein sinnvoller zweiter Hebel, ähnlich einer Überarbeitungsrunde mit gezielter Kritik.
Wo sich das einpendelt (professioneller Einsatz)
- Zerlegbare Aufgaben mit Prüfer: etwa 3–8× schneller bei gleicher oder besserer Qualität (netto 0 bis +10 Punkte), Kosten etwa 2–5× in Token.
- Gemischte Aufgaben: etwa 1,5–3× schneller, Qualität ungefähr neutral, wenn eine Serie plus Auswahl den Zerlegungsverlust ausgleicht.
- Sequenzielle Kernaufgaben: kaum Zeitgewinn. Hier lohnt sich Replikation für Qualität, aber nicht Zerlegung.
Was die Abschätzung am meisten verändert
- Der Anteil sequenzieller Kernarbeit in der Aufgabe (p)
- Ob ein zuverlässiger, günstiger Prüfer existiert
- Wie unabhängig die Versuche voneinander sind (verschiedene Seeds oder Prompts, oder sogar verschiedene Modelle, senken die Fehlerkorrelation)
- Dein Kostenrahmen, denn der Zeit- und Qualitätsgewinn wird mit Rechenaufwand bezahlt