Gespräche offline transkribieren, ohne dass sie das Haus verlassen

Es gibt eine Sorte Aufnahme, die Du nicht hochlädst. Das Erstgespräch mit einer Mandantin, die Anamnese, das Mitarbeitergespräch über eine Kündigung, das Interview mit einer Quelle, die anonym bleiben muss. Bei genau diesen Aufnahmen wäre eine Transkription am wertvollsten, und genau bei ihnen scheiden die üblichen Meeting-Werkzeuge aus.

Der gute Teil an dieser Geschichte: Spracherkennung ist der Bereich, in dem lokal am wenigsten Verzicht bedeutet. Die Modelle sind klein, die Aufgabe ist eng, und der Abstand zur Cloud ist kleiner als bei fast allem anderen. Ein Rechner, der für Textmodelle zu schwach ist, transkribiert trotzdem ordentlich. Am Ende dieses Playbooks hast Du einen Ablauf, bei dem die Audiodatei Deinen Rechner nicht verlässt, und Du weißt, wo dieser Ablauf an seine Grenze kommt.

Ein Satz vorweg, weil er das ganze Versprechen trägt: Dass das Modell lokal rechnet, genügt dafür nicht. Zwei Dinge kommen dazu, der Ordner und das Programm, und beide stehen in Schritt 10. Wer sie überspringt, hat eine lokale Transkription in einem Ordner, den die Cloud synchronisiert.

1. Klär zuerst, ob Dein Fall wirklich lokal sein muss

Der Aufwand lohnt sich nicht für jede Aufnahme. Wenn Du ein internes Team-Meeting über die Farbe des neuen Logos mitschreiben lässt, nimm das Werkzeug, das schon in Deiner Videosoftware steckt. Der Weg dahin steht in KI-Notizen für Meetings, und er ist für den Normalfall schneller und bequemer.

Lokal wird interessant, sobald eine dieser drei Bedingungen zutrifft. Es sind besondere Kategorien personenbezogener Daten im Spiel, zum Beispiel Gesundheit, Herkunft, religiöse Überzeugung, Gewerkschaftszugehörigkeit, Sexualleben, biometrische oder genetische Daten. Oder es besteht eine Berufsverschwiegenheit, bei Ärztinnen, Anwälten, Therapeuten, Steuerberatern. Oder die Gegenseite hat der Aufnahme zugestimmt, aber ausdrücklich nicht der Weitergabe an einen Dienstleister.

Tipp: Wenn Du unsicher bist, prüf es an einer Frage. Könntest Du der Person im Gespräch ins Gesicht sagen, dass diese Aufnahme gleich auf einen fremden Server geht? Zögerst Du dabei, gehört der Fall hierher.

2. Versteh, was Whisper ist und was die Lizenz Dir erlaubt

Der Quasi-Standard für lokale Spracherkennung heißt Whisper und kommt von OpenAI. Das klingt zunächst wie ein Widerspruch, ist aber keiner: Whisper ist als offenes Modell veröffentlicht, Code und Gewichte stehen unter der MIT-Lizenz. Du lädst es einmal herunter und führst es danach vollständig auf Deinem Rechner aus. Es meldet sich nirgends an und fragt nichts nach.

MIT ist die unkomplizierteste der gängigen Lizenzen. Du darfst damit kommerziell arbeiten, es in ein Produkt einbauen und es Deinen Kunden gegenüber einsetzen, ohne dass jemand Dir Bedingungen zur Nutzerzahl diktiert. Eine Bedingung gibt es allerdings, und sie wird oft übergangen: Gibst Du Code oder Gewichte weiter, müssen der Copyright-Vermerk und der Lizenztext dabei erhalten bleiben. Das gilt für die Weitergabe, nicht für die bloße Benutzung, und es verlangt keinen sichtbaren Hinweis in Deiner Oberfläche. Wer Whisper aber in ein Produkt packt und ausliefert, legt die Lizenzdatei mit dazu.

Tipp: Verwechsel das nicht mit der Sprach-API von OpenAI, die denselben Namen trägt. Die läuft auf fremden Servern und ist genau das, was Du hier vermeiden willst. Gemeint ist immer das Modell, das Du selbst herunterlädst.

3. Wähl die Modellgröße nach Deiner Hardware

Whisper gibt es in sechs Größen. Die Angaben stammen aus der offiziellen Modellübersicht, Stand August 2026, und der Speicherbedarf bezieht sich auf Grafikspeicher.

Die kleinste Stufe heißt tiny mit 39 Millionen Parametern und rund einem Gigabyte Bedarf. base liegt bei 74 Millionen und ebenfalls etwa einem Gigabyte. small hat 244 Millionen und braucht ungefähr zwei Gigabyte. medium kommt auf 769 Millionen und rund fünf Gigabyte. large ist mit 1,55 Milliarden Parametern und etwa zehn Gigabyte die schwerste Stufe. Dazwischen sitzt turbo mit ungefähr 800 Millionen Parametern und rund sechs Gigabyte.

Für deutschsprachiges Material fang bei small an und geh hoch, wenn die Fehlerquote Dich stört. Die vier kleineren Stufen gibt es zusätzlich in einer reinen Englisch-Variante mit dem Zusatz .en, die bei englischem Ton genauer ist und Dir bei deutschem Ton nichts nützt.

Tipp: turbo ist eine auf Geschwindigkeit optimierte Fassung von large-v3 und in den meisten Fällen der beste Kompromiss. Ein Detail, das leicht übersehen wird: turbo ist nicht für Übersetzung trainiert. Wenn Du fremdsprachigen Ton auf Englisch übersetzt haben willst statt in der Originalsprache transkribiert, brauchst Du eine der mehrsprachigen Stufen.

4. Entscheide Dich für eine Laufzeitumgebung

Dasselbe Modell lässt sich von verschiedenen Programmen ausführen, und der Unterschied ist erheblich. Drei Wege sind verbreitet, alle drei stehen unter MIT.

Die Originalfassung von OpenAI ist ein Python-Paket. Sie ist der Referenzpunkt, aber die langsamste Variante. whisper.cpp ist eine Neuimplementierung in C und C++ ohne Abhängigkeiten, die auch reine Prozessorberechnung gut beherrscht und auf Apple Silicon die Grafikeinheit über Metal nutzt. faster-whisper setzt auf die Inferenz-Bibliothek CTranslate2 und ist laut Projektangabe bis zu viermal schneller als das Original bei geringerem Speicherbedarf.

Wie groß der Abstand ist, zeigt eine Messung aus dem faster-whisper-Projekt. Dieselbe dreizehn Minuten lange Aufnahme, dasselbe small-Modell, ein Prozessor vom Typ Core i7-12700K mit acht Threads: die Originalfassung braucht sechs Minuten und 58 Sekunden, whisper.cpp zwei Minuten und fünf Sekunden, faster-whisper mit 8-Bit-Kompression eine Minute und 42 Sekunden.

Lies diese Zahlen genau, denn sie vergleichen nicht nur Programme. Die Originalfassung rechnet dort in voller Genauigkeit, faster-whisper in 8-Bit-Kompression. Das ist ein Teil des Tempogewinns, und die Bibliothek dahinter beschreibt den Genauigkeitsverlust durch diese Kompression als gering bis nicht vorhanden, nicht als ausgeschlossen. Vergleichbar sind zwei Läufe erst, wenn Modell, Beam-Größe und Dekodier-Einstellungen dieselben sind.

Tipp: Wenn Du nicht programmierst, nimm eine der grafischen Oberflächen, die whisper.cpp im Bauch haben, statt selbst zu kompilieren. Du suchst kein Terminal-Erlebnis, Du suchst ein Transkript.

5. Mach den ersten Durchlauf mit echtem Material

Der häufigste Fehler an dieser Stelle ist ein Test mit einer sauber eingesprochenen Probeaufnahme. Die klappt immer. Nimm stattdessen eine echte Aufnahme aus Deinem Alltag, mit Dialekt, Fachbegriffen, Räuspern und dem Kollegen, der zwischendurch reinredet.

Setz die Sprache ausdrücklich auf Deutsch, statt sie erraten zu lassen. Whisper erkennt die Sprache automatisch, und bei den ersten Sekunden einer Aufnahme mit Begrüßungsgemurmel liegt es manchmal falsch. Ein falsch erkanntes Englisch zieht sich dann durch die ganze Datei. In der Originalfassung sieht ein Lauf so aus:

whisper aufnahme.wav --model small --language German

Die anderen Laufzeitumgebungen aus Schritt 4 werden anders aufgerufen, die Gedanken dahinter bleiben aber dieselben. Was Deine Fassung sonst noch kann, zeigt whisper --help.

Tipp: Whisper ist auf Englisch oft stärker als auf Deutsch, und Fachvokabular macht es nicht leichter. Wie groß der Abstand bei Deinem Material ist, siehst Du erst am eigenen Ton. Erwarte beim ersten Lauf keine Perfektion, sondern beurteile, ob die Struktur stimmt und die Namen ungefähr passen.

6. Miss die Geschwindigkeit an Deinem eigenen Material

Die eine Zahl, die zählt, ist das Verhältnis von Rechenzeit zu Aufnahmelänge. Braucht Dein Rechner für eine Stunde Ton zwanzig Minuten, ist das für den Feierabend-Stapelbetrieb völlig in Ordnung. Braucht er zwei Stunden, wirst Du es nach dreimal nicht mehr machen.

Miss das mit einer echten Datei und nicht mit einem Zwei-Minuten-Schnipsel, weil der Startaufwand den Wert bei kurzen Dateien verzerrt. Notier Dir das Ergebnis zusammen mit Modellgröße und Laufzeitumgebung.

Tipp: Ist es zu langsam, dreh zuerst an der Laufzeitumgebung und erst danach an der Modellgröße. Der Wechsel von der Originalfassung zu faster-whisper hält bei gleichen Einstellungen die Genauigkeit ungefähr, der Schritt von small auf tiny kostet sie sicher. Prüf den Wechsel einmal an einer Datei, deren Transkript Du schon kennst.

7. Verbessere den Ton, bevor Du am Modell drehst

Der größte Qualitätsgewinn liegt selten im Modell. Er liegt im Mikrofon. Ein Ansteckmikrofon oder ein Headset schlägt jede Modellstufe, die Du darüber ausgleichen wolltest. Zwei Menschen an einem Laptopmikrofon in einem hallenden Besprechungsraum sind für jedes Modell schwierig, egal wie groß es ist.

Zweiter Hebel sind Fachbegriffe und Eigennamen. Die meisten Umgebungen erlauben es, einen kurzen Text mitzugeben, der das Modell auf das Vokabular einstimmt. Trag dort die Namen der Beteiligten und Deine zehn häufigsten Fachwörter ein.

Tipp: Ein Modell, das aus schlechtem Ton Text errät, erfindet plausible Sätze. Das ist gefährlicher als eine Lücke, weil es sich beim Lesen richtig anfühlt. Bei wichtigen Aufnahmen gilt: an den entscheidenden Stellen gegen das Original hören.

8. Verwandle das Transkript in etwas Brauchbares

Ein rohes Transkript ist noch keine Notiz, es ist nur mehr Text. Der zweite Schritt gehört einem Sprachmodell, das aus dem Wortprotokoll eine Zusammenfassung, eine Aufgabenliste und die Entscheidungen macht.

Wenn Du diesen Weg für vertrauliche Gespräche gehst, muss auch dieser zweite Schritt lokal laufen. Sonst hast Du die Aufnahme zwar im Haus behalten und den vollständigen Inhalt anschließend trotzdem hochgeladen. Welches Textmodell auf Deine Ausstattung passt, klärt Welches lokale Modell zu Deiner Hardware passt.

Tipp: Hier liegt die ehrlichste Grenze dieses Ablaufs. Whisper trennt von sich aus keine Sprecher, es liefert einen durchlaufenden Text ohne Zuordnung, wer was gesagt hat. Genau diese Sprechertrennung können die spezialisierten Cloud-Dienste gut. Es gibt Zusatzwerkzeuge dafür, aber sie sind ein eigenes Projekt und nicht Teil eines Nachmittags.

9. Klär die rechtliche Seite, sie verschwindet nicht

Hier wird oft ein falscher Schluss gezogen. Dass die Daten Deinen Rechner nicht verlassen, ist ein echter und großer Vorteil, denn es entfällt die Übermittlung an einen Dritten und damit ein ganzer Stapel an Fragen zu Auftragsverarbeitung und Drittlandtransfer. Es macht die Verarbeitung aber nicht automatisch rechtmäßig.

Du verarbeitest weiterhin personenbezogene Daten und brauchst weiterhin eine Rechtsgrundlage und Löschfristen, und Du solltest prüfen, ob die Verarbeitung in Euer Verarbeitungsverzeichnis gehört. Bei regelmäßigen Aufnahmen und bei den Datenarten aus Schritt 1 ist das der Regelfall.

Und dann die Einwilligung, bei der oft eine Abkürzung genommen wird. Der Satz "ich schneide das mit" am Gesprächsanfang ist eine Information, keine Einwilligung. Wer danach einfach weiterredet, hat nicht zugestimmt, sondern nur nicht widersprochen. Die Reihenfolge, die trägt: informieren, ausdrücklich fragen, ein klares Ja abwarten, es festhalten, und erst danach die Aufnahme starten. Sagt jemand Nein, wird nicht aufgenommen, auch nicht "nur für mich". Das ist in Deutschland nicht bloß eine Datenschutzfrage: Die Aufnahme des nichtöffentlich gesprochenen Wortes ohne Erlaubnis ist nach Paragraf 201 des Strafgesetzbuchs strafbar. In anderen Ländern gelten andere Regeln, prüf also die Deines eigenen. Eine heimliche Aufnahme bleibt heimlich, auch wenn sie nur auf Deiner Festplatte landet.

Tipp: Die saubere Trennung zwischen "verlässt das Haus nicht" und "ist damit erlaubt" steht ausführlich in Lokale KI und die DSGVO. Für den Rahmen darüber, inklusive AI Act, nimm DACH Legal, EU AI Act und DSGVO.

10. Bau es zur Routine, und prüf die zwei Bedingungen

Ein Ablauf, den Du jedes Mal neu zusammensuchst, stirbt nach der zweiten Woche. Leg einen festen Ordner an, in den die Aufnahmen wandern, und eine Schleife, die den Aufruf aus Schritt 5 über alles darin laufen lässt und die Textdateien daneben legt:

for f in ~/transkripte/eingang/*.wav; do
  whisper "$f" --model small --language German \
    --output_format txt --output_dir ~/transkripte/fertig
done

Mehr braucht der Anfang nicht. Das --output_format txt ist dabei kein Beiwerk: ohne diese Angabe schreibt Whisper jedes Transkript in allen Formaten heraus, also gleich fünf Dateien pro Aufnahme. Bei einer anderen Laufzeitumgebung tauschst Du nur den Aufruf in der Mitte.

Und hier kommt der Teil, der über das ganze Versprechen entscheidet. Ein lokal rechnendes Modell heißt nicht, dass die Datei lokal bleibt.

Die erste Bedingung ist der Ordner. Unter Windows sichert OneDrive auf Wunsch Schreibtisch, Dokumente und Bilder, unter macOS legt iCloud Drive Schreibtisch und Dokumente ab. Diese Einstellung ist oft schon aktiv, ohne dass jemand sie bewusst gesetzt hat. Eine Aufnahme, die dort landet, geht bei der nächsten Synchronisierung mit. Leg den Arbeitsordner deshalb ausdrücklich außerhalb der synchronisierten Bereiche an, und sieh in den Einstellungen von OneDrive, iCloud und Dropbox nach, was tatsächlich gesichert wird. Denk dabei auch an das Backup-Programm, das im Hintergrund läuft.

Die zweite Bedingung ist das Programm. Dass eine Oberfläche whisper.cpp im Bauch hat, heißt nicht, dass sie sonst nichts tut. Sie kann Nutzungsdaten senden, nach Aktualisierungen sehen oder für einzelne Funktionen einen Dienst aufrufen. Trenn den Rechner deshalb einmal vom Netz und lass eine Aufnahme durchlaufen. Kommt ein vollständiges Transkript heraus, weißt Du, dass die Transkription selbst ohne Verbindung auskommt. Mehr weißt Du damit nicht: Ein Programm kann eine Übertragung auch aufheben und beim nächsten Verbinden nachholen, dafür sind die Betriebssysteme sogar ausdrücklich gebaut. Wenn die Vertraulichkeit wirklich trägt, sperrst Du das Programm dauerhaft für ausgehende Verbindungen oder hältst den ganzen Ablauf netzgetrennt. Bei Windows heißt das eine ausgehende Blockregel in der Firewall, denn ausgehend ist dort standardmäßig alles erlaubt.

Halt außerdem den Modellnamen an einer einzigen Stelle fest und nicht verstreut. Whisper hat seit dem Start mehrere Fassungen bekommen, zuletzt large-v3 und daraus abgeleitet turbo, und diese Entwicklung läuft weiter. Wer den Namen an fünf Stellen hineinschreibt, wechselt aus Bequemlichkeit nicht mehr.

Tipp: Nimm die Löschfrist gleich mit ins Skript. Aufnahmen, die niemand mehr braucht, sind kein Archiv, sondern ein Risiko, das im Hintergrund wächst.

Was als nächstes

Wenn Du noch gar kein lokales Modell laufen hast, ist Dein erstes lokales KI-Modell in 30 Minuten der Einstieg, und die Lesson Läuft KI auf meinem Rechner erklärt das Prinzip dahinter. Willst Du wissen, ob sich der eigene Rechner gegenüber der Cloud überhaupt rechnet, steht die Rechnung in Lokal oder Cloud, die ehrliche Rechnung. Und wenn das lokale Modell anschließend an Deine eigenen Werkzeuge angeschlossen werden soll, führt MCP mit lokalen Modellen weiter.

Quellen

Modellgrößen, Speicherbedarf und Lizenzangaben stammen aus der offiziellen Whisper-Dokumentation, Stand August 2026. Der Geschwindigkeitsvergleich ist eine Messung des faster-whisper-Projekts für das small-Modell auf einem Core i7-12700K mit acht Threads, er vergleicht volle Genauigkeit mit 8-Bit-Kompression und überträgt sich nicht eins zu eins auf andere Hardware. Prüf die aktuellen Werte an der Quelle.

• Whisper, Modellübersicht und Lizenz: https://github.com/openai/whisper
• Whisper, Lizenztext mit der Bedingung zur Weitergabe: https://github.com/openai/whisper/blob/main/LICENSE
• Whisper, Modellkarte mit Versionshistorie: https://github.com/openai/whisper/blob/main/model-card.md
• whisper.cpp, Implementierung in C/C++: https://github.com/ggml-org/whisper.cpp
• faster-whisper, Geschwindigkeitsvergleich: https://github.com/SYSTRAN/faster-whisper
• CTranslate2, Genauigkeit bei 8-Bit-Kompression: https://github.com/OpenNMT/CTranslate2/blob/master/docs/quantization.md
• Microsoft, Ordnersicherung von Schreibtisch und Dokumenten in OneDrive: https://support.microsoft.com/en-US/onedrive/back-up-your-folders-with-onedrive
• Apple, Schreibtisch und Dokumente in iCloud Drive: https://support.apple.com/de-de/109344
• Paragraf 201 StGB, Verletzung der Vertraulichkeit des Wortes: https://www.gesetze-im-internet.de/stgb/__201.html
• Artikel 9 DSGVO, besondere Kategorien personenbezogener Daten: https://dsgvo-gesetz.de/art-9-dsgvo/
• Artikel 30 DSGVO, Verzeichnis von Verarbeitungstätigkeiten samt Ausnahme: https://dsgvo-gesetz.de/art-30-dsgvo/