Een video-opname van anderhalf uur waarvan het geluid niet te horen was. Met Claude als technische gids is hij in zes stappen opgeknapt: geluid terug, helderder beeld, verstaanbare spraak, en Nederlandse ondertitels die eerst met spraakherkenning zijn gemaakt en daarna met het tekstboek zijn verbeterd.
Elke stap maakte een nieuw bestand naast het vorige, zodat er altijd terug te gaan was. Het grote videobestand bleef op de eigen pc; Claude werkte in een cloudwerkplek en haalde via de koppeling met de pc alleen op wat een stap nodig had.
Een MP4 van 14,1 GB rechtstreeks uit de camera: beeld in 1080p met 24 beelden per seconde, en één geluidsspoor in MP3 dat bij afspelen niet te horen was. Het geluid was opgenomen met de microfoon van de camera, op afstand. Daardoor zitten spraak, muziek en zaalgeluid door elkaar in hetzelfde spoor, en zijn stemmen zacht ten opzichte van de rest.
Geluid is een mengsel van trillingen met verschillende frequenties, gemeten in hertz (Hz): het aantal trillingen per seconde. Lage tonen, zoals een brom of een basgitaar, trillen tientallen keren per seconde; hoge tonen, zoals een 's' of het sissen van ruis, duizenden keren. Een spectrum laat zien hoeveel energie er in elk stukje van dat bereik zit.
Om te zien waar de stem zit en waar de ruis, is een testfragment van twee minuten dialoog gemeten op twee soorten momenten: terwijl er gesproken wordt, en in de pauzes ertussen. Wat in de pauzes overblijft, is het achtergrondgeluid.
Eerst met ffprobe gekeken wat er in het bestand zit: welke sporen, welke codec, hoe lang, en of het geluidsspoor wel signaal bevat. Daarna is het spoor met FFmpeg hersteld en opnieuw bij het beeld gezet, zonder het beeld zelf aan te raken. Een kruiscorrelatie tussen oud en nieuw geluid liet zien dat beeld en geluid op de milliseconde gelijk lopen.
Belichting en scherpte zijn bijgewerkt met de klassieke filters van FFmpeg en opnieuw gecodeerd met x264. Bewust geen generatieve AI: die verzint details, en gezichten moeten precies blijven zoals ze zijn. Na het coderen is elk beeld vergeleken met het origineel (PSNR) om te controleren dat er geen beeld is weggevallen of verschoven.
Op een testfragment van twee minuten zijn eerst drie varianten naast elkaar gezet, om te luisteren voordat de hele video werd bewerkt: een spraakfilter (equalizer), de spraakfilter met een AI-ruisfilter, en een volledige AI-keten. Daarna kwam er een sterkere versie van de spraakfilter bij, en daarop viel de keuze. Daarna maken dynamische normalisatie (dynaudnorm) zachte en harde stukken gelijkmatiger, en een limiter voorkomt vervorming.
Een equalizer verandert de balans tussen hoog en laag, niet de verhouding tussen stem en ruis binnen dezelfde toonhoogte. De AI-ruisfilter haalde wel 15 tot 20 dB meer ruis weg, zoals de grafiek hieronder laat zien, maar na luisteren viel de keuze toch op de sterkere spraakfilter.
Een stemdetector (Silero VAD) knipt het geluid in stukken waar gesproken wordt. Elk stuk gaat door Whisper large-v3, met Whisper turbo als tweede mening, via sherpa-onnx op de processor van de cloudwerkplek. De ruwe tekst krijgt daarna een opruimronde: herhalingen en verzonnen zinnen eruit, regels van hoogstens 42 tekens, twee regels per ondertitel, en genoeg tijd om te lezen.
Het tekstboek (een Word-bestand) is ingelezen en per regel naast de herkende tekst gelegd met een uitlijning die de volgorde vasthoudt. De regel daarbij: wat te horen is, gaat voor. Alleen waar de herkenning onzin of een halve zin gaf, kwam de tekst uit het boek. Van 416 vergeleken stukken bleven er 54 gelijk, kregen 46 een kleine correctie, kwamen 234 grotendeels uit het boek en vielen 82 af omdat er geen spraak was. Gezongen regels die de herkenning miste, zijn uit het boek op de zangstukken gezet.
Elke ondertitel is opnieuw naast het geluid gelegd. Vier spraakherkenners kijken mee: Whisper large-v3 en turbo, NVIDIA Parakeet met woordtijden, en Meta Omnilingual. Die laatste levert per vijftigste seconde de kans op elke letter, zodat de ondertiteltekst letter voor letter op het geluid gelegd kan worden (forced alignment). Voor gezongen stukken is de zang met UVR-MDX van de muziek gescheiden en zijn de regels op de frasering van het zangspoor gezet. Het tekstboek is nog een keer regel voor regel naast de ondertitels gelegd om ontbrekende stukken te vinden.
Hoe ver begon een ondertitel naast de gesproken zin, vóór en na de controle? Gemeten op 115 zinnen die de spraakherkenning goed verstond. Omdat diezelfde herkenner ook bij het timen hielp, is dit een indicatie en geen onafhankelijke toets.
| Ronde | Ondertitels | Wat erbij kwam |
|---|---|---|
| Spraakherkenning | 696 | Een eerste versie, met fouten waar het geluid slecht was |
| Tekstboek | 913 | Onduidelijke stukken uit het boek, 210 regels toegevoegd |
| Controle | 1.063 | 142 regels toegevoegd, 66 verbeterd, zo'n 370 opnieuw getimed |
Wat de tools en technieken uit de stappen hierboven doen, kort uitgelegd. Alles behalve Claude is open source en draaide in de cloudwerkplek of op de eigen pc, zonder betaalde diensten.