scher.nl
Persoonlijk project · november 2026

Videoreparatie met Claude

Een video-opname van anderhalf uur waarvan het geluid niet te horen was. Met Claude als technische gids is hij in zes stappen opgeknapt: geluid terug, helderder beeld, verstaanbare spraak, en Nederlandse ondertitels die eerst met spraakherkenning zijn gemaakt en daarna met het tekstboek zijn verbeterd.

Lengte
1:32:42
Ondertitels
1.063
Op tijd (± 0,5 s)
96%
Bestand
14,1 → 4,9 GB
In één beeld

Zes stappen, elk op de vorige

Elke stap maakte een nieuw bestand naast het vorige, zodat er altijd terug te gaan was. Het grote videobestand bleef op de eigen pc; Claude werkte in een cloudwerkplek en haalde via de koppeling met de pc alleen op wat een stap nodig had.

Origineel 14,1 GBGeluidBeeldSpraakOndertitelsTekstboekControleVideo + .srt
Uitgangspunt

Het bestand

Een MP4 van 14,1 GB rechtstreeks uit de camera: beeld in 1080p met 24 beelden per seconde, en één geluidsspoor in MP3 dat bij afspelen niet te horen was. Het geluid was opgenomen met de microfoon van de camera, op afstand. Daardoor zitten spraak, muziek en zaalgeluid door elkaar in hetzelfde spoor, en zijn stemmen zacht ten opzichte van de rest.

Achtergrond

Geluid in hoge en lage tonen

Geluid is een mengsel van trillingen met verschillende frequenties, gemeten in hertz (Hz): het aantal trillingen per seconde. Lage tonen, zoals een brom of een basgitaar, trillen tientallen keren per seconde; hoge tonen, zoals een 's' of het sissen van ruis, duizenden keren. Een spectrum laat zien hoeveel energie er in elk stukje van dat bereik zit.

Om te zien waar de stem zit en waar de ruis, is een testfragment van twee minuten dialoog gemeten op twee soorten momenten: terwijl er gesproken wordt, en in de pauzes ertussen. Wat in de pauzes overblijft, is het achtergrondgeluid.

Spectrum van spraak en van achtergrondgeluid in het testfragment Lijngrafiek per derde octaaf van 50 hertz tot 16 kilohertz. Onder 150 hertz zijn spraak en pauzes even luid: daar zit alleen gerommel. Tussen 250 en 650 hertz zit de meeste stemenergie, ongeveer 12 tot 17 decibel boven het achtergrondgeluid. Tussen 2 en 5 kilohertz, waar de medeklinkers zitten, is de stem 12 tot 17 decibel zwakker dan bij de klinkers. Boven 10 kilohertz zit vooral ruis. gerommel klinkers medeklinkers sis en ruis 0 -10 -20 -30 -40 -50 50 100 250 500 1k 2k 5k 10k Hz dB tijdens spraak in de pauzes (achtergrond)
Gedaan

Stap voor stap

  1. 1

    Geluid terughalen

    ClaudeFFmpeg

    Eerst met ffprobe gekeken wat er in het bestand zit: welke sporen, welke codec, hoe lang, en of het geluidsspoor wel signaal bevat. Daarna is het spoor met FFmpeg hersteld en opnieuw bij het beeld gezet, zonder het beeld zelf aan te raken. Een kruiscorrelatie tussen oud en nieuw geluid liet zien dat beeld en geluid op de milliseconde gelijk lopen.

    VoorheenBeeld zonder hoorbaar geluid
    DaarnaGeluid hoorbaar, beeld onaangeroerd
    ffprobeffmpegkruiscorrelatie
  2. 2

    Beeld verbeteren zonder generatieve AI

    ClaudeFFmpeg

    Belichting en scherpte zijn bijgewerkt met de klassieke filters van FFmpeg en opnieuw gecodeerd met x264. Bewust geen generatieve AI: die verzint details, en gezichten moeten precies blijven zoals ze zijn. Na het coderen is elk beeld vergeleken met het origineel (PSNR) om te controleren dat er geen beeld is weggevallen of verschoven.

    Voorheen14,1 GB, zoals de camera het maakte
    Daarna4,9 GB, lichter en scherper, beeld voor beeld gelijk
    FFmpeg-filterslibx264PSNR
  3. 3

    Spraak verstaanbaar maken

    ClaudeFFmpeg

    Op een testfragment van twee minuten zijn eerst drie varianten naast elkaar gezet, om te luisteren voordat de hele video werd bewerkt: een spraakfilter (equalizer), de spraakfilter met een AI-ruisfilter, en een volledige AI-keten. Daarna kwam er een sterkere versie van de spraakfilter bij, en daarop viel de keuze. Daarna maken dynamische normalisatie (dynaudnorm) zachte en harde stukken gelijkmatiger, en een limiter voorkomt vervorming.

    Wat de spraakfilter per frequentie deed Lijngrafiek van de versterking per derde octaaf, gemeten als verschil met het origineel bij gelijke totale luidheid. De sterkere spraakfilter verlaagt alles onder 150 hertz met 5 tot 31 decibel, laat 300 tot 1000 hertz bijna gelijk, en versterkt 2 tot 5 kilohertz met 8 tot 11 decibel. 15 5 -5 -15 -25 -35 50 100 250 500 1k 2k 5k 10k Hz dB harder zachter spraakfilter sterkere spraakfilter (gekozen)

    Een equalizer verandert de balans tussen hoog en laag, niet de verhouding tussen stem en ruis binnen dezelfde toonhoogte. De AI-ruisfilter haalde wel 15 tot 20 dB meer ruis weg, zoals de grafiek hieronder laat zien, maar na luisteren viel de keuze toch op de sterkere spraakfilter.

    Afstand tussen stem en achtergrond per frequentie, voor drie varianten Lijngrafiek van het verschil in decibel tussen spraakmomenten en pauzes. Het origineel en de spraakfilter liggen vrijwel op elkaar, rond 10 tot 17 decibel tussen 250 hertz en 8 kilohertz. Met de AI-ruisfilter is de afstand 25 tot 35 decibel. 40 30 20 10 0 50 100 250 500 1k 2k 5k 10k Hz dB origineel sterkere spraakfilter spraakfilter + AI-ruisfilter
    VoorheenStemmen klein en dof onder muziek en zaal
    DaarnaGerommel eruit, medeklinkers 8 tot 11 dB naar voren
    equalizerdynaudnormalimiter
  4. 4

    Ondertitels met spraakherkenning

    ClaudeWhisper

    Een stemdetector (Silero VAD) knipt het geluid in stukken waar gesproken wordt. Elk stuk gaat door Whisper large-v3, met Whisper turbo als tweede mening, via sherpa-onnx op de processor van de cloudwerkplek. De ruwe tekst krijgt daarna een opruimronde: herhalingen en verzonnen zinnen eruit, regels van hoogstens 42 tekens, twee regels per ondertitel, en genoeg tijd om te lezen.

    VoorheenGeen ondertitels
    Daarna696 ondertitels, met fouten waar het geluid slecht is
    Silero VADsherpa-onnxWhisper large-v3Whisper turbo
  5. 5

    Verbeteren met het tekstboek

    ClaudeRapidFuzz

    Het tekstboek (een Word-bestand) is ingelezen en per regel naast de herkende tekst gelegd met een uitlijning die de volgorde vasthoudt. De regel daarbij: wat te horen is, gaat voor. Alleen waar de herkenning onzin of een halve zin gaf, kwam de tekst uit het boek. Van 416 vergeleken stukken bleven er 54 gelijk, kregen 46 een kleine correctie, kwamen 234 grotendeels uit het boek en vielen 82 af omdat er geen spraak was. Gezongen regels die de herkenning miste, zijn uit het boek op de zangstukken gezet.

    Voorheen696 ondertitels uit spraakherkenning
    Daarna913 ondertitels, 210 regels toegevoegd
    docxRapidFuzzDP-uitlijning
  6. 6

    Volledige controle op tekst en timing

    ClaudeForced alignment

    Elke ondertitel is opnieuw naast het geluid gelegd. Vier spraakherkenners kijken mee: Whisper large-v3 en turbo, NVIDIA Parakeet met woordtijden, en Meta Omnilingual. Die laatste levert per vijftigste seconde de kans op elke letter, zodat de ondertiteltekst letter voor letter op het geluid gelegd kan worden (forced alignment). Voor gezongen stukken is de zang met UVR-MDX van de muziek gescheiden en zijn de regels op de frasering van het zangspoor gezet. Het tekstboek is nog een keer regel voor regel naast de ondertitels gelegd om ontbrekende stukken te vinden.

    Voorheen60% binnen 0,5 s van de spraak
    Daarna96% binnen 0,5 s; 142 regels erbij, 66 verbeterd
    NVIDIA ParakeetMeta OmnilingualUVR-MDX-Net
Resultaat

Ondertitels die gelijk lopen

Hoe ver begon een ondertitel naast de gesproken zin, vóór en na de controle? Gemeten op 115 zinnen die de spraakherkenning goed verstond. Omdat diezelfde herkenner ook bij het timen hielp, is dit een indicatie en geen onafhankelijke toets.

Afwijking van het begin van de ondertitel, vóór en na de controle Staafdiagram met 115 zinnen. Vóór de controle: 37 binnen 0,25 seconde, 32 tussen 0,25 en 0,5, 23 tussen 0,5 en 1, 17 tussen 1 en 2 en 6 meer dan 2 seconden ernaast. Na de controle: 105, 5, 5, 0 en 0. vóór na < 0,25 s 37 105 0,25–0,5 s 32 5 0,5–1 s 23 5 1–2 s 17 0 > 2 s 6 0

Ondertitels in drie rondes

RondeOndertitelsWat erbij kwam
Spraakherkenning696Een eerste versie, met fouten waar het geluid slecht was
Tekstboek913Onduidelijke stukken uit het boek, 210 regels toegevoegd
Controle1.063142 regels toegevoegd, 66 verbeterd, zo'n 370 opnieuw getimed
Gereedschap

Gereedschap en begrippen uitgelegd

Wat de tools en technieken uit de stappen hierboven doen, kort uitgelegd. Alles behalve Claude is open source en draaide in de cloudwerkplek of op de eigen pc, zonder betaalde diensten.

Video

  • FFmpeg en ffprobe. Open-source gereedschap voor de opdrachtregel dat vrijwel elk audio- en videoformaat kan lezen, bewerken en wegschrijven. ffprobe is het meetinstrument ervan: het laat zien welke sporen er in een bestand zitten, met welke codec, hoe lang en in welke kwaliteit. Alle bewerkingen aan beeld en geluid in de eindvideo zijn FFmpeg-filters.
  • H.264 en x264. H.264 is de meest gebruikte standaard om video te comprimeren: in plaats van elk beeld volledig op te slaan, bewaart hij vooral wat er verandert ten opzichte van de beelden ernaast. x264 is de open-source encoder die dat doet. Bij het opnieuw coderen werd het bestand ongeveer een derde van het origineel.
  • PSNR. Peak Signal-to-Noise Ratio: een maat in decibel voor hoeveel een beeld afwijkt van een referentiebeeld. Hoe hoger, hoe gelijker; twee identieke beelden geven een oneindige waarde. Door elk nieuw beeld te vergelijken met het beeld op dezelfde plek in het origineel, valt een verschoven of ontbrekend beeld meteen op: de PSNR zakt dan sterk.

Geluid

  • Decibel en hertz. Hertz (Hz) is het aantal trillingen per seconde, dus de toonhoogte; 1 kHz is 1000 Hz. Decibel (dB) is een logaritmische maat voor sterkte: +6 dB is twee keer zo veel uitslag, en +10 dB klinkt ongeveer twee keer zo hard. De grafieken delen het bereik op in derde octaven: een octaaf is een verdubbeling van de frequentie, en elk vakje is een derde daarvan.
  • Equalizer. Een filter dat per frequentiegebied harder of zachter zet, zoals de bas- en hoogregeling van een stereo maar dan veel fijner. Hier: het gerommel onder 150 Hz weg, de klinkers ongeveer gelijk, de medeklinkers rond 2 tot 5 kHz naar voren.
  • Dynamische normalisatie (dynaudnorm). Een FFmpeg-filter dat het volume per kort tijdvak bijstelt: zachte stukken gaan omhoog, harde stukken omlaag. Zo hoef je niet steeds aan de volumeknop te draaien tussen een fluisterende stem en een luid nummer.
  • Limiter (alimiter). De laatste stap in de geluidsketen: hij drukt pieken onder een vast plafond, zodat het versterkte geluid nergens boven het maximum uitkomt en gaat kraken.
  • Kruiscorrelatie. Een rekenmethode die twee geluidssignalen stap voor stap over elkaar schuift en kijkt bij welke verschuiving ze het best overeenkomen. Die verschuiving is de vertraging tussen beide, tot op de milliseconde. Zo is gecontroleerd dat het nieuwe geluid precies gelijk loopt met het beeld.
  • AI-ruisfilter (DeepFilterNet). Een neuraal netwerk dat per frequentie en per moment inschat hoeveel van het geluid stem is en hoeveel ruis, en de ruis wegdrukt. Het haalt veel meer weg dan een equalizer, maar kan een stem ook iets onnatuurlijk laten klinken. Het is getest, maar niet gekozen.
  • UVR-MDX-Net. Een neuraal netwerk uit Ultimate Vocal Remover dat een mix splitst in zang en begeleiding. Het werkt op het spectrogram, een plaatje van het geluid in tijd en frequentie, en schat per punt hoeveel daarvan bij de stem hoort.

Spraak naar tekst

  • Silero VAD. Voice Activity Detection: een klein neuraal netwerk van een paar megabyte dat voor elk stukje geluid van ongeveer 30 milliseconden de kans geeft dat er iemand spreekt. Daarmee is het geluid geknipt in stukken met spraak, zodat de spraakherkenning geen tijd verspilt aan muziek en stilte en daar ook niets bij kan verzinnen.
  • Whisper large-v3 en turbo. Spraakherkenning van OpenAI, getraind op miljoenen uren audio in bijna honderd talen. Een encoder zet steeds 30 seconden geluid om in een reeks kenmerken, een decoder schrijft daar de tekst bij. Large-v3 is de nauwkeurigste versie, met ruim 1,5 miljard parameters; turbo heeft een veel kleinere decoder en is daardoor een paar keer sneller, iets minder precies. Bekende zwakte: bij muziek of stilte gaat Whisper soms herhalen of zinnen verzinnen.
  • sherpa-onnx en ONNX. ONNX is een open formaat om een getraind neuraal netwerk op te slaan, los van het programma waarin het gemaakt is. sherpa-onnx is een open-source bibliotheek die spraakmodellen in dat formaat draait, ook zonder grafische kaart. De modellen zijn gebruikt in int8-versie: de getallen in het model zijn afgerond naar 8 bits, wat ze kleiner en sneller maakt.
  • NVIDIA Parakeet. Een spraakherkenner van NVIDIA met 600 miljoen parameters, voor 25 Europese talen waaronder Nederlands. Hij voorspelt bij elk woordstukje ook hoe lang het duurt, en geeft zo per woord een begin- en eindtijd. Daarom was hij de tweede meetlat voor de timing.
  • Meta Omnilingual en CTC. Een spraakherkenner van Meta voor meer dan 1600 talen. De gebruikte versie werkt met CTC (Connectionist Temporal Classification): voor elke vijftigste seconde geeft het model de kans op elke letter, plus de kans op 'geen nieuwe letter'. Precies die letterkansen maken forced alignment mogelijk.

Tekst en timing

  • Forced alignment. Bij gewone spraakherkenning is de tekst onbekend. Bij forced alignment is de tekst al bekend, namelijk de ondertitel, en wordt alleen gezocht wanneer elke letter klinkt. Een algoritme (Viterbi) zoekt door de letterkansen van Omnilingual het meest waarschijnlijke pad dat de letters in de goede volgorde afloopt. Tussen ondertitels mag het pad vrij pauzeren, zodat stiltes en muziek niets verschuiven.
  • RapidFuzz en Levenshtein-afstand. De Levenshtein-afstand telt hoeveel letters je moet toevoegen, weghalen of vervangen om het ene woord in het andere te veranderen. RapidFuzz rekent dat heel snel uit. Zo herkent het script dat 'musiek' en 'muziek' bijna hetzelfde zijn, en kan het tekstboek naast herkende tekst met fouten gelegd worden.
  • Uitlijning met dynamisch programmeren. Een methode om twee reeksen, zoals de regels uit het tekstboek en de herkende zinnen, zo op elkaar te leggen dat de volgorde klopt en de totale overeenkomst zo groot mogelijk is. Regels die in de opname zijn overgeslagen of erbij verzonnen, worden daarbij als gat herkend in plaats van alles daarna te verschuiven.
  • SRT. Het eenvoudigste ondertitelformaat: een tekstbestand met per ondertitel een volgnummer, een begin- en eindtijd tot op de milliseconde, en een of twee regels tekst. Vrijwel elke videospeler en tv leest het naast het videobestand in.

Werkwijze

  • Claude (Cowork). Claude werkte in een eigen cloudwerkplek met de koppeling naar de map op de pc. Daar zijn het plan, alle scripts, de metingen en de controles gemaakt, en zijn de afwegingen voorgelegd: welke variant, welke regels, wat bij twijfel. De zware stappen draaiden in de cloud, het resultaat kwam terug in de map op de pc.
Spelregels

Wat vooraf vaststond

Geleerd

Wat lastig bleek