Machine learning, neurale netwerken, AI, het heeft mijn interesse als informaticus. Dit vakgebied groeit snel. We maken er al gebruik van, vaak zonder dat we het weten. In het oog springende toepassingen omvatten het detecteren van kankercellen op foto’s en zelf rijdende auto’s van bijvoorbeeld Tesla. Ik vind het altijd leuk om te bekijken wat een nieuwe technologie kan betekenen binnen bepaalde sectoren, zoals de archiefsector.
In december 2015 schreef ik in Alternatieven voor toegankelijk maken van beeldmateriaal dat machine learning ingezet zou kunnen worden om beeldmateriaal beter toegankelijk te maken. Machine learning maakt het mogelijk dat objecten op foto’s herkend kunnen worden, deze steekwoorden kun je gebruiken in de zoekfunctie van je beeldbank.
Hergebruik van modellen
Een andere toepassing van machine learning die nuttig, of in ieder geval leuk, is, is het automatisch inkleuren van zwart-wit foto’s.
De zwart-wit foto van mijn oma en haar zus is met behulp van machine learning omgezet tot een kleuren foto. Het gebruikte model is gebaseerd op werk beschreven in Colorful Image Colorization van Richard Zhang, Phillip Isola, Alexei A. Efros (University of California, Berkeley):
Given a grayscale photograph as input, this paper attacks the problem of hallucinating a plausible color version of the photograph. This problem is clearly underconstrained, so previous approaches have either relied on significant user interaction or resulted in desaturated colorizations. We propose a fully automatic approach that produces vibrant and realistic colorizations. We embrace the underlying uncertainty of the problem by posing it as a classification task and use class-rebalancing at training time to increase the diversity of colors in the result. The system is implemented as a feed-forward pass in a CNN at test time and is trained on over a million color images. We evaluate our algorithm using a “colorization Turing test,” asking human participants to choose between a generated and ground truth color image. Our method successfully fools humans on 32% of the trials, significantly higher than previous methods. Moreover, we show that colorization can be a powerful pretext task for self-supervised feature learning, acting as a cross-channel encoder. This approach results in state-of-the-art performance on several feature learning benchmarks.
Deze onderzoekers gebruikte hiervoor Caffe, een door Berkeley AI Research (BAIR) ontwikkeld deep learning framework en trainde een convolutional neural network (CNN) met behulp van zo’n 4,5 miljoen afbeeldingen van ImageNet. Dergelijke getrainde modellen worden gedeeld (zie bijvoorbeeld de modellen van Richard Zhang op Github) en kunnen dus hergebruikt worden door anderen. Hierdoor kunnen anderen, met de juiste kennis, veel input materiaal en veel GPU capaciteit, het model verbeteren (het beschreven model overtuigde mensen maar in 32% van de gevallen). Maar ook kunnen anderen de getrainde modellen gebruiken in een service voor eindgebruikers.
Dit laatste heb ik gedaan (het eerste, dus verder trainen van het model, zou ik graag met andere partners/archieven doen).
Inkleuren als een service
Via Genealogie Online bied ik nu de Inkleuren van zwart-wit foto’s service (zie ook de niet-technische aankondiging hiervan via Inkleuren van zwart-wit foto’s). Om gebruik te maken moet je (gratis registreren en) inloggen, dit is gedaan om het CPU-intensieve proces op mijn servers in de perken te houden. De resultaten van het automatisch inkleuren zijn wisselend. Personen en landschappen wordt vaak redelijk herkend en ingekleurd (wel vaak in een “jaren 70” stijl). Met sommige, vaak wat donkere foto’s, kan het algoritme niets mee, ook het aanbieden van kleuren foto’s geeft soms aparte resultaten. Het huidige algoritme is indrukwekkend maar kan nog niet opboksen tegen de resultaten van het handmatig inkleuren, maar dat is een expertise die niet voor iedereen is weggelegd.
Handschriftherkenning binnen handbereik
Machine learning kan ook ingezet worden om handgeschreven teksten te lezen. Een zeer uitdagende taak, dat zou het doorzoekbaar maken van de vele gedigitaliseerde akten bij archieven (die niet zijn geïndexeerd / nader toegankelijk gemaakt) mogelijk kunnen maken. Er zijn al stapjes gezet met Monk (samenwerking Universiteit Groningen en Nationaal Archief) en het Stadsarchief Amsterdam heeft onlangs een bijdrage van het Mondriaan fonds gekregen voor het project Crowd leert computer lezen. Gezien de ontwikkelingen op machine learning gebied denk ik dat het binnen een paar jaar mogelijk om zijn handgeschreven teksten te doorzoeken.
