In de jaren '90 vond ingenieur Eric Fossum van het Jet Propulsion Laboratory uit wat NASA's meest alomtegenwoordige spinoff zou worden: digitale beeldsensoren gebaseerd op complementaire metaaloxide halfgeleiders (CMOS). Deze waren aanzienlijk kleiner en efficiënter dan de beeldsensoren met ladinggekoppelde componenten uit die tijd en maakten uiteindelijk kleine, batterijvriendelijke mobiele telefooncamera's, high-definition videocamera's, zoals die worden aangeboden door onder andere GoPro, de sociale media zoals we die vandaag de dag kennen mogelijk. Verwacht wordt dat in 2024 de CMOS-markt goed is voor 22,8 miljard dollar.
NASA technologie
"Mensen zeiden tegen me: 'Je bent een idioot om hieraan te werken'", herinnert Eric Fossum zich over zijn vroege experimenten met wat op dat moment een alternatieve vorm van digitale beeldsensor was bij NASA's Jet Propulsion Laboratory (JPL). Zijn uitvinding van de complementaire metaaloxide halfgeleider (Complementary Metal Oxide Semiconductor - CMOS) beeldsensor zou uitgroeien tot de meest alomtegenwoordige spin-off technologie van de ruimtevaartorganisatie, die de digitale beeldverwerkingsindustrie domineerde en camera's voor mobiele telefoons, high-definition video en sociale media zoals wij die kennen mogelijk maakte.
Al sinds de jaren zestig werd geprobeerd om beeldvormende apparaten op basis van metaaloxidehalfgeleiders te maken, maar niemand was er ooit in geslaagd om de technologie op de markt te brengen. De kleine signaalversterkers werden al lang gebruikt in computerschakelingen, maar beeldvormers die CMOS als sensoren gebruikten, hadden onder andere last van signaalruis. Dankzij een andere beeldtechnologie, waarbij sensoren op basis van de charge coupled device (CCD) werden gebruikt, kon aan het eind van de jaren 1980 digitale fotografie van hoge kwaliteit op de markt komen. Deze beeldsensoren bestaan uit een reeks fotodetecterende pixels die ladingen verzamelen wanneer ze worden blootgesteld aan licht en deze ladingen van pixel tot pixel overbrengen naar de hoek van de reeks, waar ze worden versterkt en gemeten.
Hoewel CCD-sensoren beelden van wetenschappelijke kwaliteit kunnen produceren, vereisen ze veel stroom en een extreem hoge efficiëntie bij de overdracht van ladingen. Deze problemen worden nog verergerd wanneer het aantal pixels wordt verhoogd voor een hogere resolutie of wanneer de videoframesnelheid wordt verhoogd. Fossum was een expert in CCD-technologie - daarom nam JPL hem in 1990 in dienst - maar hij geloofde dat hij digitale beelden kon maken met kleinere en lichtere machines door CMOS-technologie te gebruiken voor wat hij actieve pixel sensoren (APS) noemde (Spinoff 1999, 2002, 2010).
De CMOS-technologie in het algemeen was verbeterd sinds eerdere pogingen om deze te gebruiken voor beeldsensoren en Fossum kwam op het spoor van een aanpak om de signaalruis te verminderen die eerdere beeldsensoren had geteisterd door een techniek toe te passen die intra-pixel laadoverdracht met gecorreleerde dubbele bemonstering werd genoemd - iets wat al werd gebruikt in CCD's. Met deze techniek mat hij de waarde van een pixel op een bepaald moment. Met deze techniek mat hij het voltage van een pixel zowel voor als na een belichting. "Het is net als wanneer je naar de delicatessenwinkel gaat en ze wegen de container en vervolgens wegen ze hem weer met het voedsel," legt hij uit. De bemonstering corrigeerde voor de lichte thermische ladingen en transistorschommelingen die latent aanwezig zijn in de uitlezing van fotodetectoren, en het resulteerde in een duidelijker beeld.
Omdat CMOS-pixels zelf signaalversterkers zijn, kunnen ze elk hun eigen signalen uitlezen in plaats van alle ladingen naar één versterker te sturen. Dit verlaagde de spanningsvereisten en elimineerde problemen met de efficiëntie van de ladingsoverdracht. En het had als bijkomend voordeel dat bijna alle andere camera-elektronica op de computerchip kon worden geïntegreerd met de pixelarray via conventionele CMOS-productieprocessen, een ontwikkeling die CMOS-APS-imagers compacter, betrouwbaarder en goedkoper zou maken. Het idee van digitale fotografie werd in de jaren 1960 bij JPL bedacht door ingenieur Eugene Lally. Nu deelde het concept van een digitale camera op een chip dezelfde geboorteplaats.
Overdracht van technologie
In 1993 wisten Fossum en zijn team dat ze iets op het spoor waren dat van groot belang zou kunnen zijn voor zowel NASA-missies als consumentenelektronica, maar toen ze met hun bevindingen op pad gingen, lezingen gaven en artikelen publiceerden, stuitten ze op weerstand van de digitale beeldverwerkingsindustrie en zelfs van collega's bij JPL. Fossum schrijft dit scepticisme toe aan eerdere mislukkingen bij CMOS-beeldvorming en aan het instinct van mensen om hun eigen broodwinning te beschermen.
"Zelfs veel van mijn vrienden waren negatief," zegt hij. "De technologie probeerde eigenlijk hun lunch op te eten." Ondanks de vroege twijfels over het potentieel van CMOS tekenden verschillende bedrijven technologische samenwerkingsovereenkomsten met JPL en gingen ze met Fossum en zijn collega's samenwerken om de technologie te ontwikkelen.
In 1995 werd Fossum de eerste JPL-wetenschapper die een licentie nam op zijn eigen uitvinding van het California Institute of Technology (Caltech), dat het lab beheert, toen hij, zijn toenmalige vrouw en JPL-collega Sabrina Kemeny en twee andere JPL-medewerkers een bedrijf oprichtten, Photobit, om aangepaste sensoren te ontwikkelen. Het Technology Transfer Office van Caltech werd dat jaar opgericht en het kantoor verleende Photobit een exclusieve licentie. "Het was een soort doorbraak die liet zien dat we ook vanuit JPL aan technologieoverdracht konden doen, niet alleen vanuit Caltech", zegt Fred Farina, hoofd innovatie en samenwerkingsverbanden van de universiteit. "Het was dus de pionier op het gebied van spin-offs vanuit JPL."
Het jaar daarop verliet Fossum JPL om fulltime technologisch leider van het bedrijf te worden. Naast het ontwerpen van aangepaste sensoren, gaf Photobit licenties voor technologie aan bedrijven zoals Kodak en Intel, hoewel de meeste van die vroege licenties niet leidden tot productlijnen. Tegen 1997 werd CMOS echter serieus genomen en investeerden verschillende bedrijven in Photobit, waaronder Schick Technologies, dat ook een exclusieve licentie verkreeg, en nog steeds bezit, voor CMOS voor tandheelkundige beeldvorming (Ga naar). Datzelfde jaar rondde Sandor Barna, nu vicepresident van kerntechnologieën bij GoPro, zijn diploma af en nam hij een baan aan als ingenieur bij Photobit. "Het was een geweldig voorbeeld van een echt baanbrekende technologie", zegt hij, waarbij hij opmerkt dat CMOS nog niet zo goed presteerde als CCD-beeldvormers, maar dat het potentieel om te verbeteren duidelijk was. Bovendien beloofde CMOS eenvoudiger te gebruiken te zijn, met veel minder stroomverbruik en goedkoper te produceren, zegt hij.
Hoewel Photobit een exclusieve licentie had voor de technologie die was ontwikkeld bij JPL en meer dan 100 eigen patenten had aangevraagd, was de leiding van het bedrijf bezorgd dat het moeilijk zou worden om zijn intellectuele eigendom te verdedigen toen verschillende elektronicagiganten hun eigen CMOS-beeldvormers begonnen te ontwikkelen. Vooruitlopend op zware concurrentie verkochten de oprichters Photobit in 2001 aan Micron Technology, dat meer middelen en productiecapaciteit kon inzetten. Tegen die tijd had het bedrijf, en dochteronderneming Photobit Technology Corporation, opgericht om contracten voor aangepaste ontwerpen af te handelen - een gezond bedrijf opgebouwd en was de overname van de beeldverwerkingsindustrie door CMOS begonnen.
Voordelen
Voordat Photobit werd verkocht, hadden de sensoren hun weg gevonden naar webcams van Logitech en Intel, maar ook naar inwendige "pilcamera's" die nog steeds worden aangeboden door Given Imaging als een niet-invasieve endoscopietechniek. "Ik heb daar een goed gevoel over", zegt Fossum over de zogenaamde PillCam. "Het wordt nog steeds gebruikt. Het is een enorme industrie geworden."
Digitale spiegelreflexcamera's, beter bekend als DSLR's, waren ook vroege gebruikers van CMOS-technologie, die snelle opnames met een hoge resolutie mogelijk maakte. Maar de kleine, energiezuinige camera's die dankzij CMOS-technologie mogelijk zijn, werden verreweg het meest gebruikt in mobiele telefoons. "Mobiele telefoons werden de 'killer application'," zegt Fossum. "Batterijduur en cameragrootte zijn erg belangrijk op een mobiele telefoon."
Terwijl die industrie Micron en anderen ertoe aanzette om elk jaar meer en meer CMOS-imagers te produceren, dreven de daaruit voortvloeiende verbeteringen aan de technologie en de productie ervan de kosten omlaag en de kwaliteit omhoog tot CCD-gebaseerde apparaten niet meer konden concurreren, zelfs als grootte en vermogen geen prioriteiten waren. Nu gebruiken, buiten een paar nichemarkten, vrijwel alle digitale foto- en videocamera's Fossums uitvinding.
Toen Photobit werd verkocht, gingen de oorspronkelijke patenten terug naar Caltech, dat nog steeds de intellectuele eigendomsrechten bezit die nog niet zijn verlopen, en 's werelds grootste leveranciers van beeldsensoren, zoals Sony en Samsung, nemen licenties op de technologie. Ondertussen heeft Micron zijn beeldsensoren afgesplitst in het bedrijf Aptina, dat ON Semiconductor in 2014 kocht voor ongeveer 400 miljoen dollar. Fossum zegt dat hij blij was dat CMOS de Verenigde Staten in staat stelde om een deel van de beeldverwerkingsmarkt te heroveren, hoe kort ook, voordat een groot deel weer verloren ging aan Japan, Zuid-Korea en China. "Micron, GoPro, Omnivision en vele anderen hebben tienduizenden, zo niet honderdduizenden banen gecreëerd in de Verenigde Staten dankzij deze technologie," zegt hij.
Het hoofdkantoor van GoPro is nog steeds gevestigd in San Mateo, Californië, en de meeste van zijn ongeveer 1500 werknemers, waaronder Barna, werken in de Verenigde Staten. Barna zegt dat de video-industrie overstapte op CMOS-camera's met de komst van high-definition video. Om video op te nemen met zoveel pixels op een CCD-camera zou veel meer stroom nodig zijn, waardoor batterijen leeg zouden raken en de machine snel oververhit zou raken, zegt hij. "Je zou alleen hele korte opnames kunnen maken en het zou helemaal niet dezelfde ervaring zijn."
CMOS-sensoren zorgen er ook voor dat zowel het apparaat als de batterij kleiner zijn, en het kleine formaat is een van de sterkste verkoopargumenten van GoPro-camera's. De apparaten van het bedrijf zijn ontworpen om te worden gemonteerd, meestal op het lichaam, om actiescènes vast te leggen in video of stilstaande beelden, sommige met wel 240 beelden per seconde. "Het zou erg onplezierig zijn om een camera van twee of vier kilo op je hoofd te zetten," zegt Barna.
In 2013 werden er meer dan een miljard CMOS-beeldsensoren per jaar geproduceerd en in 2015 bereikte de markt van de technologie, die ook toepassingen in de auto-, bewakings- en medische industrie omvat, bijna 10 miljard dollar. Voor Caltech zijn de financiële opbrengsten van de licenties, waarmee onderzoek en onderwijs worden gefinancierd, slechts een deel van de voordelen van het succesverhaal van CMOS, zegt Farina. "Dit helpt om andere onderzoekers bij Caltech en JPL te motiveren, en voor de hele cultuur van ondernemerschap is het echt krachtig om goede verhalen te hebben."
Hij merkt op dat mobiele telefooncamera's, die waarschijnlijk niet mogelijk zouden zijn zonder CMOS-beeldvorming, ook een enorme culturele impact hebben gehad. Ze hebben de opkomst van sociale media ondersteund, vragen opgeroepen over het gedrag van de politie en mensen bewust gemaakt van opstanden en crises over de hele wereld. "Deze dingen kunnen worden gedocumenteerd omdat mensen allemaal camera's bij zich hebben," zegt hij. "De impact overtrof alle verwachtingen."
"Ik vind het verbazingwekkend hoezeer het een eigen leven is gaan leiden," zegt Fossum. Fossum, die in 2011 werd opgenomen in de National Inventors Hall of Fame, doceert nu techniek en ondernemerschap aan de Thayer School of Engineering van Dartmouth College, waar hij werkt aan wat volgens hem de volgende revolutie in digitale beeldverwerking zal zijn. Zijn Quanta Image Sensor zou een miljard pixels, elk ontworpen om een enkel foton waar te nemen, in een array proppen die niet groter is dan die in de huidige CMOS-beeldsensoren, waardoor de gevoeligheid bij weinig licht aanzienlijk wordt verbeterd.
Net zoals zijn eerste beeldsensor gebouwd kon worden met productieprocessen die meer dan 20 jaar geleden al goed ingeburgerd waren, ontwerpt Fossum deze beeldchip van de volgende generatie om compatibel te zijn met de enorme bestaande CMOS-camera-industrie. "Fabrieken die CMOS-sensoren bouwen, kunnen denk ik vrij eenvoudig overschakelen op de Quanta Image Sensor als ze dat willen", zegt hij. Hij ontwerpt de sensor met de hulp van een van zijn promovendi, een ervaring die in sommige opzichten een afspiegeling is van zijn begintijd bij NASA. "Ik had een aantal geweldige organisatorische mentoren bij JPL," zegt Fossum. "Persoonlijk vond ik het geweldig om voor JPL te werken, de beste baan ooit."
Bron: NASA
