Volg Sony Nederland

Sony introduceert intelligente vision sensor met AI-functionaliteit

Persbericht   •   mei 15, 2020 10:16 CEST

Innovatieve sensoren bieden Edge AI-verwerking met hoge snelheid voor het bouwen van optimale cloudsystemen

Sony Corporation kondigt vandaag twee intelligente vision sensoren met AI (artificial intelligence) verwerkingsfunctionaliteit aan. Dataverwerking met kunstmatige intelligentie (AI) op de beeldsensor biedt hoge snelheden waarbij alleen noodzakelijke data wordt gebruikt. De gegevensoverdracht bij het gebruik van clouddiensten verloopt hierdoor sneller. Dit draagt bij aan optimaliseren van systemen die verbonden zijn met clouddiensten. Tevens kan privacy beter beschermd worden en nemen stroomverbruik en communicatiekosten af.

Deze nieuwe sensoren zijn tevens interessant om met AI-uitgeruste camera’s te ontwikkelen. Ze bieden een breed scala aan toepassingen voor retail- en industriële toepassingen.

De opkomst van IoT (Internet of Things) zorgt ervoor dat apparaten met cloudsystemen worden verbonden. Daardoor neemt ook het aantal informatieverwerkingssystemen dat gebruik maakt van AI-verwerking toe. Deze stijgende datatransmissie zorgt voor allerlei uitdagingen. Zo wordt onder andere de realtime informatieverwerking vertraagd. Daarnaast zijn gebruikers wantrouwender wat betreft de veiligheid met betrekking tot het opslaan van persoonlijke data. Ten slotte stijgen stroomverbruik en communicatiekosten.

Deze sensoren zijn gestapeld (stacked) opgebouwd en bestaan uit een pixelchip en een logic chip. Het zijn de eerste beeldsensoren waarin de kunstmatige intelligentie voor beeldanalyse en beeldverwerking is geïntegreerd in de logic chip. Het signaal dat de pixelchip detecteert, wordt verwerkt door de AI op de sensor, zodat er geen krachtige processor of extern geheugen nodig is. Dit maakt de ontwikkeling van Edge AI-systemen mogelijk. In plaats van beeldinformatie verwerkt de sensor metagegevens (d.w.z. semantische informatie behorende bij de beeldgegevens). Dit vermindert het datavolume en biedt een betere gegevensbescherming.

Dankzij deze uitgebreide AI-capaciteiten zijn diverse toepassingen denkbaar, zoals het op hoge snelheid en realtime volgen van objecten. Tevens zijn AI-modellen te selecteren door het intern geheugen aan te passen op de specifieke toepassing van de locatie. Gebruikers kunnen ook andere AI-modellen kiezen door het interne geheugen te herschrijven naar de vereisten of voorwaarden van het gewenste systeem.

Belangrijkste kenmerken

De eerste beeldsensor met AI-functionaliteit

De pixelchip is back-illuminated en heeft 12,4 effectieve megapixels voor het vastleggen van informatie. De logic chip is uitgerust met Sony’s Digitale Signaalprocessor (DSP) voor AI-signaalverwerking en met een intern geheugen voor het AI-model. Dankzij deze configuratie zijn krachtige processors of een extern geheugen niet noodzakelijk.

Output van metadata

De signalen die de pixelchip detecteert worden doorgegeven via een ISP (beeldsignaalprocessor). AI-verwerking vindt plaats op de logic chip en de geëxtraheerde informatie wordt uitgevoerd als metadata. Aangezien beeldinformatie niet extern wordt verwerkt is gegevensbescherming optimaal. Behalve het beeld dat door de conventionele beeldsensor wordt opgenomen, kunnen gebruikers een outputformat naar wens selecteren. Denk hierbij aan afbeeldingen in ISP-formaat (YUV/RGB) en specifieke ROI (Region of Interest)-selecties van de afbeeldingen.

High-speed AI-verwerking

Bij het opnemen van video met een conventionele beeldsensor wordt de data doorgestuurd voor AI-verwerking. Dit leidt tot meer datatransmissie waardoor het lastig is om realtime prestaties te leveren. De nieuwe sensoren van Sony voeren ISP-verwerking en high-speed AI-verwerking (3,1 milliseconde verwerkingstijd voor MobileNet V12) uit op de logic chip en voltooien het hele proces in één frame. Dankzij dit ontwerp wordt het mogelijk om realtime en met hoge precisie objecten te volgen tijdens het opnemen van video.

Selecteerbaar AI-model

Gebruikers kunnen de AI-modellen naar wens in het geheugen programmeren afhankelijk van de omstandigheden op de locatie van het systeem. Dit kan bijvoorbeeld handig zijn wanneer meerdere camera's op een winkellocatie worden geïnstalleerd. De gebruiker kan zo hetzelfde type camera voor meerdere toepassingen inzetten. Als de camera bij de ingang is geïnstalleerd, kan deze worden gebruikt om de klanten te tellen die de winkel binnenkomen. Bij installatie op een winkelschap, kan deze worden gebruikt om voorraadtekorten te herkennen. Is de camera aan het plafond gemonteerd, dan kan deze worden ingezet om warmtebeelden te maken (ter identificatie van gebieden waar veel bezoekers elkaar ontmoeten). Uiteraard kan het AI-model in een bepaalde camera opnieuw geprogrammeerd worden, van één die heatmaps opspoort naar één die consumentengedrag vaststelt, enz.

Model name Sample shipment date Sample price (excluding tax)
IMX500 1/2.3-type (7.857 mm diagonal) approx. 12.3 effective megapixel intelligent vision sensor (bare chip product) April 2020 10,000 JPY
IMX501 1/2.3-type (7.857 mm diagonal) approx. 12.3 effective megapixel intelligent vision sensor (package product) June 2020 (planned) 20,000 JPY
Model name IMX500 (bare chip product) IMX501 (package product)
Number of effective pixels 4056 (H) × 3040 (V), approx. 12.3 megapixels
Image size Diagonal 7.857 mm (1/2.3 type)
Unit cell size 1.55 μm (H) × 1.55 μm (V)
Frame rate Full pixel 60 fps
Video 4K (4056 × 2288) 60 fps
1080p 240 fps
Full/video+AI processing 30fps
Metadata output 30fps
Sensitivity (F5.6 standard value) Approx. 250LSB
Sensor saturation signal level (minimum value) Approx. 9610e-
Power supply Analog 2.7V
Digital 0.84V
Interface 1.8V
Main functions AI processing function, ISP, HDR shooting
Output MIPI D-PHY 1.2 (4 lane) / SPI
Color filter array Bayer array
Output format Image (Bayer RAW), ISP output (YUV/RGB), ROI, metadata
Package IMX500: - IMX501: Ceramic LGA 12.5 mm (H) × 15.0 mm (V)

Over Sony Corporation

Sony Corporation is een creatief entertainmentbedrijf met een duurzame technologische basis. Van game- en netwerkservices tot muziek, films, elektronica, semiconductors en financiële diensten - het doel van Sony is om de wereld te verrijken met emotie via creativiteit en technologie. Voor meer informatie, bezoek: http://www.sony.net