Offene Grafik für eingebettete Systeme · bezeichnet einen elektronischen Rechner oder auch...

Seite 1 - © Pengutronix - http://www.pengutronix.de – 12. März 2017

Offene Grafik für eingebettete Systeme

Michael Tretter

[email protected]

12. März 2017

Chemnitzer Linux-Tage 2017

mailto:[email protected]


Inhalt

● Wofür brauche ich Grafik bei eingebetteten Systemen?

● Wieso möchte ich Open Source Treiber dafür verwenden?

● Woher bekomme ich Open Source Treiber?

● Wie kann ich damit etwas sinnvolles bauen?


Was ist ein eingebettetes System?

„Der Ausdruck eingebettetes System (auch englisch embedded system) bezeichnet einen elektronischen Rechner oder auch Computer, der in einen technischen Kontext eingebunden (eingebettet) ist. [...]

Eingebettete Systeme verrichten – weitestgehend unsichtbar für den Benutzer – den Dienst in einer Vielzahl von Anwendungsbereichen und Geräten, beispielsweise in Geräten der Medizintechnik, Waschmaschinen, Flugzeugen, Kraftfahrzeugen, Kühlschränken, Fernsehern, DVD-Playern, Set-Top-Boxen, Routern, Mobiltelefonen oder allgemein in Geräten der Unterhaltungselektronik. […]“

Wikipedia (https://de.wikipedia.org/wiki/Eingebettetes_System)


Beispiele 1: Automobil-Entertainment

By Catecardvd - Own work, CC BY-SA 3.0, https://commons.wikimedia.org/w/index.php?curid=32985304


Beispiel 2: Interaktive Informationstafeln

By LG 전자 - 세계 명화가 LG 스마트 TV 속으로 , CC BY 2.0, https://commons.wikimedia.org/w/index.php?curid=17450806


Beispiel 3: Eigenbau-Videoplayer


System on a Chip (SoC)?


Besonderheiten bei eingebetteter Grafik

● Einzelne Anwendung auf dem Display

● Grafik nur (unwichtiger) Teilaspekt des Produkts

● Möglicherweise hohe Stückzahl und lange Lebensdauer

● Möglicherweise Echtzeit-Anforderungen

● Eingeschränkte Hardware-Ressourcen

● GPU und Display Controller getrennt

● Unterschiedliche Hersteller für Board, SoC und GPU


Grafik-Hardware: IP-Cores

● Broadcom VideoCore IV (BCM2835, Raspberry Pi)

● ARM Mali (Samsung Exynos, Galaxy S6)

● Qualcomm Adreno (Snapdragon, Google Pixel)

● Imagination Technologies PowerVR (Renesas R-Car, iPhone)

● Vivante Vega (Freescale i.MX, Samsung Galaxy Tab 4)


Übliches Paket vom Chip-Hersteller

● Hardware-Lieferant liefert Board und Board Support Package

● Linux-Userland mit Binärtreibern

● Gepatchter Linux-Kernel

● Üblicherweise als Yocto, Debian, buildroot, ...

Board/SoCBoard/SoC

Linux-KernelLinux-Kernel

UserlandUserland

Kernel-TreiberKernel-Treiber

AnwendungAnwendung

BinärtreiberBinärtreiber

GrafikGrafikIP-CoreIP-Core


Probleme mit Binärtreibern

● Debugging und Tracing von Problemen ist schwer bis unmöglich

● Anpassung und Optimierung für Anwendungsfall unmöglich

● Software bei Produktveröffentlichung schon veraltet

● Wartungsprobleme wegen Abhängigkeit von Kernelversion und Treiber

● Selbstständige Softwareupdates ohne Herstellersupport unmöglich

● Ende des Supports der Hardware führt zu Stillstand bei der Software


Projekte für quell-offene Treiber

● Mali Lima→

● Adreno Freedreno→

● Vivante etnaviv→

● vc4 (veröffentlicht von Broadcom)

● PowerVR ???→


Hintergrund: etnaviv

● Open Source Treiber für Vivante GPU

● Mehrere Jahre Reverse-Engineering- und Entwicklungszeit

● Upstream: Mesa (>= 17.0.0), Kernel (>= 4.9) und libdrm (>= 2.4.71)

● Unterstützt Qt, X und Wayland


UserlandUserland

HardwareHardware

KernelKernel

Linux Grafikstack

GC 3000GC 3000 IPU/DisplayIPU/Display

imx-drmimx-drmetnavivetnaviv

mesamesa

AnwendungAnwendung

libdrmlibdrm


Mesa

● Open Source Implementierung von OpenGL, EGL, OpenVG, ...

● Beinhaltet verschiedene Hardware- und Software-Treiber

● Auch auf Desktop-Systemen verwendet


winsyswinsys

pipe driverpipe driver

state-trackerstate-tracker

etnaviv und Mesa

mesa-stmesa-st dri2dri2

etnavivetnaviv

winsyswinsysimx-drmimx-drm

winsyswinsysetnavivetnaviv

AnwendungAnwendung

KernelKernel


Verschnaufpause

● Was kann ich denn jetzt praktisch anfangen?

● Mach mal ein Beispiel, wie das benutzt wird!


Features

● Interaktive Benutzeroberfläche

● Video-Vorschau

● Vollbild-Wiedergabe

● OpenGL-Beschleunigung


NXP/Freescale i.MX6

● ARM Cortex A9

● Vivante GC2000/GC3000

● Chips&Media Coda 960

● Image Processing Unit

● Kameraeingänge

● Nitrogen

● HummingBoard

● Wandboard


i.MX6i.MX6

Systemarchitektur

H264H264VideoVideo

VideoVideoDecodingDecoding GUIGUI

Chips&MediaChips&MediaCoda 960Coda 960

VivanteVivanteGC 3000GC 3000

DriverDriver OpenGLOpenGLDriverDriver

DisplayDisplay


Benutzeroberfläche: QML

● Deklarative Sprache um Benutzeroberflächen zu spezifizieren und programmieren

● QML benutzt OpenGL

● 150 Zeilen QML für die Beispielanwendung

● 200 Zeilen C++ um die Video-Pipeline zu steuern


QML BeispielcodeComponent { id: videoDelegate Item { id: cell width: GridView.view.cellWidth height: GridView.view.cellHeight z: video.width > width ? 1 : 0 VideoOutput { id: video source: gstsink state: "default" MouseArea { anchors.fill: parent onClicked: {self.toggleCurrent(video)} } states: [ State { name: "default" ParentChange {target: video; parent: cell x: 10; y: 10; width: cell.width – 20; height: cell.height - 20} }, State { name: "fullscreen" ParentChange {target: video; parent: self x: 0; y: 0; width: self.width; height: self.height} } ] transitions: Transition { ParentAnimation { NumberAnimation { properties: "x,y,width,height"; duration: self.anim } } } } GSTSink { id: gstsink } GSTPipeline { sink: gstsink; file: fileName; customPipeline: pipeline } }}


Video Pipeline: Gstreamer

● Framework zur Verarbeitung von Multimedia-Datenströmen

filesrcfilesrc <h264dec><h264dec> gst-video-itemgst-video-item

● Zero-copy von Gstreamer nach QML durch gst-video-item

● Pipeline kann automatisch von playbin erzeugt werden

● Beispielanwendung verwendet einfach den Dateinamen


Video Decoding: CODA

● i.MX6 verfügt über Chips&Media Coda 960 (VPU)

● Linux-Treiber im mainline Kernel (VIDEO_CODA)

● V4L2 mem2mem device /dev/videoX→

● Gstreamer-Element: v4l2videoXdec

● Coda benötigt Firmware Immer noch closed source→


Gesamtsystem

i.MX6i.MX6

H264H264VideoVideo

Chips&MediaChips&MediaCoda 960Coda 960

VivanteVivanteGC 3000GC 3000

V4L2V4L2CODACODA

mesamesaetnavivetnaviv

DisplayDisplay


Demo


Zusammenfassung

● Eingebettete Systeme mit Grafik

● Probleme für Wartung und Entwicklung durch Binärtreiber

● Projekte zur Entwicklung von Open Source SoC-Grafiktreibern

● etnaviv: Reverse-Engineered Treiber für Vivante GPUs

● Beispielsystem: Video-Wiedergabe mit QML und Gstreamer


Jobs bei Pengutronix

● Grafikentwickler gesucht

● http://www.pengutronix.de/jobs


Danke für eure Aufmerksamkeit

● QML - https://www.qt.io/qt-quick

● mesa - http://www.mesa3d.org

● GStreamer - https://gstreamer.freedesktop.org

● Etnaviv - https://github.com/etnaviv/etna_viv

Offene Grafik für eingebettete Systeme · bezeichnet einen elektronischen Rechner oder auch...

Documents

Transcript of Offene Grafik für eingebettete Systeme · bezeichnet einen elektronischen Rechner oder auch...