§====!"§=!Nova§ 1 Berkom Dr. Jens Johann, T22 §====!"§=!Nova§ Zukunft durch Innovation.

20
1 Berkom Dr. Jens Johann, T22 §====!"§=!Nova§ §====!"§=!Nova§ Zukunft durch Innovation Zukunft durch Innovation

Transcript of §====!"§=!Nova§ 1 Berkom Dr. Jens Johann, T22 §====!"§=!Nova§ Zukunft durch Innovation.

Page 1: §====!"§=!Nova§ 1 Berkom Dr. Jens Johann, T22 §====!"§=!Nova§ Zukunft durch Innovation.

1BerkomDr. Jens Johann, T22§====!"§=!Nova§

§====!"§=!Nova§

Zukunft durch InnovationZukunft durch Innovation

Page 2: §====!"§=!Nova§ 1 Berkom Dr. Jens Johann, T22 §====!"§=!Nova§ Zukunft durch Innovation.

§====!"§=!Nova§ 2BerkomDr. Jens Johann, T22

Zukunft durch InnovationZukunft durch Innovation

§====!"§=!Nova§

Videotelephonie mit dem Home Infotainment Center

Entwicklung und Integration softwarebasierter Module für die Videotelephonie mit dem Home Infotainment Center

[Dr. Jens Johann, T-Nova Berkom]

Page 3: §====!"§=!Nova§ 1 Berkom Dr. Jens Johann, T22 §====!"§=!Nova§ Zukunft durch Innovation.

3BerkomDr. Jens Johann, T22§====!"§=!Nova§

Videotelephonie mit HICHIC-FunktionalitätenHIC-Funktionalitäten

Basis für zukünftige Multimedia-Applikationen im Heimbereich

Unterstützung bei der Benutzung bekannter Anwendungen (Web-Dienste, Videotelephonie, Fernüberwachung etc.)

Unterstützung lokaler Anwendungen, Dienstezugriff über Rundfunk- und Telekommunikationsnetze

Multi-Application-Betrieb durch Einsatz von DSPs und GPP Plattformunabhängige Softwarestruktur Update durch Software-Download SW-Architektur unterstützt die Entwicklung neuer

Anwendungen durch Dritte (MHP-Kompatibilität)

Projektpartner: TI, Dallas und Cadence, Sunnyvale

Page 4: §====!"§=!Nova§ 1 Berkom Dr. Jens Johann, T22 §====!"§=!Nova§ Zukunft durch Innovation.

4BerkomDr. Jens Johann, T22§====!"§=!Nova§

Videotelephonie mit HICDie HIC-Box im 21. JahrhundertDie HIC-Box im 21. Jahrhundert

DSS/DVB

USB

USB/1394

S V

ideo

, Com

po.

USB/Analog

1394

ADSL,V.90

DVB/DSS, Cable( Digital/Analog)

1394

RF Ethernet

Camera

Web Phone

NetworkCamera

Intuitive Human I/FRemote Control

TV/VCRAC-3, TTS

WWWEmail

Fax/PrintCopy/Scan

HDD

DVD

HIC

PC

3D GamePad

KB/Mouse

RF

Home Activities

VT

Page 5: §====!"§=!Nova§ 1 Berkom Dr. Jens Johann, T22 §====!"§=!Nova§ Zukunft durch Innovation.

5BerkomDr. Jens Johann, T22§====!"§=!Nova§

Videotelefonie mit HICAnforderungenAnforderungen

Flexible Konfiguration des Terminals in Hinblick auf Video- und Audioverarbeitung

Einsatz standardisierter Verfahren Gewährleistung einer hohen Bildqualität bei

Wiedergabe über TV-Monitor Bevorzugte Übertragung über T-DSL, aber ISDN-

Einsatz nicht ausschliessen HIC-Box als Kommunikationspartner für eine

Vielzahl von Terminals etablieren

Implementation der H.323-Videotelephonie

Page 6: §====!"§=!Nova§ 1 Berkom Dr. Jens Johann, T22 §====!"§=!Nova§ Zukunft durch Innovation.

6BerkomDr. Jens Johann, T22§====!"§=!Nova§

Videotelephonie mit HICKomponenten des H.323-StandardsKomponenten des H.323-Standards

Video I/O equipment

Audio I/O equipment

User Data Applications

System ControlUser Interface

Video CodecH.261, H.263

Audio Codec G.711, G.722G.723, G.728

G.729

H.245 Control Protocol for MM Appl.

H.225.0Call Establishment & Negotiation

H.225.0Terminal to Gatekeeper Signalling

System Control

ReceivePath

DelayH.225.0Layer

zum LANInterface

Page 7: §====!"§=!Nova§ 1 Berkom Dr. Jens Johann, T22 §====!"§=!Nova§ Zukunft durch Innovation.

7BerkomDr. Jens Johann, T22§====!"§=!Nova§

Videotelephonie mit HICH.323 und die InteroperabilitätH.323 und die Interoperabilität

H.323Terminal

Non-garanteed QoS LAN

H.323Terminal

H.323MCU

H.323Gatekeeper

H.323Gateway

GSTN

H.324Terminal

N-ISDN B-ISDN

V.70Terminal

SpeechTerminal

H.320Terminal

SpeechTerminal

H.321Terminal

Page 8: §====!"§=!Nova§ 1 Berkom Dr. Jens Johann, T22 §====!"§=!Nova§ Zukunft durch Innovation.

8BerkomDr. Jens Johann, T22§====!"§=!Nova§

Videotelephonie mit HICGeplante Software-Struktur der HIC-BoxGeplante Software-Struktur der HIC-Box

Graphical User Interface (general initialization)

Java Appl. 1

GUI

Java Appl. 2

GUI

Java Appl. 3

GUI

JNIJava Virtual Machine

Java APIs (JTAPI)

DSPRISC-CPU

DSP OperatingSystem

DSPBridge

Vxworks

DLL

DSPAlgos

Und dann kam im Januar 2000 JMF dazu ...

Page 9: §====!"§=!Nova§ 1 Berkom Dr. Jens Johann, T22 §====!"§=!Nova§ Zukunft durch Innovation.

9BerkomDr. Jens Johann, T22§====!"§=!Nova§

Videotelephonie mit HICAktuelle Softwarestruktur für HIC-VTAktuelle Softwarestruktur für HIC-VT

Graphical User Interface (general initialization)

Java Appl. 1

GUI

Java Appl. 2

GUI

Java Appl. 3

GUI

JNIJava Virtual Machine

Java APIs (JTAPI, JMF)

Pentium

Windows

DLL

Page 10: §====!"§=!Nova§ 1 Berkom Dr. Jens Johann, T22 §====!"§=!Nova§ Zukunft durch Innovation.

10

BerkomDr. Jens Johann, T22§====!"§=!Nova§

Videotelephonie mit HICSoftware-ModuleSoftware-Module

H.261, H.263 (beide in C)

G.711(-law), G.722 (64 kbit/s), G.723.1 (5,3 kbit/s, 6,3 kbit/s), G.728 (16 kbit/s), G.729 (8 kbit/s) (alle in C)

G.711(-law), G.722 (64 kbit/s), G.723.1 (5,3 kbit/s, 6,3 kbit/s) (in C6x-Assembler)

H.323 System-Stack (basiert auf Elemedia Library, in C++)

RSAP (Annotation in Java, gebräuchliche Bildformate)

Page 11: §====!"§=!Nova§ 1 Berkom Dr. Jens Johann, T22 §====!"§=!Nova§ Zukunft durch Innovation.

11

BerkomDr. Jens Johann, T22§====!"§=!Nova§

Videotelephonie mit HICBeispiel: H.263-VideocodierungsmoduleBeispiel: H.263-Videocodierungsmodule

DCT Quantiser

InverseQuantiser

InverseDCT

-

+FrameStore Bewegungsvektoren

Video-Input

Compen-sation

Esti-mation

RGB/YUV Bitstream

generation

Datenausgang

YUV/RGB

Selbst-Kontrolle

Page 12: §====!"§=!Nova§ 1 Berkom Dr. Jens Johann, T22 §====!"§=!Nova§ Zukunft durch Innovation.

12

BerkomDr. Jens Johann, T22§====!"§=!Nova§

Videotelephonie mit HICBeispiel: G.723-AudiocodierungsmoduleBeispiel: G.723-Audiocodierungsmodule

AdaptiveCodebook

MP-MLQExcitation

ACELPExcitation

PitchPredictor

SynthesisFilter

Formant &HarmonicWeighting

LPCAnalysisand VQ

Minimum Error

5.3 kbps

6.3 kbps

Gain

MUX

Synthesized Speech

+-

Sprach-Input

Daten-ausgang

Page 13: §====!"§=!Nova§ 1 Berkom Dr. Jens Johann, T22 §====!"§=!Nova§ Zukunft durch Innovation.

13

BerkomDr. Jens Johann, T22§====!"§=!Nova§

Videotelephonie mit HICRemote Still Image & Annotation Presentation Remote Still Image & Annotation Presentation RSAPRSAP

Standbild mit überlagerter Markierung

zusätzlich zur aktiven VT-VerbindungBeide Teilnehmer besitzen die gleiche Arbeitsumgebung

Jeder Teilnehmer kann Standbild versendenBeide Teilnehmer können Markierungen anbringen

MMI über Maus und Tastatur

Einsatzgebiete

Präsentation von Familien-PhotographienGemeinsame Diskussion in E-Commerce-Katalogen

Page 14: §====!"§=!Nova§ 1 Berkom Dr. Jens Johann, T22 §====!"§=!Nova§ Zukunft durch Innovation.

14

BerkomDr. Jens Johann, T22§====!"§=!Nova§

Videotelephonie mit HICRSAP - ÜberblickRSAP - Überblick

H.323

H.245H.225

RSAP

RXTX

MUXDMUX

Privatedata

channel

VT

Swing

Image

Anno-tationsSynchr.

CompressDecompr.

store &send

IP

Page 15: §====!"§=!Nova§ 1 Berkom Dr. Jens Johann, T22 §====!"§=!Nova§ Zukunft durch Innovation.

15

BerkomDr. Jens Johann, T22§====!"§=!Nova§

Videotelephonie mit HICModule zur H.323-KonfigurationModule zur H.323-Konfiguration

AV App Terminal Control and Management Data App

G.7xxH.26x

RTP

RTCP

H.225.0Terminal

toGatekeeperSignalling

(RAS)

H.225.0Call

SignallingH.245

T.124

T.125

Unreliable Transport Reliable Transport

Network Layer

Link Layer

T.123

Physical Layer

Verknüpfung, Codierung und Packetierung von Audio, Video und Daten

Page 16: §====!"§=!Nova§ 1 Berkom Dr. Jens Johann, T22 §====!"§=!Nova§ Zukunft durch Innovation.

16

BerkomDr. Jens Johann, T22§====!"§=!Nova§

Videotelephonie mit HICH.225-MessagesH.225-Messages

Terminal Capability Messages Master-Slave Determination Logical Channel Signalling Messages Request Mode Messages Round Trip Delay Messages Maintanance Loop Messages

Stati: Command (Antwort erforderlich) oder Indications (Received-Message möglich, aber nicht unbedingt erforderlich) Je nach Konfiguration sind diese Stati „Mandatory, Optional, Forbidden or Conditional Mandatory“

Page 17: §====!"§=!Nova§ 1 Berkom Dr. Jens Johann, T22 §====!"§=!Nova§ Zukunft durch Innovation.

17

BerkomDr. Jens Johann, T22§====!"§=!Nova§

Videotelephonie mit HIC

Outgoing :(H225Connection)

Incoming :(H225Connection)

UserUser

5: setupMessage

3: listen

7: alertingMessage

9: connection/refused Message

6: alertingUser

8: accept/reject

4: buildConnection

2: openServerSocket

11: createH323Connection ( ) 12: createH323Connection ( )

1: openServerSocket

10: releaseComplete (no more Q931 messages)

after the releaseCompletemessage, the listener isopen for other connections

time

H.225-Message ExchangeH.225-Message Exchange

Page 18: §====!"§=!Nova§ 1 Berkom Dr. Jens Johann, T22 §====!"§=!Nova§ Zukunft durch Innovation.

18

BerkomDr. Jens Johann, T22§====!"§=!Nova§

Videotelephonie mit HICH.323-Systemstack-ModuleH.323-Systemstack-Module

H245 and H245 User packages

JMF package

The Q931 package contains all classes for parsing and building Q931 messages.

Q931 package

The H245 package contains all classes for the H245Control Protocol. The package H245User contains the classes for the H245ControlProtocol

The package JMF contains all of the classes needed for the Java Media Framework.

Thread

Frame

owns a PhoneBook

creates 1

UserInterface

getCallActuator( )

owns1

CallActuator0..*

has a

H225ConnectionManager

0..*

1

H323Connection

extends

is created by

is registered at

The package RSAP contains all for the private application.

RSAP

The ConnectionManager listens on the default portnumber

Page 19: §====!"§=!Nova§ 1 Berkom Dr. Jens Johann, T22 §====!"§=!Nova§ Zukunft durch Innovation.

19

BerkomDr. Jens Johann, T22§====!"§=!Nova§

Videotelephonie mit HICJMF-EinbindungJMF-Einbindung

RTPDataSourceConnectionController

videoDatarate : int = 0audioDatarate : int = 0encodedVideoFormat : Format = nullencodedAudioFormat : Format = nullaudioPortnumber : int = 0videoPortnumber : int = 0audioProcessor : Processor = nullvideoProcessor : Processor = nullrtpAudioSocket : RTPSocket = nullrtpVideoSocket : RTPSocket = nullipAddress : String = nullrtpSessionManager : RTPSessionManager = nullcaptureDeviceInfo : CaptureDeviceInfo = null

configure( )setDatarate( ) H263Decoder

H263Encoder

CaptureDeviceInfo

RTPSocket

G711Decoder

Processor

G711EncoderThe codecs will access native code via the JavaNativeInterface. There is a buffer object containing one frame to decode or to encode. This buffer object will be passed to the native code for processing.

native Coder

The connectionController is instantiated by H323Connection

JMF (Java Media Framework) bietet:RTP /RTCPProcessor-BeschreibungCapturing and Rendering„Plug-in“ for Codecs

Page 20: §====!"§=!Nova§ 1 Berkom Dr. Jens Johann, T22 §====!"§=!Nova§ Zukunft durch Innovation.

20

BerkomDr. Jens Johann, T22§====!"§=!Nova§

Videotelephonie mit HICH.323-StackH.323-Stack

net

JAVA-C++

Interface

RTP

VideoPhoneApplikation

Jtapi-core Media

EventHandler

Native Methoden Java/C++ Message Queue

ConnectionManager (C++)

Call

microphone

H.245

AudioEnc

H.225/Q.931

GUI

TCP

TCP

Driver

JAVA-Teil

C++-Teil

RTP cameraVideoEnc Driver

RTP loudspeakerAudioDec Driver

RTP displayVideoDec Driver

Thread

xxxx Modul Flow of control

Flow of data

Applikationsschicht

Jtapi-SchichtRSAP

JMF