Open Data und Datenvisualisierung

FDW Meeting 2017:

Open Data und Datenvisualisierung

15. November 2017, Lyss

Dr. Matthias StürmerForschungsstelle Digitale NachhaltigkeitInstitut für WirtschaftsinformatikUniversität Bern

Dr. Matthias Stürmer, Forschungsstelle Digitale Nachhaltigkeit


2

Matthias Stürmer

> Seit 2013 Oberassistent bzw. Dozent an der Universität Bern undLeiter der Forschungsstelle Digitale Nachhaltigkeit

> 2010 bis 2013 bei EY (Ernst & Young) als Senior Consultant/Managermit Beratung zu Open Source Software, Open Data und Social Media

> 2009 bis 2010 Business Development und Projektleiter beim Liip AG> 2006 bis 2009 Assistent an der ETH Zürich am Lehrstuhl für Strategisches

Management und Innovation doktoriert über Zusammenarbeit zwischen Open Source Communities und Technologie-Unternehmen

> 2000 bis 2005 Studium Betriebswirtschaft und Informatik anUniversität Bern, Lizenziatsarbeit zu Open Source Community Building

> Geschäftsleiter Parlamentarischen Gruppe Digitale Nachhaltigkeit> Präsident tcbe.ch – ICT Cluster Bern, Switzerland> Vorstandsmitglied CH Open> Mitgründer und Vorstandsmitglied Verein Opendata.ch> Stadtrat von Bern (EVP)

Dr. Matthias StürmerOberassistent,Leiter ForschungsstelleDigitale Nachhaltigkeit

Universität BernInstitut für WirtschaftsinformatikEngehaldenstrasse 8CH-3012 Bern

Telefon: +41 31 631 38 09Mobile: +41 76 368 81 65Tel: +41 31 631 38 79 (Sekretariat)

Twitter: @maemstmatthias.stuermer@iwi.unibe.chwww.digitale-nachhaltigkeit.unibe.ch

http://www.digitale-nachhaltigkeit.unibe.ch/



3

Forschungsstelle Digitale Nachhaltigkeit

> Seit 2014 am Institut für Wirtschaftsinformatik, Team von 12 Mitarbeitenden

> Forschung (u.a. 2 laufende SNF-Projekte) zu digitaler Nachhaltigkeit, Open Source Software, Blockchain und Smart Contracts, Open Data, Linked Data, Open Government, ICT-Beschaffungen

> Vorlesung zu Open Data (Programmier-Übung zu JavaScript etc.),Inverted Classroom Projekt durch Förderung Innovative Lehre (FIL),Betreuung von über 40 abgeschlossenen Bachelor- und Masterarbeiten

> Praxis-Angebote zu ICT-Beschaffungen: CAS ICT-Beschaffungen, IT-Beschaffungskonferenz, Weiterbildungstage, Roundtables, Plattform www.beschaffungsstatistik.ch

> Dienstleistungen (Beratung, Gutachten, Studien, Prototyping) für Bundesverwaltung, Kantone, Städte, Unternehmen und Verbände

> Zusammenarbeit mit Hauptstadtregion Schweiz(Smart Capital Region), Opendata.ch, CH Open, tcbe.ch etc.

http://www.beschaffungsstatistik.ch/



4

Tätigkeiten der Forschungsstelle im Bereich Open Data

> Vorlesung «Grundlagen von Open Data und praktische Anwendung» für Bachelor- und Masterstudierende (Uni Bern, Fribourg, Zürich etc.)

> Forschungsprojekte zu Open Government, Open Data und Linked Data,Betreuung von Bachelor- und Masterarbeiten

> Studien und Pilot-Apps für Verwaltung, Bildungsbereich, Firmen etc.> Open Data Show Room für interaktive Web-Anwendungen> Open Data Hack Days, Opendata.ch Konferenz und andere Events



5

Agenda

1. Einführung zu Open Government, Open Data und OGD2. Open Data in der Schweiz und international3. Demo von Open Data Anwendungen4. Entwicklung von interaktiven Datenvisualisierungen



6

Open Data und Open Government

GovOpen

Data

GovData

OpenData

OpenGov

OpenGovernment

Data



7Bild: https://www.mysciencework.com

https://www.mysciencework.com/omniscience/open-data-and-democracy-henri-verdier-france-s-mr-data-responds



8

10 Prinzipien von Open Data

Open Data sind nicht Personen-bezogenen und nicht Sicherheits-relevante Daten

1. Vollständigkeit: Alle öffentlichen Daten werden verfügbar gemacht.

2. Primärquelle: Die Daten werden an ihrem Ursprung gesammelt.3. Zeitnah: Daten werden umgehend zur Verfügung gestellt.

4. Zugänglich: Daten werden allen für möglichst viele Verwendungszwecke bereit gestellt.

5. Maschinenlesbar: Daten sind in einem offenen, strukturiertem Format gespeichert.6. Nicht diskriminierend: Daten sind allen ohne Registrierung verfügbar.

7. Nicht proprietär: Zur Dateninterpretation wird keine proprietäre Software benötigt.

8. Freie Lizenz: Daten sind unter einer freien Lizenz (z.B. Open Government Licence).9. Permanent verfügbar: Datenbestände sind permanent online und versioniert verfügbar.

10. Kostenlos: Der Zugriff auf die Daten ist kostenlos.

Quellen: http://sunlightfoundation.com/policy/documents/ten-open-data-principles/http://www.netzpolitik.org/2010/8-open-government-data-prinzipien/

http://sunlightfoundation.com/policy/documents/ten-open-data-principles/

http://www.netzpolitik.org/2010/8-open-government-data-prinzipien/



9



10

Argumente für die Öffnung von Behördendaten

1. Anrecht auf freie DatenDen Bürgern gehören die Behördendaten, denn sie wurden im Auftrag des Staates mit Steuergeldern erarbeitet.

2. DemokratieFreier und ungehinderter Datenzugang sind Voraussetzung für Meinungsbildung und Partizipation an politischen Prozessen.

3. WirtschaftlichkeitDurch öffentliche Daten werden Prozesse und Missstände sichtbar, somit werden behörden-interne Vorgänge verbessert.

4. InnovationDas Innovationspotential von Open Government Data wird als hoch eingeschätzt, somit bilden freie Behördendaten einen wirtschaftlichen Vorteil.

Quelle: http://www.collaboratory.de/w/Abschlussbericht_Offene_Staatskunst

http://www.collaboratory.de/w/Abschlussbericht_Offene_Staatskunst



11

Ökonomische Studie OGD Schweiz, 2013

> Jährlicher Wertschöpfungsanteil aus OGD in der Schweiz zwischen 900 Millionen und 1.2 Milliarden Franken

> Jährlicher Nettonutzen von OGD für den Bund liegt zwischen2.9 Millionen und 20.3 Millionen Franken.

> Auf Gebühren (u.a. Geodaten) kann verzichtet werden.

Quelle: https://www.egovernment.ch/index.php/download_file/force/347/3337/

https://www.egovernment.ch/index.php/download_file/force/347/3337/



12

Open Data in der EU

Quelle: http://www.europeandataportal.eu/sites/default/files/edp_creating_value_through_open_data_0.pdf

http://www.europeandataportal.eu/sites/default/files/edp_creating_value_through_open_data_0.pdf



13

Herausforderungen bei der Freigabe von Open Data

1. Strategie: Datenfreigabe darf Geschäftsmodell (z.B. Grundlagen für Geschäftsgeheimnis) bzw. Finanzierungsmodell (z.B. gesetzliche Gebührenpflicht) nicht negativ beeinflussenLösungsansatz: Datenfreigabe passt zur Organisations-Strategie

2. Datenschutz: Grundsätzlich keine Freigabe von Personendaten, Schutz der Privatsphäre hat sehr hohe Priorität, keine De-Anonymisierung möglichLösungsansatz: Auslassen von kritischen Datenfeldern

3. Sicherheit: Menschenleben und Staatssicherheit dürfen nicht gefährdet werdenLösungsansatz: Auslassen von kritischen Datenfeldern

4. Datenqualität: Qualität der Daten wird durch Open Data sichtbarLösungsansatz: Freizugebende Daten bezüglich Vollständigkeit, Genauigkeit, Aktualität, Konsistenz und Fehlerfreiheit prüfen

5. Externes Interesse: Einschätzung des öffentlichen Interesses ist schwierigLösungsansatz: Überlegen wer sich für Daten interessiert, Zielgruppen ansprechen

6. Aufwand: Daten maschinenlesbar zu machen kann aufwändig seinLösungsansatz: Kosten-Nutzen Überlegungen bei Datenaufbereitung, priorisieren

Quelle: «Governance bei der Freigabe von Open Data» 2016, Matthias Stürmer http://boris.unibe.ch/id/eprint/105149

http://boris.unibe.ch/id/eprint/105149



14

Scheinargumente gegen Open Data

Nicht stichhaltige Gründe gegen Freigabe von Open Data:

> Haftung: Datennutzer trägt die Verantwortung für Verwendung der Daten, nicht die Stelle, welche die Daten veröffentlicht

> Möglichkeit von Fehlinterpretation: Externe können auch komplexe Daten sehr wohl verstehen wenn sie gut dokumentiert sind (bspw. Begleitinformationen, Leitfäden und FAQs)

> Diskriminierung: Gefahr von Stigmatisierung von Bevölkerungsgruppen oder Wohnbezirke besteht bei gewissen Themen, aber nur durch Transparenz werden Missstände sichtbar und Massnahmen werden ergriffen

Quelle: «Governance bei der Freigabe von Open Data» 2016, Matthias Stürmer http://boris.unibe.ch/id/eprint/105149

http://boris.unibe.ch/id/eprint/105149



15

Was heisst «maschinenlesbar»?

5 Star Open Data Modelvon Tim Berners-Lee

Quelle: http://5stardata.info

http://5stardata.info/



16

Open Data Lizenzen

1. Open Data Lizenzen:— Public Domain Dedication and License (PDDL)

(entspricht CC0)— Open Data Commons Attribution (ODC-By)

(entspricht CC-BY)— ODC Open Database License (ODbL)

(entspricht CC-BY-SA)

2. Creative Commons Lizenzen:— Creative Commons Zero CC0 (Public Domain)— Creative Commons Attribution CC-BY— Creative Commons Share Alike CC-BY-SA

Quellen: http://opendatacommons.org/licenses/ http://opendefinition.orghttps://creativecommons.org

http://opendatacommons.org/licenses/

http://opendefinition.org/

https://creativecommons.org/



17

Agenda




18

Öffentlichkeitsgesetz als Grundlage für Open Government Data

> Öffentlichkeitsgesetz und Öffentlichkeitsverordnungseit 1. Juli 2006 in Kraft

> Paradigmenwechsel:Vom Grundsatz der Geheimhaltung mit Öffentlichkeitsvorbehalt zum Grundsatz der Öffentlichkeit mit Geheimhaltungsvorbehalt

> Vor 2006 Geheimhaltungsgrundsatz:Freies Ermessen der Behörden ob sie Zugang geben oder nicht

> Seit 2006 Öffentlichkeitsprinzip:Durchsetzbares Recht auf Zugang zu amtlichen Dokumenten

Quelle: Medienmitteilung, Eidgenössisches Justiz- und Polizeidepartement, 24.05.2006http://www.ejpd.admin.ch/content/ejpd/de/home/dokumentation/mi/2006/2006-05-241.html

http://www.ejpd.admin.ch/content/ejpd/de/home/dokumentation/mi/2006/2006-05-241.html



19

Parlamentarische GruppeDigitale Nachhaltigkeit (Parldigi)

> Gegründet 2009, Mitglieder sind rund 50 National- und Ständeräte aus allen Schweizer Parteien

> Setzt sich ein für— freien Zugang zu Wissensgütern— Open Source Software— Open Standards— Open Government Data— Open Content

> Organisiert Parlamentarier-Dinner, Roundtables, Open Hearings etc.

Link: https://www.digitale-nachhaltigkeit.ch

https://www.digitale-nachhaltigkeit.ch/



20

Politische Vorstösse zu OGD

> Aktueller Stand von Open Government Data in der Schweiz02.03.2011 – Frage 11.5039 – Edith Graf-Litscher

> Potenzial von Open Government Data in der Schweiz02.03.2011 – Frage 11.5040 – Edith Graf-Litscher

> E-Government und Open Government Data12.04.2011 – Interpellation 11.3346 – Christian Wasserfallen

> Anwendung des Öffentlichkeitsgesetzes13.04.2011 – Interpellation 11.3358 – Edith Graf-Litscher

> Open Government Data. Wie weiter?14.04.2011 – Interpellation 11.3445 – Kathy Riklin

> Öffnung der Datenbestände des Bundes. Open Government Data28.09.2011 – Motion 11.3871 – Edith Graf-Litscher

> Masterplan für Open Government Data29.09.2011 – Postulat 11.3902 – Kathy Riklin

> Open Government Data als strategischer Schwerpunkt im E-Government29.09.2011 – Postulat 11.3884 – Christian Wasserfallen

Quelle: http://www.digitale-nachhaltigkeit.ch/vorstoesse/

http://www.digitale-nachhaltigkeit.ch/vorstoesse/



21

Gründung Verein Opendata.ch am 19. Januar 2012

Quelle: https://opendata.ch/2012/01/vereinsgrundung-opendata-ch-am-19-januar-2012-in-bern/

https://opendata.ch/2012/01/vereinsgrundung-opendata-ch-am-19-januar-2012-in-bern/



22

Seit 2012 Opendata.ch Hackdays,z.B. in Bern



23

2013 Open Finance Hackdays in Bern

Quelle: https://opendata.ch/projects/make-opendata-ch-2013-finance/

https://opendata.ch/projects/make-opendata-ch-2013-finance/



24

Aktuelles Opendata.ch Projekt: Open Food Data



25

OGD Strategie Schweiz 2014-2018

> Vom Bundesrat am 16. April 2014 verabschiedet

> Inhalt OGD Strategie Schweiz:— Vision— Zielsetzungen— Rahmenbedingungen— Umsetzung

> Verantwortlich für Umsetzung:Schweizerisches Bundesarchiv

Quelle: https://www.news.admin.ch/message/index.html?lang=de&msg-id=52688

https://www.news.admin.ch/message/index.html?lang=de&msg-id=52688



26

Vision OGD Strategie Schweiz

> OGD ermöglicht Innovation und wirtschaftliches WachstumInnovative Unternehmen können neue Informationsdienstleistungen entwickeln, Lebensqualität verbessert sich, neue wissenschaftliche Erkenntnisse über Entwicklung der Schweiz möglich

> OGD fördert Transparenz und PartizipationTätigkeit von Regierung und Verwaltung werden transparenter, Bevölkerunge kann politische Rolle und gesellschaftliche Verantwortung kompetenter wahrnehmen

> OGD erhöht die Effizienz der VerwaltungBehörden können eigenen Daten über politische und organisatorische Grenzen hinweg besser nutzen, Datenqualität dank Nutzer-Rückmeldungen verbessern

2



27

Zielsetzungen

> Freigabe der BehördendatenBund stellt Öffentlichkeit geeignete Daten in maschinenlesbaren und offenen Formaten zur freien Wiederverwendung zur Verfügung, alle Rahmenbedingungen sind angepasst, "Open Data by Default"

> Koordinierte Publikation und Bereitstellung der BehördendatenZentrale Infrastruktur für Datenbestände aufbauen, Publikation der Metadaten, zuständige Verwaltungseinheiten publizieren Beschreibungen ihrer Datenbestände auf OGD-Portal, standardisierte technische Zugriffsfunktionen für die offenen Daten anbieten

> Etablierung einer Open-Data-KulturBund fördert Nutzung der offenen Daten, Etablierung einer partizipativen und innovativen Open-Data-Kultur



28

Umsetzung: Massnahmen

1. Überprüfung und Anpassung der rechtlichen Rahmenbedingungen2. Datenfreigabeprozess3. Datenfreigabeplanung4. Inventarisierung der Datenbestände des Bundes5. Überprüfung der Gebührenpolitik6. Aufbau des OGD-Portals7. Bereitstellung von Hilfsmitteln und Instrumenten für die Datenpublikation

und -bereitstellung8. Auswahl und Definition der OGD-Standards9. Erarbeitung einheitlicher Nutzungsbedingungen10. Erarbeitung eines OGD-Kooperationsmodells11. Dialog mit den OGD-Anwendern12. Bekanntmachung des Datenangebots in der Öffentlichkeit13. Evaluation der Wirkung von OGD



29

Massnahme 4:Dateninventar der Bundesverwaltung



30

Massnahme 6:Aufbau des OGD-Portals



31

Open Data Portal der Stadt Zürich

Link: https://data.stadt-zuerich.ch

https://data.stadt-zuerich.ch/



32

Open Data Portal der SBB

Link: https://data.sbb.ch/explore/

https://data.sbb.ch/explore/



33

Open Data Portal der EU

Link: http://data.europa.eu/euodp/de/data/

http://data.europa.eu/euodp/de/data/



34

World Bank Open Data

Link: http://data.worldbank.org

http://data.worldbank.org/



35

United Nations Open Data

Link: http://data.un.org

http://data.un.org/



36

Meta-Datenportal Open Data Inception

Quelle: https://opendatainception.io

https://opendatainception.io/



37

Open Government Partnership Initiative

Quelle: https://www.opengovpartnership.org/participants

https://www.opengovpartnership.org/participants



38

Agenda




39

Open Data Vorlesung und Übungan der Universität Bern

> Vorlesung mit integrierter Übung seit Frühlingssemester 2014 von der Forschungsstelle Digitale Nachhaltigkeit an der Universität Bern

> Ziele der Vorlesung:— Bedeutung von Daten in unserem Informationszeitalter verstehen— Politische und rechtliche Rahmenbedingungen kennenlernen— Datenquellen nutzen lernen— Programmiererfahrungen mit aktuellen Web Technologien sammeln— Reale Daten mittels Open Data Tools visualisieren

> Sowohl Theorie als auch Praxis – beide sind gleich wichtig!— Prüfung und Übung (Entwicklung der Open Data App) je 50% der Note

> Website mit allen App-Links, Folien und Gastvorträgen seit 2014:http://www.digitale-nachhaltigkeit.unibe.ch/studium/open_data_vorlesung/

http://www.digitale-nachhaltigkeit.unibe.ch/studium/open_data_vorlesung/



40

Open Data Vorlesung und Übung 2017

Alle Folien und Podcasts öffentlich zugänglich:

Link: http://www.digitale-nachhaltigkeit.unibe.ch/studium/open_data_vorlesung/veranstaltung_2017/index_ger.html

http://www.digitale-nachhaltigkeit.unibe.ch/studium/open_data_vorlesung/veranstaltung_2017/index_ger.html



41

Open Data Studierenden-Apps



42

Open Data Show Room

Quelle: http://opendata.iwi.unibe.ch

http://opendata.iwi.unibe.ch/



43

Störungsdaten von Bernmobil

Quelle: http://bernmobil-bubblechart.opendata.iwi.unibe.ch

http://bernmobil-bubblechart.opendata.iwi.unibe.ch/



44

Finanzen Gemeinden Kanton Zürich

Quelle: http://www.actmore.ch/comparatif/

http://www.actmore.ch/comparatif/



45

Visualisierung Energieproduktion

Quelle: http://energieproduktion-schweiz.opendata.iwi.unibe.ch

http://energieproduktion-schweiz.opendata.iwi.unibe.ch/



46

Ausländische Wohnbevölkerung

Quelle: http://auslaendische-bevoelkerung.opendata.iwi.unibe.ch

http://auslaendische-bevoelkerung.opendata.iwi.unibe.ch/



47

Asylstatistik Europa

Quelle: http://europaeische-asyldaten.opendata.iwi.unibe.ch

http://europaeische-asyldaten.opendata.iwi.unibe.ch/



48

Verschmutzungsdaten in der Schweiz

Quelle: http://schadstoffregister.opendata.iwi.unibe.ch/

http://schadstoffregister.opendata.iwi.unibe.ch/



49

Artikel in SonntagsZeitung

Quelle: SonntagsZeitung 05.07.2015



50

Integration in BAFU Website



51

Agenda




52

D3.js

> JavaScript Bibliothek für interaktive Datenvisualisierungen> Arbeitet mit JavaScript, HTML, CSS und SVG im DOM



53

Buch “D3.js in Action”

> Autor: Elijah Meeks(Datenvisualisierer bei Netflix)

> Verlag: Manning Publications

> September 2017, 375 Seiten, Englisch

> ISBN: 9781617292118

> Auf Manning.com als eBook (PDF)für USD 44.99

> Zweite Auflage, zu D3.js Version 4

Quelle: https://www.manning.com/books/d3js-in-action-second-edition

https://www.manning.com/books/d3js-in-action-second-edition



54

D3.js Code Snippets

Link: http://bl.ocks.org/mbostock

http://bl.ocks.org/mbostock



55

D3.js Code Snippets

Link: http://christopheviau.com/d3list/gallery.html

http://christopheviau.com/d3list/gallery.html



56

D3.js: Zoomable Treemaps

Quelle: http://mbostock.github.io/d3/talk/20111018/treemap.html

http://mbostock.github.io/d3/talk/20111018/treemap.html



57

D3.js: Clustered Force Layout I

Quelle: http://bl.ocks.org/mbostock/1747543

http://bl.ocks.org/mbostock/1747543



58

D3.js: Zoomable Circle Packing

Quelle: http://bl.ocks.org/mbostock/7607535/

http://bl.ocks.org/mbostock/7607535/



59

D3.js: Zoomable Sunburst





60

D3.js: Sankey Diagrams

Quelle: http://bost.ocks.org/mike/sankey/

http://bost.ocks.org/mike/sankey/



61

D3.js: Chord Diagram





62

D3.js: Hierarchical Edge Bundling





63

D3.js: Parallel Coordinates

Quelle: http://syntagmatic.github.io/parallel-coordinates/

http://syntagmatic.github.io/parallel-coordinates/



64

Einladung Data Coaching in der Open Data Vorlesung 2018

Open Data Speed Dating: Donnerstag, 8. März 2018 von 13.15h - 15.00h an der Universität BernAnmeldung bei [email protected] Informationen auf http://www.digitale-nachhaltigkeit.unibe.ch/studium/open_data_vorlesung/veranstaltung_2018/call_for_data_coaches/index_ger.html

mailto:[email protected]

http://www.digitale-nachhaltigkeit.unibe.ch/studium/open_data_vorlesung/veranstaltung_2018/call_for_data_coaches/index_ger.html



65

Fragen und Diskussion

> Für weitere Fragen und Anliegen rund um Open Data und Datenvisualisierungen:

Dr. Matthias StürmerLeiter Forschungsstelle Digitale Nachhaltigkeit

Universität BernInstitut für WirtschaftsinformatikEngehaldenstrasse 8CH-3012 Bern

Tel: +41 31 631 38 09Mobile: +41 76 368 81 65matthias.stuermer@iwi.unibe.chwww.digitale-nachhaltigkeit.unibe.ch

mailto:[email protected]

http://www.digitale-nachhaltigkeit.unibe.ch/

Open Data und Datenvisualisierung

Technology

Transcript of Open Data und Datenvisualisierung