Post on 06-Apr-2015
ecount – Tipps und Tricks beim Importieren
6. Mai 2010 – Zürich - BusinessCafe
„Tipps und Tricks beim Importieren“
Ralf Kamphues, Systemberater
Daniel Widmer, System Ingenieur
Import Datenflüsse / Zusammenh.
Jobs
Ablage
comimport[.cmd¦.sh] datenimport[.cmd¦.sh]
[koma]
Konfiguration
./config
./config.properties
IMAP A
POP3 B
FTP C
Format X
Format Y
ComImport
Datenquelle 1
Datenquelle 2
HTTP D Format Z
Datenimport
GHI
Kanäle
Linien
ecount-Dateiimport
./config/import/
../config.properties
../datenimport.ini
./[filter].properties, z.B.:
./ebix.properties
Datei-Import [xy]…Import File Workflow
StammdatenautomatikGerätehistorie (Datenimport)
[Datenbank]
typ. alle 5..10 Minuten
KomA
KOMA: comimport
Job:
comimport[.cmd¦.sh]
config.properties
ecount /esales Datenbank
<liest>
<liest>
Import -> Konfigurationsautomatisierung(Abfragezyklus, wichtige Konteneinstellungen)
Import -> Kommunikationseinstellungen (Formate, Verbindungen)
KomA
Import -> Kommunikationseinstellungen
Read-only: Verhindert das „Löschen“ der Dateien!. Ecount muss zusätzliche Informationen ablegen um sich die Dateien zu merken, welche bereits importiert wurden!
Kommunikationseinstellungen - Formate
Format wie in
datenimport.ini
Import-Verzeichnis wie in
datenimport.ini
Import -> Kommunikationsautomatisierung
Import-Kommunikation - Konten
Kommunikations-
einstellungen
- Format
Kommunikations-
einstellungen
- Verbindung
Für Ermittelung von Antwort-Adressen erforderlich
comimport - zu beachten:
Mit „zip“ Format wird sichergestellt, dass Konten-Attribute (Nachrichtenadresse, Datenquelle, Betreff…) erhalten bleiben.
Mit Attribut „Server“ kann ein Import-Konto einem Koma-Server zugewiesen werden. Dies ermöglicht statische Lastverteilung auf mehrere KomA-Installationen
– Config.properties: importcom.comserver = 1
Hinweis: Das Skript „comimport“ beendet sich nie selbsständig, sondern muss explizit gestoppt werden.
Der Skript comimport_console kann mit eigenem Debug-Level für manuelle Analyse gestartet werden.
KOMA: datenimport
Job:
datenimport[.cmd¦.sh]
config.properties
ecount /esales Datenbank
<liest>
<schreibt>
Import -> Importdateien (Zwischentabelle)
Hier können bereits erste Probleme erkannt werden!
datenimport.ini
KomA
Zwischentabelle
ecount - Importdateien
ID der Import-Datei
Datei von ComImport – Konto 4 Format EDI
Verbindung zur importierten Email-Nachricht
datenimport - zu beachten:
Gepackte (zip,gz) Dateien sollen über comimport importiert werden (Zeichensatzproblematik!)
Die Reihenfolge der Imports wird über die Reihenfolge der Einträge im „datenimport.ini“ festgelegt.
ZIP Dateien sind für den Datenimport transparent. Der Datenimport kann für die Formate CSV und Excel mit dem
Import-Konfigurator (lizenzpflichtig) komfortabel bearbeitet werden.
Der Skript datenimport_console kann mit eigenem Debug-Level für manuelle Analyse gestartet werden.
ecount: „Datei-Import“ Job
ecount /esales Zwischentabelle
Import -> Importüberwachung- Zwischentabelle Statistik- Problembehaftete Kanäle- Unzugeordnete Kanäle- Import Fehlerarten usw.
Datenbank - Jobs:
Datei-Import [xy]
Import File Workflow
ecount /esales DatenbankWird übertragen wenn:
- GHI vorhanden oder
- Stammdatenautomatik eingerichtet
„Datensumpf“
Daten welche nicht zugeordnet oder fehlerhaft sind, verbleiben in der Zwischentabelle
Analyse
ecount: „Datei-Import“ –zu beachten:
Wenn der Import zeitkritisch ist, muss das Timing der Jobs richtig gewählt werden.
Imports sollten regelmässig überwacht werden, und Regeln hinterlegt werden, wie mit fehlerhaften oder nicht importierten Zeitreihen zu verfahren ist. Z.b. „aussteuern“ oder manuell löschen.
Unverarbeitete Daten verbleiben in der Zwischentabelle und können zu erheblichen Datenmengen anwachsen. (Backup, Performanceverlust, Ressourcennutzung)
Stammdatenautomatik
Ermöglicht automatische Erstellung von - Zählpunkten - Linien - Gerätehistorien
vorausgesetzt die Daten enthalten die für die automatische Generierung erforderlichen Informationen.
Die Parametrierbarkeit muss pro Datenquelle lizensiert werden.
SDAT Importe nutzen bereits ausgiebig die Möglichkeiten der Stammdatenautomatik
…Stammdatenautomatik…
SDA Baukasten
ecount /esales Datenbank
Zählpunkte
Linien
Geräte-historien
ecount /esales
Zwischentabelle
Stammdatenautomatik…
Wir sind für Sie da…
Ralf Kamphues, Systemberater
Tel.: +41 79 72 73 137Email: ralf.kamphues@robotron.ch
Daniel Widmer, System IngenieurTel.: +41 79 570 24 46Email: daniel.widmer@robotron.ch
…für Fragen – jetzt oder auch später!
Copyright
Weitergabe und Vervielfältigung dieser Publikation oder von Teilen daraus sind, zu welchem Zweck und in welcher Form auch immer, ohne die ausdrückliche schriftliche Genehmigung durch die Robotron Datenbank-Software GmbH nicht gestattet. In dieser Publikation enthaltene Informationen können ohne vorherige Ankündigung geändert werden.Die von der Robotron Datenbank-Software GmbH oder deren Vertriebsfirmen angebotenen Softwareprodukte können Softwarekomponenten auch anderer Softwarehersteller enthalten.Microsoft®, WINDOWS®, NT®, EXCEL®, Word®, PowerPoint® und SQL Server® sind eingetragene Marken der Microsoft Corporation.IBM®, DB2®, DB2 Universal Database, OS/2®, Parallel Sysplex®, MVS/ESA, AIX®, S/390®, AS/400®, OS/390®, OS/400®, iSeries, pSeries, xSeries, zSeries, z/OS, AFP, Intelligent Miner, WebSphere®, Netfinity®, Tivoli®, Informix und Informix® Dynamic ServerTM sind Marken der IBM Corporation in den USA und/oder anderen Ländern.ORACLE® ist eine eingetragene Marke der ORACLE Corporation.UNIX®, X/Open®, OSF/1® und Motif® sind eingetragene Marken der Open Group.Citrix®, das Citrix-Logo, ICA®, Program Neighborhood®, MetaFrame®, WinFrame®, VideoFrame®, MultiWin® und andere hier erwähnte Namen von Citrix-Produkten sind Marken von Citrix Systems, Inc.HTML, DHTML, XML, XHTML sind Marken oder eingetragene Marken des W3C®, World Wide Web Consortium, Massachusetts Institute of Technology. JAVA® ist eine eingetragene Marke der Sun Microsystems, Inc. JAVASCRIPT® ist eine eingetragene Marke der Sun Microsystems, Inc., verwendet unter der Lizenz der von Netscape entwickelten und implementierten Technologie. MarketSet und Enterprise Buyer sind gemeinsame Marken von SAP AG und Commerce One.SAP, SAP Logo, R/2, R/3, mySAP, mySAP.com und weitere im Text erwähnte SAP-Produkte und -Dienstleistungen sowie die entsprechenden Logos sind Marken oder eingetragene Marken der SAP AG in Deutschland und anderen Ländern weltweit. robotron*ecount, robotron*esales, robotron*eportal, robotron*SEA, robotron*EdifactKonverter und weitere im Text erwähnte Robotron-Produkte und -Dienstleistungen sowie die entsprechenden Logos sind Marken oder eingetragene Marken der Robotron Datenbank-Software GmbH in Deutschland und anderen Ländern weltweit. Alle anderen Namen von Produkten und Dienstleistungen sind Marken der jeweiligen Firmen