Beschreibung des “Hist-Op” DataStage® Operator

DataStage® ist ein sehr mächtiges und umfangreiches ETL-Werkzeug, das für fast alle erdenklichen Datenverarbeitungsschritte im ETL-Prozess benutzt werden kann. Dennoch ist DataStage®, trotz massiv-parallele Verarbeitung und Grid-Fähigkeit, an die sequentielle Verarbeitung von Datensätzen gebunden. Da die 2-dimensionale Historisierung aber, pro fachlichen Schlüssel, eine iterative sowie rekursive Verarbeitung notwendig macht, stößt man an dieser Stelle an die Grenzen der Applikation. DataStage® erlaubt es aber, sog. "Custom Operatoren" zu schreiben und mit dem Standard-GUI vom Designer Programmes in die Applikation mit einzubinden. Der “Hist-Op” ist ein solcher Operator.
In den letzten Projekten hatten wir 2-dimensionale Data Warehouse-Umgebungen und mussten immer wieder spezielle Programmierung entwickeln (und testen, debuggen & unterstützen), um mit DataStage® das Warehouse mit historisierten Daten zu befüllen. Hier bot sich an, den “Hist-Op” ein Mal korrekt zu spezifizieren, damit er bei den meisten erdenklichen Datenkonstellationen direkt einsetzbar wäre. Mit den Erfahrungen von anderen Projekten ist der Operator daher mit einer langen Liste an Optionen ausgestattet, die allen Historisierungsanforderungen entsprechend behandeln kann.

Der “Hist-Op” ist kompakt, schnell, stabil und einfach zu implementieren.