Migration einer Analytics und Big Data Plattform auf Microsoft Azure und Kubernetes
Unser Kunde, eine Analytics-Plattform, beabsichtigte, alle Entwicklungsprojekte in der Microsoft Azure Cloud zu konsolidieren. niologic unterstützte den Kunden im Setup einer Kubernetes-Infrastruktur und Microsoft HDInsights als Cloud-Enablement. Sowohl das Frontend als auch die Big Data Komponenten wurden migriert.
Herausforderung
Unser Kunde beabsichtigte seine Entwicklung der Analytics-Plattform auf Microsoft Azure zu konsolidieren. Bislang hatte es mehrere einzeln administrierte Hadoop- und Docker-Nodes gegeben, die durch gemanagte Lösungen ersetzt werden sollten. Gleichzeitig wollte der Kunde von Amazon AWS heraus migrieren.
Vorgehen
niologic plante die neue Infrastruktur und Sicherheitsüberprüfungen der Plattform (Penetration Tests) zusammen mit dem Entwicklungsteam des Kunden.
Es wurden basierend auf einer klar getrennten Netzwerktopologie Frontend-, Middleware- und Backend-Systeme bereitgestellt. Hierbei wurde auf einen Mix von Software-Defined-Networking (SDN) in der Cloud und im Kubernetes-Cluster gesetzt. Das resultierende Tiering von Diensten garantiert, dass nur die jeweils erlaubten Dienste miteinander kommunizieren können.
In der anschließenden Implementierungsphase realisierte niologic die Infrastruktur für Microsoft HDInsights (Hadoop/Spark) und Microsoft Azure Kubernetes Solution (Kubernetes as a Service). Ein Microsoft Systempartner mit Gold-Zertifizierung übernahm die Integration der Dienste in das Active Directory des Kunden und das Rechtemanagement zwischen Cloud und Microsoft-Welt.
Nach Abschluss der Entwicklungs- und Produktivumgebung wurden noch Container-Registrierung und Monitoring-Lösung basierend auf Microsoft-Produkten umgesetzt.
Ein finaler Sicherheitstest durch einen externen Partner sorgte für eine Überprüfung und Vorqualifizierung der neuen Plattform vor dem Produktiveinsatz. Nach Abschluss aller Arbeiten wurde die Migration durch Änderung der DNS-Einträge abgeschlossen.
niologic hatte die Entwickler bereits im Vorfeld der Migration auf die Verwendung von Docker für Analytics-Anwendungen eingestimmt. niologic übernahm nun nach der Migration das Training der Entwickler in der Erweiterung dieser Kenntnisse durch Kubernetes.
Projektergebnis und Kundennutzen
Das Projekt erstreckte sich auf insgesamt 2 Wochen Planung und 2 Wochen Implementierungsphase. Durch die Kombination neuester Technologien (Microsoft HDInsights und Microsoft Azure Kubernetes Service) konnte der Kunde einerseits seine Analytics-Dienste ohne Ausfall migrieren. Weiterhin konnte durch das Training der Entwickler im Vorfeld und nach Migration garantiert werden, dass sie nach der Migration sofort neue Features nutzen konnten.
Durch die Verwendung von Software-as-a-Service Angeboten des Cloud-Anbieters konnten Administrationsaufwände deutlich für Hadoop und Docker bzw. nun Kubernetes reduziert werden. Das Entwicklungsteam konnte nunmehr die meisten Aufgaben selbst priorisieren und durchführen.
Bei vergleichbaren Kosten der Cloud-Anbieter betrug der ROI ca. 12 Wochen aufgrund der Einsparungen bei externen Dienstleistungen.