Social Media Trenderkennung mit Deep Learning
Das Interesse an Nachrichten wird maßgeblich von Social Media Einträgen beeinflusst. Für das Überwachen dieser neuen Medienkanäle sollten Trends und virale Themen in Echtzeit identifizierbar werden. An das Empfehlungsmodul des Kunden angeschlossene Redaktionen konnten durch die algorithmische Lageführung die redaktionelle Arbeit stärker fokussieren.
Herausforderung
Mit der Verbreitung von Social Media hat sich auch das Medium Nachrichten grundlegend verändert. Das Interesse an Nachrichten wird maßgeblich von Social Media Einträgen beeinflusst. Unser Kunde, der als Beratungsunternehmen für Medienunternehmen agiert, stand vor der Aufgabe anhand von Social Media Kanälen, Trends und virale Themen in Echtzeit zu analysieren. Dementsprechend sollten über ein Portal Empfehlungen zu zukünftigen und relevanten Nachrichten für seine Kunden bereitgestellt werden.
Vorgehen
Aufgrund der komplexen Problemstellung wurde ein Algorithmus basierend auf Deep-Learning Methoden eingesetzt.
Hierfür wurde zunächst eine Korrelationsanalyse für die Modellparameter durchgeführt um irrelevante Faktoren zunächst auszuschliessen und Trainingsaufwand einzusparen. Basierend auf diesen multidimensionalen Einflussfaktoren entwickelten wir ein mehrstufiges neuronales Netzwerk. Als Eingangsparameter für dieses Netzwerk dienten die Inhalte und Metainformationen von Social Media Einträgen, wie z.B. Twitter Tweets.
Hieraus wurde ein Scoring-Modell erstellt, welches die Wahrscheinlichkeit errechnen konnte, dass der zu beurteilende Eintrag eine gewisse Verbreitung und dementsprechend Relevanz innerhalb der nächsten 24h erhalten würde.
Das Training des Scoring-Modells wurde mittels Google Tensorflow und Kubernetes umgesetzt. Durch die Verwendung von Containern für das Training und spätere Scoring konnte der Algorithmus in eine CI/CD-Pipeline integriert werden. Tagesaktuelle Updates des Algorithmus mittels Continuous Learning bzw. Continuous Deployment wurden somit möglich.
Projektergebnis und Kundennutzen
Wir entwickelten erfolgreich eine Software-as-a-Service Lösung, die Medienunternehmen unseres Kunden dabei unterstützt, potentiell relevante Nachrichtenthemen aus Social Media zu extrahieren.
Den Kern bildete hierbei das Deep-Learning Modul, das mithilfe von Google TensorFlow implementiert und in der Google Cloud gehostet wurde.
Um die immensen Datenmengen aus Social Media in nahezu Echtzeit im Deep-Learning Algorithmus auszuwerten, wurde auf die dynamische Skalierbarkeit der Cloud Umgebung in Kombination mit Kubernetes gesetzt.
Dank des Einsatzes von Kubernetes und Container-Technologien war das Ressourcen-intensive Training des Deep-Learning Algorithmus in kurzer Zeit durchgeführt und ebnete den Weg zur Einführung einer Continuous Integration und Deployment Pipeline. Damit ermöglichten wir dem Kunden neue Deep-Learning Modelle zu trainieren und nahtlos in das bestehende System zu integrieren.
Die von uns entwickelte Lösung ermöglicht unseren Kunden Nachrichtenthemen zu erkennen, die in naher Zukunft von hoher Relevanz sein können und ermöglichen einen Wettbewerbsvorteil bei der Erstellung von Nachrichtenangeboten.
Mit der Nutzung von Cloud-Technologien entstanden hierbei keine initialen Investitionskosten, sondern lediglich Kosten für die Nutzung von Cloud-Infrastruktur (Pay-As-You-Go). Der Return-On-Invesment für unseren Kunden wurde innerhalb von 3 Monaten erreicht.