Twitter macht Werkzeug zur Erkennung von Anomalien quelloffen

Twitter hat den Quelltext einer Eigenentwicklung öffentlich verfügbar gemacht, die ihm hilft, ungewöhnliche Vorkommnisse und Ausschläge seines Traffics zu identifizieren. Das Werkzeug „AnomalyDetection“ erkennt somit nicht nur Trends, sondern auch Probleme mit der Datenerfassung oder etwa Aktivitäten von Spambots.

„Wir machen AnomalyDetection quelloffen, weil wir uns wünschen, dass die öffentliche Community das Paket weiterentwickeln und wie wir daraus lernen kann“, heißt es in der Ankündigung. Das Paket ist für die Statistik-Umgebung und -Programmiersprache R gedacht.

Den primären Algorithmus nennt Twitter „Seasonal Hybrid ESD“. Er kann sowohl globale als auch lokale Anomalien automatisch erkennen – beispielsweise eine wichtige Nachricht oder das entscheidende Tor im WM-Finale.

AnomalyDetection gleich einer anderen Lösung für R, die Twitter kürzlich als Open Source freigegeben hat: BreakoutDetection. Der Unterschied sei die Konzentration auf unterschiedliche Arten von Ereignissen, erklärt das Unternehmen. Die von BreakoutDetection ins Visier genommenen „Breakouts“ sind Aktivitätsverschiebungen, die sich durch „zwei stabile Zustände und eine dazwischenliegende Übergangsphase“ definieren.

Dabei unterscheidet Twitter noch zwischen plötzlichen Verschiebungen des Mittelwerts, also fast ansatzlosen Übergängen, und graduellen Änderungen, bis ein neuer stabiler Zustand erreicht ist. Dagegen geht es bei Anomalien nie um Übergänge, sondern um einzelne ungewöhnliche Daten.

Erkennung globaler und lokaler Anomalien (Bild: Twitter)

Das Monitoring von Social Media hat seine Tücken, da unterschiedliche Zeiten und Jahreszeiten, Standorte, Trends und virale Verbreitung zu beachten sind. Anomalien aber sind darüber hinaus kontextabhängig, da sie sich als Abweichung definieren. Zur Erkennung von Anomalien konzipierte Techniken lassen sich daher nicht leicht auf andere Kanäle oder Websites übertragen.

Twitters AnomalyDetection findet sich auf Github, wo auch schon BreakoutDetection zur Verfügung steht.

[mit Material von Charlie Osborne, ZDNet.com]

Tipp: Sind Sie ein Twitter-Experte? Überprüfen Sie Ihr Wissen – mit 15 Fragen auf silicon.de.