Abstract: Clickstreamanalyse zur Qualitätssicherung in der crowdbasierten Bildsegmentierung

Abstract

Mit der vermehrten Verbreitung von Verfahren aus dem Bereich des Maschinellen Lernens in der medizinische Bildverarbeitung wird eine große Menge von akkurat annotierten medizinischen Bilddaten benötigt. Die begrenzten Ressourcen von medizinischen Experten entwickeln sich dabei zum Flaschenhals für das gesamte Forschungsgebiet. Eine neuartige Methode zum Annotieren von Daten im großen Stil, die bereits Einzug in die medizinische Bildverarbeitung erhalten hat, istdas sogenannte Crowdsourcing, welches auf dem Outsourcen kognitiver Aufgaben an anonyme Internetbenutzer basiert. Eine große Herausforderung in diesem Zusammenhang ist die hohe Varianz der Annotationsqualität, die in der Regel durch redundante Aufgabenverteilung gelöst wird. In diesem Beitrag stellen wir einen neuartigen Ansatz zur Bewertung der Annotationsqualität auf Basis von Clickstreams vor. Inspiriert von Verfahren zur Analyse von Benutzerverhalten in sozialen Netzwerken [1] und biometrischen Benutzerauthentifizierung [2] konvertieren wir die Benutzereingaben in einen Vektor von Interaktionsmerkmalen und trainieren einen Regressor, der die Annotationsqualität, repräsentiert durch den DICE Koeffizienten, schätzt. Mehrere Annotationen können so konfidenzgewichtet zu einer finalen Objektsegmentierung fusioniert werden. Unter Verwendung von 20.000 Crowdsegmentierungen auf öffentlich verfügbaren Datensätzen zeigen wir (1) dass unser Verfahren mit weniger als der Hälfte der Kosten dieselbe Qualität im Vergleich zum verbreiteten Majority Voting erreicht und (2) hervorragend auf neue Domänen generalisiert, die nicht in den Trainingsbildern enthalten sind. Durch die Kostenersparnis ist das Anwendungspotential für dieneue Methode hoch.