Data set synthetization to improve deep learning

Ein bekannter Nachteil von Deep-Learning-Algorithmen ist der Bedarf an großen, annotierten Datensätze für Training und Bewertung. Im Falle von 2D-Bildern wird die manuelle Annotation oft nur als lästige und zeitaufwändige Aufgabe angesehen. Die Annotation von höherdimensionalen Daten wie 3D- oder 3D+t-Bildern bringt jedoch neue Schwierigkeiten mit sich. Da die 3D-Darstellung von großen Strukturen mit vielen Instanzen nicht sehr übersichtlich ist, beschränkt sich die Visualisierung und Annotation im Grunde auf 2D-Schnitte. Die zusätzlichen Dimensionen führen somit zu einem starken Anstieg der zu annotierenden Datenmenge. Außerdem ist die räumliche Erkennung von Objekten schwieriger und die Erzeugung konsistenter Objektumrisse zwischen verschiedenen Ebenen nicht machbar. Die manuelle Annotation von höherdimensionalen Daten stellt daher eine nahezu unmögliche Aufgabe dar.

Das Hauptziel des Projekts ist die Entwicklung und Verbesserung von Methoden zur Erzeugung synthetischer Bilddaten, bei denen die Annotationen von vornherein bekannt sind. Wichtige Aspekte dieser Forschung sind die Einbeziehung seltener Objektzustände und -strukturen und die Berücksichtigung biophysikalischer Kräfte. Darüber hinaus werden Methoden zur Bewertung der Qualität und physikalischen Plausibilität der synthetischen Daten entwickelt.

 


Abgeschlossenes Projekt

Publikationen


2025
Improving 3D deep learning segmentation with biophysically motivated cell synthesis
Bruch, R.; Vitacolonna, M.; Nürnberg, E.; Sauer, S.; Rudolf, R.; Reischl, M.
2025. Communications Biology, 8 (1), Art.-Nr.: 43. doi:10.1038/s42003-025-07469-2
2024
Improving 3D deep learning segmentation with biophysically motivated cell synthesis
Bruch, R.; Vitacolonna, M.; Nürnberg, E.; Sauer, S.; Rudolf, R.; Reischl, M.
2024. arxiv. doi:10.48550/arXiv.2408.16471
From in vitro to in silico: a pipeline for generating virtual tissue simulations from real image data
Nürnberg, E.; Vitacolonna, M.; Bruch, R.; Reischl, M.; Rudolf, R.; Sauer, S.
2024. Frontiers in Molecular Biosciences, 11. doi:10.3389/fmolb.2024.1467366
Quantitative Analysis of Whole-Mount Fluorescence-Stained Tumor Spheroids in Phenotypic Drug Screens
Nuernberg, E.; Bruch, R.; Hafner, M.; Rudolf, R.; Vitacolonna, M.
2024. 3D Cell Culture. Ed.: Z. Sumbalova Koledova, 311–334, Springer US. doi:10.1007/978-1-0716-3674-9_20
A multiparametric analysis including single-cell and subcellular feature assessment reveals differential behavior of spheroid cultures on distinct ultra-low attachment plate types
Vitacolonna, M.; Bruch, R.; Agaçi, A.; Nürnberg, E.; Cesetti, T.; Keller, F.; Padovani, F.; Sauer, S.; Schmoller, K. M.; Reischl, M.; Hafner, M.; Rudolf, R.
2024. Frontiers in Bioengineering and Biotechnology, 12. doi:10.3389/fbioe.2024.1422235
2023
Unsupervised GAN epoch selection for biomedical data synthesis
Böhland, M.; Bruch, R.; Löffler, K.; Reischl, M.
2023. Current Directions in Biomedical Engineering, 9 (1), 467–470. doi:10.1515/cdbme-2023-1117
Mask R-CNN Outperforms U-Net in Instance Segmentation for Overlapping Cells
Rettenberger, L.; Münke, F. R.; Bruch, R.; Reischl, M.
2023. Current Directions in Biomedical Engineering, 9 (1), 335–338. doi:10.1515/cdbme-2023-1084
Improving generative adversarial networks for patch-based unpaired image-to-image translation
Böhland, M.; Bruch, R.; Bäuerle, S.; Rettenberger, L.; Reischl, M.
2023. IEEE Access, 11, 127895–127906. doi:10.1109/ACCESS.2023.3331819
Synthesis of large scale 3D microscopic images of 3D cell cultures for training and benchmarking
Bruch, R.; Keller, F.; Böhland, M.; Vitacolonna, M.; Klinger, L.; Rudolf, R.; Reischl, M.
2023. PLOS ONE, 18 (3), Article no: e0283828. doi:10.1371/journal.pone.0283828
2022
Prediction of Fluorescent Ki67 Staining in 3D Tumor Spheroids
Bruch, R.; Vitacolonna, M.; Rudolf, R.; Reischl, M.
2022. Current Directions in Biomedical Engineering, 8 (2), 305–308. doi:10.1515/cdbme-2022-1078
2021
epiTracker: A Framework for Highly Reliable Particle Tracking for the Quantitative Analysis of Fish Movements in Tanks
Bruch, R.; Scheikl, P. M.; Mikut, R.; Loosli, F.; Reischl, M.
2021. SLAS technology, 26 (4), 367–376. doi:10.1177/2472630320977454
2020
Evaluation of semi-supervised learning using sparse labeling to segment cell nuclei
Bruch, R.; Rudolf, R.; Mikut, R.; Reischl, M.
2020. Current directions in biomedical engineering, 6 (3), Art.Nr. 20203103. doi:10.1515/cdbme-2020-3103
Evaluation of Semi-Supervised Learning Using Sparse Labeling to Segmet Cell Nuclei
Bruch, R.; Rudolf, R.; Mikut, R.; Reischl, M.
2020. 54th Annual Conference of the German Society for Biomedical Engineering (DGBMT 2020), Online, 29. September–1. Oktober 2020