Datenvergrößerung

Datenvergrößerung In der Datenanalyse werden Techniken verwendet, um die Datenmenge zu erhöhen, indem leicht modifizierte Kopien bereits vorhandener Daten oder neu erstellte synthetische Daten aus vorhandenen Daten hinzugefügt werden. Es wirkt als Regularizer und hilft zu reduzieren Überanpassung Beim Training eines maschinellen Lernmodells.^[1] Es ist eng mit dem verwandt mit Überabtastung in der Datenanalyse.

Synthetische Überabtechniken für traditionelle Techniken maschinelles Lernen

Datenvergrößerung für die Bildklassifizierung

Einführung neuer synthetischer Bilder

Wenn ein Datensatz sehr klein ist, ist eine Version, die mit Rotation und Spiegelung usw. erweitert wird, für ein bestimmtes Problem möglicherweise noch nicht aus. Eine andere Lösung ist die Beschaffung völlig neuer synthetischer Bilder durch verschiedene Techniken, zum Beispiel die Verwendung von generative kontroverse Netzwerke Um neue synthetische Bilder für die Datenerweiterung zu erstellen.^[1] Darüber hinaus zeigen Bilderkennungsalgorithmen eine Verbesserung, wenn sie von Bildern in virtuellen Umgebungen zu realen Daten übertragen werden.^[2]

Datenvergrößerung für die Signalverarbeitung

Rest- oder Blockbootstrap Kann für die Zeitreihenvergrößerung verwendet werden.

Biologische Signale

Die Augmentation der synthetischen Daten ist für die Klassifizierung des maschinellen Lernens von größter Bedeutung, insbesondere für biologische Daten, die tendenziell hohe dimensionale und knappe sind. Die Anwendungen der Roboterkontrolle und -vergrößerung bei behinderten und leistungsfähigen Probanden beruhen immer noch hauptsächlich auf subjektspezifische Analysen. Die Datenknappheit ist bei Signalverarbeitungsproblemen wie bei der Parkinson -Krankheit bemerkenswert Elektromyographie Signale, die schwer zu beziehen sind - Zanini et al. stellte fest, dass es möglich ist, a zu verwenden Generatives kontroverses Netzwerk (insbesondere ein DCGAN), um einen Stilübertragung durchzuführen, um synthetische elektromyografische Signale zu erzeugen, die denen entsprachen, die von Betroffenen an Parkinson -Krankheit ausgestellt wurden.^[3]

Die Ansätze sind auch wichtig in Elektroenzephalographie (Gehirnwellen). Wang et al. Erforschte die Idee, tiefgreifende nervige Netzwerke für die EEG-basierte Emotionserkennung zu nutzen, und zeigen, dass die Emotionserkennung verbessert wurde, wenn die Datenvergrößerung verwendet wurde.^[4]

Ein Vergleich von GPT-2 erzeugten EEG-Signale (links) und echte menschliche Gehirnwellen (rechts) in Bezug^[5].

Es wurde auch angemerkt, dass Openai's GPT-2 Das Modell ist in der Lage, synthetische biologische Signale wie EEG und EMG zu lernen und synthetische biologische Signale zu erzeugen.^[5] In dieser Studie wurde festgestellt, dass die Erkennung durch Datenvergrößerung verbessert wurde. Es wurde auch festgestellt, dass statistisch maschinelles Lernen Modelle, die auf der synthetischen Domäne trainiert wurden, könnten die menschlichen Daten klassifizieren und umgekehrt. Im Bild wird ein Vergleich durch einige Beispiele für EEG angegeben, die vom GPT-2-Modell und eines menschlichen Gehirns erzeugt werden.

Ein häufiger Ansatz besteht darin, synthetische Signale zu generieren, indem Komponenten realer Daten neu angeordnet werden. Lotte^[6] schlug eine Methode von vor "Künstliche Versuchsgenerierung basierend auf Analogie" wo drei Datenbeispiele ${\ displaystyle x_ {1}, x_ {2}, x_ {3}}$ Bieten Sie Beispiele und künstlich ${\ displaystyle x_ {synthetic}}$ wird gebildet, was ist zu ${\ displayStyle x_ {3}}$ was ${\ displayStyle x_ {2}}$ ist zu ${\ displayStyle x_ {1}}$ . Eine Transformation wird an angewendet ${\ displayStyle x_ {1}}$ Um es ähnlicher zu machen wie ${\ displayStyle x_ {2}}$ Die gleiche Transformation wird dann auf angewendet ${\ displayStyle x_ {3}}$ was erzeugt ${\ displaystyle x_ {synthetic}}$ . Es wurde gezeigt, dass dieser Ansatz die Leistung eines linearen Diskriminanzanalyse -Klassifikators für drei verschiedene Datensätze verbessert.

Aktuelle Forschung zeigt, dass sich aus relativ einfachen Techniken große Auswirkungen abgeben können. Zum Beispiel Freer^[7] beobachtete, dass die Einführung von Rauschen in gesammelte Daten zur Bildung zusätzlicher Datenpunkte die Lernfähigkeit mehrerer Modelle verbesserte, die ansonsten relativ schlecht abschnitten. Tsinganos et al.^[8] untersuchten die Ansätze der Größenverzinsung, der Wavelet -Zersetzung und der synthetischen EMG -Modelle (generative Ansätze) für die Handgestikerkennung und fanden eine Erhöhung der Klassifizierungsleistung von bis zu +16%, wenn während des Trainings erweiterte Daten eingeführt wurden. In jüngerer Zeit haben sich die Datenvergrößerungsstudien auf das Gebiet des Deep -Lernens konzentriert, insbesondere auf die Fähigkeit generativer Modelle, künstliche Daten zu erstellen, die dann während des Schulungsprozesses des Klassifizierungsmodells eingeführt werden. Im Jahr 2018 haben Luo et al.^[9] beobachtete, dass nützliche EEG-Signaldaten durch bedingte Wasserstein generative kontroverse Netzwerke (GANs) generiert werden konnten, die dann in das Trainingseinsatz in einem klassischen Lernrahmen für den Zugtest eingeführt wurden. Die Autoren stellten fest, dass die Klassifizierungsleistung verbessert wurde, als solche Techniken eingeführt wurden.

Datenvergrößerung für die Spracherkennung

Es wurde festgestellt Transferlernen aus synthetischen Daten, die über eine Zeichenebene generiert wurden Wiederkehrendes neuronales Netzwerk (RNN).^[10]

Siehe auch

Verweise

^ ^a ^b Shorten, Connor; Khoshgoftaar, Taghi M. (2019). "Eine Umfrage zur Bilddatenvergrößerung für Deep Learning". Mathematik und Computer in der Simulation. Springer. 6: 60. doi:10.1186/s40537-019-0197-0.
^ Bird, Jordan J; Faria, Diego R; Ekart, Aniko; Ayrosa, Pedro PS (2020-08-30). Von Simulation zur Realität: CNN Transferlernen für die Szenenklassifizierung. 2020 IEEE 10. Internationale Konferenz über intelligente Systeme (IS). Varna, Bulgarien: IEEE. S. 619–625.{{}}: CS1 Wartung: Datum und Jahr (Link)
^ Anicet Zanini, Rafael; Luna Colombini, Esther (2020). "Parkinson -Krankheit EMG -Daten Augmentation und Simulation mit DCGans und Stilübertragung". Sensoren. 20 (9): 2605. doi:10.3390/s20092605. ISSN 1424-8220. PMC 7248755. PMID 32375217.
^ Wang, Fang; Zhong, Sheng-Hua; Peng, Jianfeng; Jiang, Jianmin; Liu, Yan (2018). "Datenvergrößerung für die EEG-basierte Emotionserkennung mit tiefen nerven Netzwerken mit tiefem Faltungsverhältnis". Multi Medien Modellieren. Vorlesungsnotizen in Informatik. Vol. 10705. S. 82–93. doi:10.1007/978-3-319-73600-6_8. ISBN 978-3-319-73599-3. ISSN 0302-9743.
^ ^a ^b Bird, Jordan J.; Pritchard, Michael George; Fratini, Antonio; Ekart, Aniko; Faria, Diego (2021). "Synthetische biologische Signale, die von GPT-2 maschinell erzeugt werden, verbessern die Klassifizierung von EEG und EMG durch Datenvergrößerung" (PDF). IEEE -Robotik und Automatisierungsbriefe. 6 (2): 3498–3504. doi:10.1109/lra.2021.3056355. ISSN 2377-3766. S2CID 232373183.
^ Lotte, Fabien (2015). "Signalverarbeitungsansätze zur Minimierung oder Unterdrückung der Kalibrierungszeit in oszillatorischen Aktivität basierenden Hirn-Compute-Schnittstellen". Proceedings of the IEEE. 103 (6): 871–890. doi:10.1109/jproc.2015.2404941. ISSN 0018-9219. S2CID 22472204.
^ Freer, Daniel; Yang, Guang-Zhong (2020). "Datenvergrößerung für die Klassifizierung selbstmotorischer Bilder mit C-LSTM". Journal of Neural Engineering. 17 (1): 016041. Bibcode:2020Jneng..17a6041f. doi:10.1088/1741-2552/AB57C0. HDL:10044/1/75376. ISSN 1741-2552. PMID 31726440.
^ Tsinganos, Panagiotis; Cornelis, Bruno; Cornelis, Jan; Jansen, Bart; Skodras, Athanassios (2020). "Datenvergrößerung der Oberflächenelektromyographie für die Handgestenerkennung". Sensoren. 20 (17): 4892. doi:10.3390/s20174892. ISSN 1424-8220. PMC 7506981. PMID 32872508.
^ Luo, Yun; Lu, Bao-liang (2018). "EEG -Datenvergrößerung für die Emotionserkennung mit einem bedingten Wasserstein Gan". 2018 40. jährliche internationale Konferenz der IEEE Engineering in Medicine and Biology Society (EMBC). Jährliche internationale Konferenz der IEEE Engineering in Medicine and Biology Society. IEEE Engineering in Medicine and Biology Society. Jährliche internationale Konferenz. Vol. 2018. S. 2535–2538. doi:10.1109/embc.2018.8512865. ISBN 978-1-5386-3646-6. PMID 30440924. S2CID 53105445.
^ Bird, Jordan J.; Faria, Diego R.; Premebida, Cristiano; Ekart, Aniko; Ayrosa, Pedro P. S. (2020). "Überwindung der Datenknappheit in der Lautsprecheridentifikation: Datensatzvergrößerung mit synthetischen MFCCs über RNN auf Zeichenebene". 2020 IEEE International Conference über autonome Robotersysteme und Wettbewerbe (ICARSC). S. 146–151. doi:10.1109/ICARSC49921.2020.9096166. ISBN 978-1-7281-7078-7. S2CID 218832459.

[Big_Data_2019_6:60-1] Shorten, Connor; Khoshgoftaar, Taghi M. (2019). "Eine Umfrage zur Bilddatenvergrößerung für Deep Learning". Mathematik und Computer in der Simulation. Springer. 6: 60. doi:10.1186/s40537-019-0197-0.

[bird2020simulation-2] Bird, Jordan J; Faria, Diego R; Ekart, Aniko; Ayrosa, Pedro PS (2020-08-30). Von Simulation zur Realität: CNN Transferlernen für die Szenenklassifizierung. 2020 IEEE 10. Internationale Konferenz über intelligente Systeme (IS). Varna, Bulgarien: IEEE. S. 619–625.{{}}: CS1 Wartung: Datum und Jahr (Link)

[Anicet_ZaniniLuna_Colombini2020-3] Anicet Zanini, Rafael; Luna Colombini, Esther (2020). "Parkinson -Krankheit EMG -Daten Augmentation und Simulation mit DCGans und Stilübertragung". Sensoren. 20 (9): 2605. doi:10.3390/s20092605. ISSN 1424-8220. PMC 7248755. PMID 32375217.

[WangZhong2018-4] Wang, Fang; Zhong, Sheng-Hua; Peng, Jianfeng; Jiang, Jianmin; Liu, Yan (2018). "Datenvergrößerung für die EEG-basierte Emotionserkennung mit tiefen nerven Netzwerken mit tiefem Faltungsverhältnis". Multi Medien Modellieren. Vorlesungsnotizen in Informatik. Vol. 10705. S. 82–93. doi:10.1007/978-3-319-73600-6_8. ISBN 978-3-319-73599-3. ISSN 0302-9743.

[BirdPritchard2021-5] Bird, Jordan J.; Pritchard, Michael George; Fratini, Antonio; Ekart, Aniko; Faria, Diego (2021). "Synthetische biologische Signale, die von GPT-2 maschinell erzeugt werden, verbessern die Klassifizierung von EEG und EMG durch Datenvergrößerung" (PDF). IEEE -Robotik und Automatisierungsbriefe. 6 (2): 3498–3504. doi:10.1109/lra.2021.3056355. ISSN 2377-3766. S2CID 232373183.

[Lotte2015-6] Lotte, Fabien (2015). "Signalverarbeitungsansätze zur Minimierung oder Unterdrückung der Kalibrierungszeit in oszillatorischen Aktivität basierenden Hirn-Compute-Schnittstellen". Proceedings of the IEEE. 103 (6): 871–890. doi:10.1109/jproc.2015.2404941. ISSN 0018-9219. S2CID 22472204.

[FreerYang2020-7] Freer, Daniel; Yang, Guang-Zhong (2020). "Datenvergrößerung für die Klassifizierung selbstmotorischer Bilder mit C-LSTM". Journal of Neural Engineering. 17 (1): 016041. Bibcode:2020Jneng..17a6041f. doi:10.1088/1741-2552/AB57C0. HDL:10044/1/75376. ISSN 1741-2552. PMID 31726440.

[TsinganosCornelis2020-8] Tsinganos, Panagiotis; Cornelis, Bruno; Cornelis, Jan; Jansen, Bart; Skodras, Athanassios (2020). "Datenvergrößerung der Oberflächenelektromyographie für die Handgestenerkennung". Sensoren. 20 (17): 4892. doi:10.3390/s20174892. ISSN 1424-8220. PMC 7506981. PMID 32872508.

[LuoLu2018-9] Luo, Yun; Lu, Bao-liang (2018). "EEG -Datenvergrößerung für die Emotionserkennung mit einem bedingten Wasserstein Gan". 2018 40. jährliche internationale Konferenz der IEEE Engineering in Medicine and Biology Society (EMBC). Jährliche internationale Konferenz der IEEE Engineering in Medicine and Biology Society. IEEE Engineering in Medicine and Biology Society. Jährliche internationale Konferenz. Vol. 2018. S. 2535–2538. doi:10.1109/embc.2018.8512865. ISBN 978-1-5386-3646-6. PMID 30440924. S2CID 53105445.

[BirdFaria2020-10] Bird, Jordan J.; Faria, Diego R.; Premebida, Cristiano; Ekart, Aniko; Ayrosa, Pedro P. S. (2020). "Überwindung der Datenknappheit in der Lautsprecheridentifikation: Datensatzvergrößerung mit synthetischen MFCCs über RNN auf Zeichenebene". 2020 IEEE International Conference über autonome Robotersysteme und Wettbewerbe (ICARSC). S. 146–151. doi:10.1109/ICARSC49921.2020.9096166. ISBN 978-1-7281-7078-7. S2CID 218832459.

[1]

[2]

[3]

[4]

[5]

[6]

[7]

[8]

[9]

[10]