Skip to main content
SpringerLink
Log in

Simulation Neuronaler Netze auf Massiv Parallelen Rechnern

  • Conference paper
Informatik — Wirtschaft — Gesellschaft

Part of the book series: Informatik aktuell ((INFORMAT))

Abstract

Wir beschreiben hier Erfahrungen mit drei verschiedenen Implementierungen mehrstufiger vorwärtsgerichteter neuronaler Netze auf einem massiv parallelen SIMD-Rechner, einer MasPar MP-1216 mit 16384 Prozessoren. Zwei der Implementierungen wurden als knoten- und trainingsmusterparallele Simulatorkerne des Stuttgarter Neuronale Netze Simulators (SNNS) entwickelt, die dritte war eine kantenparallele Prototyp-Implementierung. Alle parallelen Implementierungen liefern bei optimaler Netztopologie sehr hohe Leistungsdaten: unsere Höchstwerte von 348 MCPS und 129 MCUPS für Backpropagation auf der MP-1216 und von 972 MCPS und 360 MCUPS auf einer MP-2216 gehören zu den weltweit höchsten publizierten Werten für universelle SIMD-Parallelrechner ohne Neuro-Hardware.

This is a preview of subscription content, log in via an institution to check access.

Access this chapter

Log in via an institution
Chapter
USD 29.95
Price excludes VAT (USA)
  • Available as PDF
  • Read on any device
  • Instant download
  • Own it forever
eBook
USD 54.99
Price excludes VAT (USA)
  • Available as PDF
  • Read on any device
  • Instant download
  • Own it forever
Softcover Book
USD 69.99
Price excludes VAT (USA)
  • Compact, lightweight edition
  • Dispatched in 3 to 5 business days
  • Free shipping worldwide - see info

Tax calculation will be finalised at checkout

Purchases are for personal use only

Institutional subscriptions

Preview

Unable to display preview. Download preview PDF.

Unable to display preview. Download preview PDF.

Literatur

  1. Carpenter, G.A., Grossberg, S.: The ART of Adaptive Pattern Recognition by a Self-Organizing Neural Network, IEEE Computer, March 1988, 77–88

    Google Scholar 

  2. G. Chinn, K.A. Grajski, C. Chen, C. Kuszmaul, S. Tomboulian: Systolic Array Implementations of Neural Nets on the MasPar MP-1, MasPar Corp. Int. Report

    Google Scholar 

  3. Fahlman, S.E.: Faster Learning Variations on Backpropagation: An Empirical Study, in [Touretzky et al. 88]

    Google Scholar 

  4. S. E. Fahlman, C. Lebiere: The Cascade Correlation Learning Architecture, Report CMU-CS-90-100, Computer Science, CMU, Pittsburgh, PA 15213, 1991

    Google Scholar 

  5. K.A. Grajski, G. Chinn, C. Chen, C. Kuszmaul, S. Tomboulian: Neural Network Simulation on the MasPar MP-1 Massively Parallel Processor, INNC, Paris, 1990

    Google Scholar 

  6. Hecht-Nielsen, R.: Neurocomputing, Addison-Wesley, 1990

    Google Scholar 

  7. R. Hübner: 3D-Visualisierung der Topologie und der Aktivität neuronaler Netze, Diplomarbeit Nr. 846, Universität Stuttgart, Fakultät Informatik, Jan. 92

    Google Scholar 

  8. M. Hüttel: Parallele Implementierungen mehrstufiger feedforward-Netze auf einem SIMD-Parallelrechner, Studienarbeit Nr. 1124, Univ. Stuttgart, Fak. Informatik, Juli 92

    Google Scholar 

  9. M. Jurik: Backpercolation, (probably unpublished) paper distributed by Jurik Research and Consulting, PO 2379, Aptos, CA 95001 USA

    Google Scholar 

  10. N. Mache: Entwicklung eines massiv parallelen Simulatorkerns für neuronale Netze auf der MasPar MP-1216, Diplomarb. Nr. 845, Univ. Stuttgart, Informatik, Feb. 92

    Google Scholar 

  11. T. Poggio, F. Girosi: A Theory of Networks for Approximation and Learning, A.I. Memo No. 1140, A.I. Lab., M.I.T., 1989

    Google Scholar 

  12. Rumelhart, D.E., McClelland, J.A., the PDP Research Group: Parallel Distributed Processing, Vol. 1, 2, MIT Press, Cambridge MA, 1986

    Google Scholar 

  13. M. Schmalzl: Lernverfahren neuron. Netze mit automatischer Bestimmung der Netzwerktopologie, Diplomarbeit Nr. 968, Univ. Stuttgart, Fakultät Informatik, Jan. 93

    Google Scholar 

  14. O. Schnabel: Sekundärstrukturvorhersage von Proteinen mit Time-Delay-Netz-werken, Studienarbeit Nr. 1097, Univ. Stuttgart, Fak. Informatik, Mai 92

    Google Scholar 

  15. J. Sienel: Kompensation von Störgeräuschen in Spracherkennungssystemen mittels Neuronaler Netze, Studienarbeit 1037, Univ. Stuttgart, Fakultät Informatik, Okt. 91

    Google Scholar 

  16. A. Singer: Implementations of Artificial Neural Networks on the Connection Machine, TMC Tech. Rep. RL 90-2, Jan. 1990 (also in Parallel Computing, Aug. 1990)

    Google Scholar 

  17. Touretzky, D.: Advances in Neural Information Processing Systems 1, Morgan Kaufmann, 1989

    Google Scholar 

  18. Touretzky, D., Hinton, G., Sejnowski, T.: Proc. of the 1988 Connectonist Models Summer School, June 17–26, Carnegie Mellon Univ., Morgan Kaufmann, 1988

    Google Scholar 

  19. A. Veigel: Rotations- und translationsinvariante Erkennung handgeschriebener Zeichen mit neuronalen Netzwerken, Diplomarbeit Nr. 811, Universität Stuttgart, Fakultät Informatik, Sept. 91

    Google Scholar 

  20. M. Vogt: Implementierung und Anwendung von “Generalized Radial Basis Functions” in einem Simulator neuronaler Netze, Diplomarbeit Nr. 875, Univ. Stuttgart, Fakultät Informatik, Jan. 92

    Google Scholar 

  21. A. Waibel: Consonant Recognition by Modular Construction of Large Phonemic Time-Delay Neural Networks, in [Touretzky 89] pp. 215–223

    Google Scholar 

  22. X. Zhang, M. Mckenna, J.P. Mesirov, D. L. Waltz: An efficient implementation of the Back-propagation algorithm on the Connection Machine CM-2, TMC TR

    Google Scholar 

  23. A. Zell, Th. Korb, T. Sommer, R. Bayer: A Neural Network Simulation Environment, Proc. Applications of Neural Networks Conf., SPIE Vol. 1294, pp. 535–544

    Google Scholar 

  24. A. Zell, Th. Korb, N. Mache, T. Sommer: SNNS, Stuttgarter Neuronale Netze Simulator, Nessus-Handbuch, Universität Stuttgart, Fakultät Informatik, Bericht 3/91

    Google Scholar 

  25. A. Zell, N. Mache, T. Sommer, T. Korb: Recent Developments of the SNNS Neural Network Simulator, Applic. of Neural Networks Conf., Proc. SPIE’s 1991 Aerospace Sensing Intl. Symp., Vol. No. 1469, April 1991, Orlando, Florida, pp. 708–719

    Google Scholar 

  26. A. Zell (Ed.), Workshop: Simulation Neuronaler Netze mit SNNS, Univ. Stuttgart, Fakultät Informatik, IPVR, Bericht 10/92, Sept. 1992, 150 pp.

    Google Scholar 

  27. A. Zell, N. Mache, M. Vogt, M. Hüttel: Problems of Massive Parallelism in Neural Network Simulation, Proc. IEEE Int. Conf. on Neural Networks, San Francisco, CA, March 28–April 1, 1993, Vol. 3, pp. 1890–1895

    Google Scholar 

  28. A. Zell, N. Mache, R. Hübner, G. Marnier, M. Vogt, K.-U. Herrmann, M. Schmalzl, T. Sommer, A. Hatzigeorgiou, S. Döring, D. Posselt: SNNS User Manual, Version 3.0, Universität Stuttgart, Fakultät Informatik, Report No. 3/93

    Google Scholar 

  29. P. Zimmerer, A. Zell: Translations- und rotationsinvariante Erkennung von Werkstücken mit neuronalen Netzen, Mustererkennung 1991, 13. DAGM Symposium, Okt 1991, München, Informatik-Fachberichte 290, Springer, pp. 51–58

    Google Scholar 

Download references

Author information

Authors and Affiliations

  1. Institut für Parallele und Verteilte Höchstleistungsrechner (IPVR), Universität Stuttgart, Breitwiesenstr. 20-22, D-70565, Stuttgart, Deutschland

    Andreas Zell, Niels Mache, Markus Hüttel & Michael Vogt

Authors
  1. Andreas Zell
    View author publications

    You can also search for this author in PubMed Google Scholar

  2. Niels Mache
    View author publications

    You can also search for this author in PubMed Google Scholar

  3. Markus Hüttel
    View author publications

    You can also search for this author in PubMed Google Scholar

  4. Michael Vogt
    View author publications

    You can also search for this author in PubMed Google Scholar

Editor information

Editors and Affiliations

  1. Institut für Theoretische Informatik, Technische Universität Dresden, Mommsenstr. 13, 01069, Dresden, Deutschland

    Horst Reichel

Rights and permissions

Reprints and permissions

Copyright information

© 1993 Springer-Verlag Berlin Heidelberg

About this paper

Cite this paper

Zell, A., Mache, N., Hüttel, M., Vogt, M. (1993). Simulation Neuronaler Netze auf Massiv Parallelen Rechnern. In: Reichel, H. (eds) Informatik — Wirtschaft — Gesellschaft. Informatik aktuell. Springer, Berlin, Heidelberg. https://doi.org/10.1007/978-3-642-78486-6_88

Download citation

  • DOI: https://doi.org/10.1007/978-3-642-78486-6_88

  • Publisher Name: Springer, Berlin, Heidelberg

  • Print ISBN: 978-3-540-57192-6

  • Online ISBN: 978-3-642-78486-6

  • eBook Packages: Springer Book Archive

Publish with us

Policies and ethics

Search

Navigation