Zusammenfassung
Vorgeschlagen wird eine aufwandsgünstige und voll-parallel wirkende Realisierung sowohl der Arbeits- als auch der Lernphase von Backpropagation-Netzen in Hardware.
Die in diesen Phasen benötigten zahlreichen arithmetischen Operationen, die bisher typisch durch Programmierung eines Universalrechners realisiert wurden, werden durch stochastische Rechenverfahren ersetzt. Hierdurch werden drastisch einfachere — stochastische — Rechenwerke möglich, die den Anforderungen innerhalb der Netze genügen. Dabei wird eine Codierung unter Beachtung des Vorzeichens benutzt, wodurch ein homogener Netzaufbau ohne Unterscheidung inhibitorischer und exhi-bitorischer Teile möglich wird. Außerdem werden variierbare Nichtli-nearitäten auf Basis stochastischer Automaten eingesetzt. Vergleichbar dem das Training verbessernden Impulsterm wirkt eine serielle Anordnung von — ebenfalls stochastisch realisierten — adaptiven und integrativen Gliedern zur Beeinflussung der Gewichte.
This is a preview of subscription content, log in via an institution to check access.
Access this chapter
Tax calculation will be finalised at checkout
Purchases are for personal use only
Preview
Unable to display preview. Download preview PDF.
Literatur
Alspector, Joshua; Gannett, Joel W.; Haber, Stuart; Parker, Michael B.; Chu, Robert; VLSI-Efficient Technique for Generating Multiple Uncorrelated Noise Sources and Its Application to Stochastic Neural Networks, IEEE Transactions on Circuits and Systems, Vol. 38, No. 1, pp 109 – 123, 1991
Beerhold, J.; Jansen, M.; Eckmiller, R.; Pulse Processing Neural Net Hardware with Selectable Topology and Adaptive Weights and Delays, IEEE Intern. Joint Conf. on Neural Networks II 569 – II 574, San Diego 1990
Brauch, Jeff; Tarn, Simon M.; Holler Mark A.; Shmurun Arthur L.; Analog VLSI Neural Networks for Impact Signal Processing, IEEE Micro, Dez. 1992
Croall, I. F.; Mason, J. P. (Eds.); Industrial Applikations of Neural Networks — Project ANNIE Handbook, Springer-Verlag, Berlin 1992
Eguchi, H.; Futura, T.; Horiguchi, H.; Oteki, S.; Neural Network LSI chip with on-chip learning, IEEE Int. Joint Conf. on Neural Networks I 453 – 456, Singapore 1991
Eguchi, H; Stork, D.G.; Wolff, G.; Precision analysis of stochastic pulse encoding algorithms for neural networks, IEEE Int. Joint Conf. on Neural Networks I 395 – 400, Baltimore 1992
Gaines, B. R.; Stochastic Computing Systems, Advances in Information Systems Science (ed. Tou, Julius T.), Vol. 2, Plenum Press New York 1969
Holler, Mark A.; VLSI Implementations of Learning and Memory Systems: A Review, Proc. Conf. on Neural Information Processing Systems III 993 – 1000, San Mateo CA, Morgan Kaufmann 1991
Holt, Jordan L.; Hwang, Jenq-Neng; Finite Precision Error Analysis of Neural Network Hardware Implementations, IEEE Trans. on Computers, Vol. 42, No. 3, 281 – 290, 1993
Massen, Robert; Zur Problematik des fluidischen Rauschens und seiner Anwendung in der Stochastischen Rechentechnik, Diss., RWTH Aachen 1974
Massen, Robert; Stochastische Rechentechnik — Eine Einführung in die Informationsverarbeitung mit zufälligen Pulsfolgen, Carl Hanser, München 1977
N.N.; NBS Neural Bit Slice MD1220 — Designer’s Reference Manual, Firmenschrift Fa. Micro Devices, Orlando 1990
Murray, Alan F.; Pulse Arithmetic in VLSI Neural Networks, IEEE Micro Mag. Dec. 1989, pp. 64–74 Reprint in Sanches-Sinecio, Edgar; Lau, Clifford Artifical neural networks IEEE Press 1992 ISBN 0–87942–289–0
Rojas, Raul; Theorie der neuronalen Netze: Eine systematische Einführung, Springer Verlag, Berlin 1993 ISBN 3–540–56353–9
Tomlinson, Max Stanford jr.; Implementing Neural Networks, Diss., Univ. of California, San Diego 1988
Shawe-Taylor, John; Jeavons, Pete; van Daalen, Max; Probabilistic Bit Stream Neural Chip: Theory, Connection Science 3 (3) 317 – 328, Abingdon, Oxfordshire 1991
Shawe-Taylor, John; Jeavons, P.; van Daalen, Max; Probabilistic Bit Stream Neural Chip: Implementation, Proc. VLSI for Artifical Intelligence and Neural Networks, (ed. Delgado-Frias, J.G.; Moore, W.R. 1991), Plenum Press, New York 1991
van Daalen, Max; Jeavons, Pete; Shawe-Taylor, John; Cohen, D.; Device for Generating Binary Sequences for Stochastic Computing, Electronics Letters 29 (1) Jan. 1993
Author information
Authors and Affiliations
Editor information
Editors and Affiliations
Rights and permissions
Copyright information
© 1994 Springer-Verlag Berlin Heidelberg
About this paper
Cite this paper
Riemschneider, KR., Zeidler, H.C. (1994). Hardwarerealisierung von Backpropagation-Netzen mittels stochastischer Rechenwerke. In: Reusch, B. (eds) Fuzzy Logik. Informatik aktuell. Springer, Berlin, Heidelberg. https://doi.org/10.1007/978-3-642-79386-8_3
Download citation
DOI: https://doi.org/10.1007/978-3-642-79386-8_3
Publisher Name: Springer, Berlin, Heidelberg
Print ISBN: 978-3-540-58649-4
Online ISBN: 978-3-642-79386-8
eBook Packages: Springer Book Archive