Разработка и исследование алгоритмов построения иерархических нейросетевых комплексов для классификации данных физических измерений

Основные результаты работы.

1. Предложена методика решения сложных задач классификации путем построения иерархических нейросетевых комплексов (ИНК). Методика позволяет значительно упростить как решение задачи автоматизации синтеза нейронных сетей, так и решение задачи классификации в целом.

2. Предложена методика постепенного усложнения тренировки НС, позволяющая сформулировать задачу классификации такой сложности, которая была бы адекватна возможностям используемой нейросети.

3. Разработан алгоритм построения архитектуры ИНК, позволяющий преодолеть ряд принципиально важных недостатков и ограничений традиционных нейросетевых подходов при решении широкого круга практических задач. Важными практическими свойствами предложенного подхода являются:

• толерантность к выбору архитектуры НС;

• снижение вероятности попадания в локальный минимум;

• гарантированное высокое качество распознавания;

• значительное снижение вычислительной стоимости построения НС классификатора при большом количестве классов;

• повышение интерпретируемости признаков, по которым НС принимает решение о принадлежности анализируемого образа к тому или иному классу или группе образов.

Получена теоретическая оценка размера скрытого слоя МСП, достаточного для построения ИНК со 100% распознаванием. Эта оценка равна шт (2*Ы, Р-1), где Nразмерность данных, Р — количество примеров.

Предложено обобщение алгоритма построения ИНК для анализа временных рядов с переключающейся динамикой, а также его вариант для анализа временных рядов с дрейфовым характером изменения типа динамики.

5. Алгоритм построения ИНК проверен на ряде модельных задач и на реальных данных, доступных по сети Интернет. Проведены эксперименты по применению разработанных алгоритмов для анализа модельных псевдослучайных рядов, реальных данных биомедицинских и космофизических исследований. Продемонстрированы способность алгоритма обеспечить высокое качество распознавания, возможность построения экономной в вычислительном отношении иерархической структуры классификаторов, а также перспективность и работоспособность описанных алгоритмов для анализа временных рядов в широком круге практических задач. Разработанные методики были успешно применены при решении ряда практических задач, связанных с анализом данных физических измерений в условиях шумов. В первой задаче анализируются слабые электрические сигналы (слуховые вызванные потенциалы) при наличии шума (фоновая активность мозга). Разработана нейросетевая система, служащая для объективной диагностики ухудшения слуха по слуховым вызванным потенциалам. Разработанная диагностическая система была испытана на реальных данных, собранных в клинических условиях. Система позволяет значительно сократить время обследования пациентов и снизить требования к квалификации медицинского персонала, проводящего обследование.

Во второй задаче проводится классификация двумерных спектров флуоресценции в условиях фоновой засветки. Разработана нейросетевая система, служащая для быстрого автоматического определения органических загрязнений в пробах воды при экологическом мониторинге. Полученная в численных экспериментах чувствительность метода достаточна для большинства практических задач. Система не чувствительна к сезонным и географическим вариациям присутствующего в природных водоемах растворенного органического вещества, успешно работает при наличии шума во входных данных и позволяет проводить диагностику в режиме реального времени.

Заключение

.

В настоящей работе были получены следующие основные результаты:

1. D.E. Rumelhart, G.E.Hinton, R.J.Williams. Learning Internal Representations by Error Propagation, in Parallel Distributed Processing: Explorations in the Microstructures of Cognition, Vol.1: Foundations, MIT Press, 1986, pp.318−362.

2. R.P.Lippman. An Introduction to Computing with Neural Nets, IEEE Magazine on Acoustics, Signal, and Speech Processing, 1987, Vol.4, pp.4−22.

3. M.H.Hassoun. Fundamentals of Artificial Neural Networks, MIT Press, 1995.

4. T.Samad. Back Propagation With Expected Source Values, Neural Networks, 1991, Vol.4, No.5, pp.615−618.

5. K. Hornik, M. Stinchcombe, H.White. Multilayer Feedforward Networks are Universal Approximators, Neural Networks, 1989, Vol.2, No.5, pp.359−366.

6. G.Cybenko. Approximation by Superpositions of a Sigmoidal Function, Mathematical Control Signals Systems, 1989, Vol.2, pp.303−314.

7. K.-I.Funahashi. On the Approximate Realization of Continuous Mappings by Neural Networks, Neural Networks, 1989, Vol.2, No.3, pp.183−192.

8. K. Hornik, M. Stinchcombe, H.White. Universal Approximation of an Unknown Mapping and its Derivatives Using Multilayer Feedforward Networks, Neural Networks, 1990, Vol.3, No.5, pp.551−560.

9. R.A. Jacobs. Increased Rates of Convergence Through Learning Rate Adaptation, Neural.

10. Networks, 1988, Vol.1, No, 4, pp.295−307.

11. T.P.Vogl, J.K.Manglis, A.K.Rigler, W.T.Zink, D.L.Alkon. Acceleraring the Convergence of the Back-Propagation Method, Biological Cybernetics, 1988, Vol.59, pp.257−263.

12. M. Riedmiller, H.ABraun. A Direct Adaptive Method for Faster Backpropagation Learning: The RPROP Algorithm, Proc. 1993 IEEE Int. Conf. on Neural Networks, San Francisco, CA, March 28-April 1, 1993, pp.586−591.

13. S.E.Fahlman. Fast Learning Variations ion Back-Propagation: An Empirical Study, Proc. 1988 Connectionist Model Summer School (Pittsburg, 1988), eds. D. Touretzky, G. Hinton, T. Seinowski, Morgan Kaufmann, 1988, pp.38−51.

14. W.Finnoff. Diffusion Approximations for the Constant Learning Rate Backpropagation Algorithm and Resistance to Local Minima, Neural Computation, 1994, Vol.6, No.2, pp.2&5−295.

15. A. von Lehman, E.G.Paek, P.F.Liao, A. Marrakchi, J.S.Patel. Factors Influencing Learning by 4 Back-propagation, Proc. IEEE Int. Conf. on Neural Networks (San Diego, 1988), IEEE, New.

16. York, 1988, Vol.1, pp.335−341.

17. J. Sietsma, R.J.F.Dow. Neural Net Pruning Why and How, Proc. IEEE Int. Conf. on Neural Networks (San Diego, 1988), IEEE, New York, 1988, Vol.1, pp.325−333.

18. S. Becker, Y. le Cun. Improving the Convergence of Backpropagation Learning with Second Order Methods, Proc. 1988 Connectionist Model Summer School (Pittsburg, 1988), eds. D. Touretzky, G. Hinton, T. Seinowski, Morgan Kaufmann, 1988, pp.29−37.

19. R.Battiti. Firstand Second-order Methods for Learning: Between Steepest Descent and Newton’s Method, Neural Computation, 1992, Vol.4, No.2, pp. 141−166.

20. P.P.von der Smagt. Minimization Methods for Training Feedforward Neural Networks, Neural Networks, 1994, Vol.7, No. 1, pp. 1−11.

21. M. Pfister, R.Rojas. Hybrid Learning Algorithms for Neural Networks The Adaptive Inclusion of Second Order Information, Z.Angew.Math.Mech., 1996, Vol.76, Suppl. l, pp.215 218.

22. S.Kirkpatrick. Optimization by Simulated Annealing: Quantitative Studies, Journal of Statistical Physics, 1984, Vol.34, pp.975−986.

23. T.J.Seinowski, P.K.Kienker, G.Hinton. Learning Symmetry Groups with Hidden Units: Beyond the Perceptron, Physica, 1986, Vol.22D, pp.260−275.

24. К 22. RP.Lippman. Review of Neural Networks for Speech Recognition, Neural Computation, 1989, Vol.1, No. l, pp. l-38.

25. J.H.Holland. Adaptation in Natural and Artificial Systems, MIT Press, Second Edition, 1992.

26. D. Whitley, T.Hanson. Optimizing neural Networks Using Faster, More Accurate genetic Search, Proc. 3rd Int.Conf. On Genetic Algorithms (Arlington, 1989), ed. J.D.Schaffer, Morgan Kaufmann, 1989, pp.391−296.

27. G. Mirchandani, W.Cao. On Hidden Nodes for Neural Nets, IEEE Trans. Circuits and Systems, 1989, Vol.36, No.5, pp.651−664.

28. А. А. Ежов, С. А. Шумский. Нейрокомпъютинг и его применения в экономике и бизнесе, М., МИФИ, 1998.

29. Y.S.Abu-Mostafa. Complexity of Random Problems, in Complexity in Information Theory, ed. Y. Abu-Mostafa, Springer-Verlag, Berlin, 1986, pp.115−131.

30. G.E.Hinton. Learning Distributed Representations of Concepts, Proc. 8th Annual Conference of the Cognitive Science Society (Amherst, 1986), Erlbaum, Hillsdale, 1986, pp. 1−12.

31. Y.Chauvin. A Back-Propagation Algorithm with Optimal Use of Hidden Units, in Advances in Neural Information Processing Systems 1 (Denver, 1988), ed. D.S.Touretzky, Morgan Kaufmann, 1989, pp.519−526.

32. S.J.Nowlan, G.E.Hinton. Simplifying Neural Networks by Soft Weight-Sharing, Neural Networks, 1992, Vol.4, No.4, pp.473−493.

33. S.E.Fahlman, C.Lebiere. The Cascade-Correlation Learning Architecture, in Advances in Neural Information Processing Systems 2 (Denver, 1989), ed. D.S.Touretzky, Morgan Kaufmann, 1990, pp.524−532.

34. D. Liu, T.-S.Chang, Y.Zhang. A Constructive Algorithm for Feedforward Neural Networks with incremental Training, IEEE Trans. Circuits and Systems, 2002, Vol.49, No. 12, pp. 18 761 879.

35. J.M.Twomey, AE.Smith. Bias and Variance of Validation Methods for Function Approximation Neural Networks Under Conditions of Sparse Data, IEEE Trans. Systems, Man, and Cybernetics, 1998, Vol.28, No.3, pp.417−429.

36. C. Campbell, C.P.Vicente. The Target Switch Algorithm: A Constructive Learning Procedure for Feed-Forward Neural Networks, Neural Computation, 1995, Vol.7, No.6, pp. 1245−1264.

37. R.Sarukkai. Supervised Networks that Self-Organize Class Outputs, Neural Computation, 1997, Vol.9, No.3, pp.637−648.

38. J. Mao, A.KJain. Artificial Neural Networks for Feature Extraction and Multivariate Data Projection, IEEE Trans. Neural Networks, 1995, Vol.6, No.2, pp.296−316.

39. J.R.Sammon Jr. A Non-Linear Mapping for Data Structure Analysis, IEEE Trans. Computers, 1969, Vol. C-18, pp.401−409.

40. R.O.Duda, P.E.Hart. Pattern Classification and Scene Analysis, John Wiley & Sons, 1973.

41. R.A.Jacobs, M.I.Jordan, A.G.Barto. Task Decomposition Through Competition in a Modular Connectionist Architecture: The What and Where Vision Tasks, Cognitive Science, 1991, Vol.15, pp.219−250.

42. S.-U.Guan, S.Li. Parallel Growing and Training of Neural Networks Using Output Parallelism, IEEE Trans. Neural Networks, 2002, Vol.13, No.3, pp.542−550.

43. L. Hansen, P.Salomon. Neural Network Ensembles, IEEE Trans. Pattern Analysis and Machine Intelligence, 1990, Vol.12, pp.993−1001.

44. T.G.Dietterich. Ensemble Methods in Machine Learning, Proc. 1st Int. Workshop on Multiple Classifier Systems MCS2000, June 21−23 2000, Cagliari, Italy. Eds. J. Kittler and F.Roli. LNCS, Springer-Verlag Berlin Heidelberg 2000, Vol.1857, pp.1−15.

45. K. Tumer, J.Ghosh. Error correlation and Error Reduction in Ensemble Classifiers, Connection Science, 1996, Vol.8, No.3−4, pp.385−404.

46. T.K.Ho. The Random Subspace Method for Constructing Decision Forests, IEEE Trans. Pattern Analysis and Machine Intelligence, 1998, Vol.20, No. 8, pp. 832−844.

47. B. Parmanto, P.W.Munro, H.R.Doyle. Improving Committee Diagnosis with Resampling Technique, in Advances in Neural Information Processing Systems, eds. D.S.Touretzky, M.C.Mozer, M.E.Hesselmo, MIT Press, 1996, Vol.8, pp.882−888.

48. M.D.Richard, R.P.Lippmann. Neural Network Classifiers Estimate Bayesian a posteriori probabilities, Neural Computation, 1991, Vol.3, pp.461−483.

49. S. Hashem, B.Schmeiser. Improving Model Accuracy Using Optimal Linear Combinations of Trained Neural Networks, IEEE Trans. Neural Networks, 1995, Vol.6, No.3, pp.792−794.

50. L. Lam, C.Y.Suen. Optimal Combinations of Pattern Classifiers, Pattern Recognition Letters, 1995, Vol.16, pp.945−954.

51. S.B.Cho, J.H.Kim. Multiple Network Fusion Using Fuzzy Logic, IEEE Trans. Neural Networks, 1995, Vol.6, No.2, pp.497−501.

52. R. Anand, K. Mehrotra, C.K.Mohan, S.Ranka. Efficient Classification for Multiclass Problems Using Modular Neural Networks, IEEE Trans. Neural Networks, 1995, Vol.6, No. l, pp.117 124.

53. T.Kohonen. Self-Organization and Associative Memory. Springer Verlag, Heidelberg, 2nd Edition, 1988.

54. D.S.Lee, S.N.Srihari. Handprinted Digit Recognition: A Comparison of Algorithms, Proc. 3rd Int. Workshop on Frontiers in Handwriting Recognition, Buffalo, USA, May 1993, pp.153−162.

55. S. Yang, K.-C.Chang. Multimodal Pattern Recognition by Modular Neural Networks, Optical Engineering, 1998, Vol.37, No.2, pp.650−658.

56. D.Wolpert. Stacked Generalization, Neural Networks, 1992, Vol.5, No.2, pp.241−259.

57. L.-C.Wang, S.Z.Der, N.M.Nasrabadi. Automatic Target Recognition Using a Feature-Decomposition and Date-Decomposition Modular Neural Network, IEEE Trans. Image Processing, 1998, Vol.7, No.8, pp.1113−1121.

58. P.E.Utgoff. Perceptron Trees: A Case Study in Hybrid Concept Representations, Connection Science, 1989, Vol.1, No.4, pp.377−391.

59. J.A.Sirat, J.-P.Nadal. Neural Trees: A New Tool for Classification, Network, 1990, Vol.1, ц pp.423−448.

60. K.R.Farrell, R.J.Mammone, K.T.Assaleh. Speaker Recognition Using Neural Networks and Conventional Classifiers, IEEE Trans. Speech and Audio Processing, 1994, Vol.2, No. l/II, pp. 194−205.

61. L.W.Chan, F.Fallside. Classification and Regression Tree Neural Networks for Automatic Speech Recognition, Proc. Int. Conf. On Neural Networks INNC90, Paris, France, 1990, Vol.1, pp. 187−190.

62. I.K.Sethi. Entropy Nets: From Decision Trees to Neural Networks, Proc. IEEE, 1990, Vol.78, No. 10, pp. 1605−1613.

63. D. Baratta, M. Valle, D.D.Caviglia. Hierarchical Neural Networks for Quality Control in Steel-Industry Plants, Journal of Microelectronics Systems Integration, 1997, Vol.5, No. l, pp.31−42.

64. T. Li, Y. Tang, L.Fang. A Structure-parameter-adaptive (SPA) Neural Tree for the Recognition of Large Character Set, Pattern Recognition, 1995, Vol.28, No.3, pp.315−329.

65. S. Behnke, N.B.Karayiannis. Competitive Neural Trees for Pattern Classification, IEEE Trans. Neural Networks, 1998, Vol.9, No.6, pp.1352−1369.

66. H.-H.Song, S.-W.Lee. A Self-Organizing Neural Tree for Large-Set Patter Classification, IEEE Trans. Neural Networks, 1998, Vol.9, No.3, pp.369−380.

67. A. Rauber, D. Merkl, M.Dittenbach. The Growing Hierarchical Self-Organizing Map: Exploratory Analysis of High-Dimensional Data, IEEE Trans. Neural Networks, 2002, Vol.13, No.6, pp.1331−1341.

68. G.L.Foresti, C.Micheloni. Generalized Neural Trees for Pattern Classification, IEEE Trans. Neural Networks, 2002, Vol.13, No.6, pp.1540−1547.

69. V.Murino. Structured Neural Networks for Pattern Recognition, IEEE Trans. Systems, Man, and Cybernetics, 1998, Vol.28, No.4, pp.553−561.

70. D. Miller, K.Rose. Hierarchical, Unsupervised Learning with Growing via Phase Transitions, Neural Computation, 1996, Vol.8, No.2, pp.425−450.

71. S.-B.Cho. Evolutionary Modular Neural Networks for Intelligent Systems, Int. Journal of Intelligent Systems, 1998, Vol.13, pp.483−493.

72. Y. Linde, A. Buzo, R.M.Gray. An Algorithm for Vector Quantizer Design, IEEE Trans. Commun., 1980, Vol.28, No. l, pp.84−95.

73. В. С. Казанцев. Задачи классификации и их программное обеспечение. М., «Наука», М 1990.

74. M.Kramer. Nonlinear Principal Component Analysis Using Autoassociative Neural * Networks, AICHE Journal, 1991, Vol.37, pp.233−243.

75. Y. Miyanaga, K.Tochinai. High-Speed and High-Accuracy Learning Using a Self-Organization Network and a Supervised Network, Electronics and Communications in Japan, Part 3, 1996, Vol.79, No.7, pp.41−49.

76. G. Chakraborty, M. Sawada, S.Noguchi. Combining Local Representative Networks to Improve Learning in Complex Nonlinear Learning Systems, IEICE Trans. Fundamentals, 1997, V0I. E8O-A, No.9, pp. 1630−1633.

77. A.S.Weigend, N. AGershenfeld, eds. Time Series Prediction: Forecasting the Future and Understanding the Past, 1994, Addison-Wesley, Reading, MA, USA.

78. A.B.Geva. ScaleNet Multiscale Neural Network Architecture for Time Series Prediction, IEEE Trans. Neural Networks, 1998, Vol.9, N0.6, pp.1471−1482.

79. J.V.Hansen, RD.Nelson. Data Mining of Time Series Using Stacked Generalizers, Neurocomputing, 2002, Vol.43, pp. 173−184.

80. A. Kehagias, V.Petridis. Time-Series Segmentation Using Predictive Modular Neural Networks, Neural Computation, 1997, Vol.9, N0.8, pp.1691−1709.

81. E. Watanabe, N. Nakasako, Y. Mitani, A Prediction Method of Non-Stationary Time Series Data by Using a Modular Structured Neural Network, IEICE Trans. Fundamentals, 1997, V0I. E8O-A, N0.6, pp.971−976.

82. K. Pawelzik, J. Kohlmorgen, K.-R.Muller. Annealed Competition of Experts for a Segmentation and Classification of Switching Dynamics, Neural Computation, 1996, Vol.8, No.2, pp.340−356.

83. Kohlmorgen J., Muller K.-R., Rittweger J., Pawelzik K. Identification of Nonstationary Dynamics in Physiological Recordings, Biological Cybernetics, 2000, Vol.83, pp.73−84.

84. A.A.Deviatov, Yu.V.Orlov, I.G.Persiantsev, S.P.Rebrik, J.S.Shugai. The Diagnostics of Auditory Evoked Potentials, Pattern Recognition and Image Analysis, 1995, Vol.5, No.4, pp. 602−612.

85. D.G.Childers, P. ABloom, A.A.Arroyo et al. Classification of Cortical Responses Using Features from Single EEG Records, IEEE Trans. Biomedical Engineering, 1982, Vol.29, p.423−438.

86. H.F.Li, F.H.Y.Chan, P.W.F.Poon, J.C.Hwang, W.S.Chan. Maximum Length Sequence Applied to the Measurement of Brainstem Auditory Evoked Responses, Journal of Biomedical Engineering, 1988, Vol.10, pp. 14−24.

87. J.R.Boston. Automated Interpretation of Brainstem Auditoiy Evoked Potentials: A Prototype System, IEEE Trans. Biomedical Engineering, 1989, Vol.36, pp.528−532.

88. V.H.Clarson, J.J.Liang. Mathematical Classification of Evoked Potential Waveform, IEEE Trans. Systems, Man, and Cybernetics, 1989, Vol.19, pp.68−73.

89. A.S.Gevins, N.H.Morgan. Application of Neural-Network (NN) Signal Processing in Brain Research, IEEE Trans. Acoustics, Speech and Signal Processing, 1988, Vol.36, pp. 11 521 161.

90. A. Hiraiwa, K. Shimohara, Y.Tokunaga. EEG Topography Recognition by Neural Networks, IEEE Engineering in Medicine and Biology, 1990, Vol.9, No.3, pp. 39−42.

91. R.M.Holdaway, M.W.White, A.Marmarou. Classification of Somatosensory-Evoked Potentials Recorded from Patients with Severe Head Injuries, IEEE Engineering in Medicine and Biology, 1990, Vol.9, No.3, pp.43−49.

92. B.H.Jansen. Artificial Nneural Nets for K-Complex Detection, IEEE Engineering in Medicine and Biology, 1990, Vol.9, No.3, pp.50−52.

93. T. Picton, T.R.Stapells, K.B.Campbell. Auditory Evoked Potentials from Human Cochlea and Brainstem, J.Otolaryngol., 1981, Vol.10 (Suppl.9), pp. 1−41.

94. N. Perrault, T.W.Picton. Event-Related Potentials from the Scalp and Nasopharynx: 1. N1 and P2, Electroencepholog.Clin.Neurophys., 1984, Vol.59, pp. 177−194.

95. K. Squires, K.Hecox. Electrophysiological Evaluations of Higher-Level Auditory Processing, Seminars in Hearing, 1983, Vol.4, pp.415−433.

96. Yu.V.Orlov, I.G.Persiantsev, S.P.Rebrik. Application of Neural Networks to Fluorescent Diagnostics of Organic Pollution in Natural Waters, Proc. RNNS/IEEE Symposium on Neuroinformatics andNeurocomputers, Rostov-on-Don, Oct 7−10 1992, pp.763−773.

97. Yu.V.Orlov, I.G.Persiantsev, S.P.Rebrik. Application of Neural Networks to Fluorescent Diagnostics of Organic Pollution in Natural Waters, Proc. 1993 IEEE Int. Conf. on Neural Networks, San Francisco, CA, March 28-April 1, 1993, pp.1230−1235.

98. Yu.V.Orlov, S.P.Rebrik, I.G.Persiantsev, S.M.Babichenko. Application of Neural Networks to Fluorescent Diagnostics of Organic Pollution in a Water, Proc. SPIE, 1995, Vol.2503, pp.150−156.

99. S. Babichenko, L. Porivkina, Yu. Orlov, I. Persiantsev, S.Rebrik. Fluorescent Signatures in Environmental Analysis, in: Encyclopedia of Environmental Analysis and Remediation. Ed. R.A.Meyers, John Wiley and Sons, Inc. 1998, pp. 1787−1791.

100. F.E.Hoge, R.N. Swift. Experimental Feasibility of The Airborne Measurement of Absolute Oil Fluorescence Spectral Conversion Efficiency, Appl.Opt., 1983, Vol.22, pp.37−47.

101. R.A.Larson, A.L.Rockwell. Fluorescence Spectra of Water Soluble Humic Materials and Some Potential Precursors, Arc.Hydrobiol., 1980, Vol.89, pp.416−425.

102. A.E. Dudelzak, S.M. Babichenko, L.V. Poryvkina, K.U. Saar. Total Luminescent Spectroscopy for Remote Laser Diagnostics of Natural Water Conditions, Appl.Opt., 1991, Vol.30, No.4, pp.453−458.

103. L.V. Poryvkina, S.M. Babichenko, J. J Lapimaa. Spectral Variability of Humus Substance in Marine Ecosystems, AMBIO, 1992, Vol.21, No.7, pp.465−467.

104. S.A.Dolenko, Yu.V.Orlov, I.G.Persiantsev, Yu.S.Shugai, E.K.Eremin. The Perceptron-Based Hierarchical Structure of Classifiers Constructed by the Adaptive Method, Pattern Recognition and Image Analysis, 1997, Vol.7, No. l, pp.24−28.

105. S.A.Dolenko, Yu.V.Orlov, I.G.Persiantsev, Yu.S.Shugai. Use of Self-Organization Principles in Construction of Hierarchical Neural Network Classifiers, Pattern Recognition and Image Analysis, 1998, Vol.8, No.2, pp.122−124.

106. ELENA Enhanced Learning for Evolutive Neural Architecture, ESPRIT Basic Research Project Number 6891, June 1995, ftp://ftp.dice.ucl.ac.be/pub/neural-nets/ELENA/databases.

107. Carnegie-Mellon University Repository of Neural Network Benchmarks. http://www.boltz.cs.cmu.edu.

108. ЛРабинер, Р.Шафер. Цифровая обработка речевых сигналов. Москва, Радио и связь, 1981.

109. H.TraunmuIler. Analytical Expressions For The Tonotopic Sensory Scale, J. Acoust. Soc. Am. 1990, Vol.88, pp.97−100.

110. G.E.Lee, G.D.Tattersall, S.G.Smyth. Isolated Word Speech Recognition Using a Neural Network Based Source Model, ВТ Technol.J., 1992, Vol.10, No.3, pp.38−47.

111. S.A.Dolenko, Yu.V.Orlov, I.G.Persiantsev, Yu.S.Shugai. Development of Adaptive Neural Network Classifiers for Analysis of Time Series, Pattern Recognition and Image Analysis, 1999, Vol.9, No. l, pp.33−34.

112. С. А. Доленко, Ю. В. Орлов, И. Г. Персианцев, Ю. С. Шугай. Анализ временных рядов с помощью иерархических нейросетевых классификаторов, Труды 6-й Всероссийской конференции «Нейрокомпьютеры и их применение» НКП-2000. Сб.докладов. Москва, 2000, стр. 175−179.

113. С. А. Доленко, Ю. В. Орлов, И. Г. Персианцев, Ю. С. Шугай. Нейросетевой анализ данных солнечного ветра, Труды 5-й Международной конференции «Распознавание образов и анализ изображений: новые информационные технологии» в 4 т. Самара, 2000. Т. З, стр.499−503.

114. S.A.Dolenko, Yu.V.Orlov, I.G.Persiantsev, Yu.S.Shugai. Neural Network Analysis of Solar Wind Data, Pattern Recognition and Image Analysis, 2001, Vol.11, No.2, pp.296−299.

115. S.A.Dolenko, Yu.V.Orlov, I.G.Persiantsev, Yu.S.Shugai. Neural Network Analysis of Time Series with Switching Dynamics, Pattern Recognition and Image Analysis, 2003, Vol.13, No. 1, pp. 14−16.

116. S.A.Dolenko, Yu.V.Orlov, I.G.Persiantsev, Yu.S.Shugai. Neural Network Segmentation of Time Series, Pattern Recognition and Image Analysis, 2003, Vol. 13, No.3, pp.433−440.132. http ://www.first .gtnd. de/persons/kohlmorgen.j ens/physiodata. tar. gz.