Извлечение знаний из таблиц данных при помощи обучаемых и упрощаемых искусственных нейронных сетей
Диссертация
Предложен ряд методологических приемов, направленных на повышение гибкости процесса извлечения знаний. Рассмотрена итерационная схема усиления требований к качеству решения задач обучающей выборки и извлечения знаний, приводящая к формированию нескольких уровней иерархии правил — от основных, доминирующих правил до корректирующих и уточняющих правил. Предложено конструирование новой нейронной… Читать ещё >
Список литературы
- Лорьер Ж.-Л. Системы искусственного интеллекта. М.: Мир, 1991. — 568с.
- Искусственный интеллект. В 3-х кн. Кн. 2. Модели и методы: Справочник / Под ред. Д. А. Поспелова. М.: Радио и связь, 1990. 304с.
- Хафман И. Активная память. М.: Прогресс. 1986. 309с.
- Бонгард М.М. Проблема узнавания. М.: Наука, 1967. 320с.
- Загоруйко Н.Г. Методы обнаружения закономерностей. М.: Наука, 1981. -115с.
- Гаек П., Г’авранек Т. Автоматическое образование гипотез. М.: Наука, 1984. -278с.
- Гуревич Ю.В., Журавлев Ю. И. Минимизация булевых функций и и эффективные алгоритмы распознавания // Кибернетика. 1974, № 3. — с. 16−20.
- Искусственный интеллект. В 3-х кн. Кн. 1. Системы общения и экспертные системы: Справочник / Под ред. Э. В. Попова. М.: Радио и связь, 1990. 464с.
- Айвазян С.А., Енюков И. С., Мешалкин Л. Д. Прикладная статистика: Основы моделирования и первичная обработка данных. М.: Финансы и статистика, 1983.-471 с.
- Загоруйко Н.Г. Гипотезы компактности и Х-компактности в алгоритмах анализа данных // Сибирский журнал индустриальной математики. Январь-июнь, 1998. Т.1,№ 1.-с.114−126.
- П.Браверман Э. М., Мучник И. Б. Структурные методы обработки эмпирических данных. М.: Наука, 1983. 464с.
- Айвазян С.Д., Енюков И. С., Мешалкин Л. Д. Прикладная статистика: Исследование зависимостей. М.: Финансы и статистика, 1985. 488с.
- Вапник В.Н. Восстановление зависимостей по эмпирическим данным. М.: Наука, 1979. 448с.
- Андерсон Т. Введение в многомерный статистический анализ. М.: Физматгиз, 1963.
- Вапник В.Н., Глазова Т. Г., Кощеев В. А., Михальский А. И., Червоненкис А. Я. Алгоритмы и программы восстановления зависимостей. М.: Наука, 1984. 816с.
- Андерсон Т. Статистический анализ временных рядов. М.: Мир, 1976. 755с.
- Кендалл М.Дж., Стьюарт А. Статистические выводы и связи. М.: Наука, 1973. 900с.
- Рао С. Р. Линейные статистические методы и их применение. М.: Наука, 1968.
- Фёрстер Э., Рёнц Б. Методы корреляционного и регрессионного анализа. М.: Финансы и статистика, 1983. 302с.
- Енюков И.С. Методы, алгоритмы, программы многомерного статистического анализа: пакет ППСА. М.: Финансы и статистика, 1986. -232с.
- Айвазян С.А., Бухштабер В. М., Енюков И. С., Мешалкин Л. Д. Прикладная статистика: Классификация и снижение размерности. М.: Финансы и статистика, 1989. 607с.
- Дуда Р., Харт П. Распознавание образов и анализ сцен. М.: Мир, 1976. 512с.
- Дорофеюк А.А. Алгоритмы автоматической классификации (обзор). -Автоматика и телемеханика, 1971, № 12. с.78−113.
- Хан Г., Шапиро С. Статистические модели в инженерных задачах. М.: Мир, 1969.
- Кендалл М.Дж., Стьюарт А. Теория распределений. М.: Наука, 1966.
- Бендат Д., Пирсол А. Прикладной анализ случайных данных. М.: Мир, 1989. 540с.
- Отнес Р., Эноксон Л. Прикладной анализ временных рядов: основные методы. М.: Мир, 1982! 428с.
- Цыпкин Я.З. Информационная теория идентификации. М.: Наука, 1995. -336с.
- Айзерман М.А., Браверман Э. М., Розоноер Л. И. Метод потенциальных функций в теории обучения машин. М.: Наука, 1970. — 240с.
- Кендалл М.Дж., Стьюарт А. Многомерный статистический анализ. М.: Наука, 1976.
- Журавлев Ю.И. Математические модели в задачах распознавания и классификации. М.: Наука, 1978.
- Рао С. Р. Линейные статистические методы и их применение. М.: Наука, 1968.
- Россиев Д.А. Самообучающиеся нейросетевые экспертные системы в медицине: теория, методология, инструментарий, внедрение. Автореф. дисс.. доктора биол. наук. Красноярск, 1996.
- Горбань А.Н. Обучение нейронных сетей. М.: изд. СССР-США СП «ParaGraph», 1990. 160с. (English Translation: AMSE Transaction, Scientific Siberian, A, 1993, Vol. 6. Neurocomputing, pp. 1−134).
- Горбань A.H., Россиев Д. А. Нейронные сети на персональном компьютере. Новосибирск: Наука, 1996. 276с.
- Нейроинформатика / А. Н. Горбань, B.JI. Дунин-Барковский, А. Н. Кирдин и др. Новосибирск: Наука, 1998. 296с.
- Ежов А.А., Шумский С. А. Нейрокомпьютинг и его применение в финансах и бизнесе. М.: МИФИ, 1998.
- Миркес Е.М. Нейрокомпьютер: проект стандарта. Новосибирск, Наука, 1998.
- Горбань А.Н., Миркес Е. М. Оценки и интерпретаторы ответа для сетей двойственного функционирования. Вычислительный центр СО РАН в г. Красноярске. Красноярск, 1997. 24с. (Рукопись деп. в ВИНИТИ 25.07.97, № 2511-В97).
- Kwon O.J., Bang S.Y. A Design Method of Fault Tolerant Neural Networks / Proc. ICNN 1994, Seoul, Korea. Vol.1. — pp. 396−400.
- Царегородцев В.Г. Технология производства явных знаний из таблиц данных при помощи нейронных сетей // Нейроинформатика и ее приложения: Тезисы докладов VI Всероссийского семинара, 1998 / Под ред.
- А.Н.Горбаня. Красноярск. КГТУ. 1998. 207с. — С. 186−188.
- Царегородцев В.Г. Извлечение явных знаний из таблиц данных при помощи обучаемых и упрощаемых искусственных нейронных сетей / Материалы II научно-практического семинара «Новые информационные технологии». М.: МГИЭМ, 1999, 175с. С.40−50.
- Горбань А.Н., Царегородцев В. Г. Производство явных знаний из таблиц данных с помощью обучаемых разреживаемых нейронных сетей // Всеросс. научно-техн. конф. Нейроинформатика-99. Сборник научных трудов. В 3 частях. Ч.:. М.: МИФИ. 1999. 276с. — С.32−39.
- Царегородцев В.Г. Извлечение явных знаний из таблиц данных при помощи обучаемых и упрощаемых искусственных нейронных сетей // Материалы XII Международной конференции по нейрокибернетике. Ростов-на-Дону. Изд-во СКНЦВШ. 1999.- 323с. — С.245−249.
- Reed R. Pruning Algorithms a Survey / IEEE Trans, on Neural Networks, 1993, Vol.4, № 5. -pp.740−747.
- Depenau J., Moller M. Aspects of Generalization and Pruning / Proc. WCNN'94, 1994, Vol.3, -pp.504−509.
- Proc. IJCNN, Washington, DC, USA, 1989. Vol.2. p.626. 51.1shikawa M. A Structural Connectionist Algorithm with Forgetting / Journal Of
- Seoul, Korea. Vol.1. pp.45−52. 54.1shikawa M. Structural Learning with Forgetting / Neural Networks, 1996, №.9. -pp.509−521.
- Weigend A.S., Rumelhart D.E., Huberman B.A. Generalization by Weights-elimination with Application to Forecasting / Advances in Neural Information Processing Systems. Morgan Kaufmann, 1991. Vol.3. pp. 875−882.
- Weigend A.S., Rumelhart D.E., Huberman B.A. Back-propagation, Weight Elimination and Time-series prediction / Proc. 1990 Connectionist Summer School. Morgan Kaufmann, 1990. pp.65−80.
- Miller D.A., Zurada J.M., Lilly J.H. Pruning via Dynamic Adaptation of the Forgetting Rate in Structural Learning / Proc. IEEE ICNN 1996, Washington, DC, USA. Vol.1.-pp.448−452.
- Yasui S. Convergence Suppression and Divergence Facilitation for Pruning Multi-Output Backpropagation Networks / Proc. 3rd Int. Conf. on Fuzzy Logic, Neural Nets and Soft Computing, Iizuka, Japan, 1994. pp. 137−139.
- Yasui S. A New Method to Remove Redundant Connections in Backpropagation Neural Networks: Inproduction of 'Parametric Lateral Inhibition Fields' / Proc. IEEE INNS Int. Joint Conf. on Neural Networks, Beijing, Vol.2. pp.360−367.
- Yasui S., Malinowski A., Zurada J.M. Convergence Suppression and Divergence
- Facilitation: New Approach to Prune Hidden Layer and Weights in Feedforward
- Neural Networks / Proc. IEEE Int. Symposium on Circuits and Systems 1995, Seattle, WA, USA. Vol.1. pp. 121−124.
- Malinowski A., Miller D.A., Zurada J.M. Reconciling Training and Weight Suppression: New Guidelines for Pruning-efficient Training / Proc. WCNN 1995, Washington, DC, USA. Vol.1. pp.724−728.
- Krogh A., Hertz J. A Simple Weight Decay can Improve Generalization / Advances in Neural Infromation Processing Systems 4, 1992. pp. 950−957.
- Kamimura R., Nakanishi S. Weight-decay as a Process of Redundancy Reduction / Proc. WCNN, 1994, Vol.3. pp.486−489.
- Bebis G., Georgiopoulos M., Kasparis T. Coupling Weight Elimination and
- Genetic Algorithms / Proc. IEEE ICNN 1996, Washington, DC, USA. Vol.2.pp.1115−1120.
- Karnin E.D. A Simple Procedure for Pruning Back-propagation Trained Network / IEEE Trans, on Neural Networks, June 1990. Vol. 1, No.2. pp.239−242.
- Le Cun Y., Denker J.S., Solla S.A. Optimal Brain Damage / Advances in Neural Information Processing Systems 2. Morgan Kaufmann, 1990. — pp.598−605.
- Hassibi В., Stork D.G. Second Order Derivatives for Network Pruning: Optimal Brain Surgeon / Advances in Neural Information Processing Systems 5, 1993. -pp.164−171.
- Hassibi В., Stork D.G., Wolff G. Optimal Brain Surgeon: Extensions and Performance Comparisions / Advances in Neural Information Processing Systems 6, 1994. pp.263−270.
- Гилев C.E. Алгоритм сокращения нейронных сетей, основанный на разностной оценке вторых производных целевой функции // Нейроинформатика и ее приложения: Тезисы докладов V Всеросс. семинара, 1997. Красноярск. КГТУ. 1997. 190с. — С.45−46.
- Tanpraset С., Tanpraset Т., Lursinsap С. Neuron and Dendrite Pruning by Synaptic Weight Shifting in Polynomial Time / Proc. IEEE ICNN 1996, Washington. DC, USA. Vol.2. pp.822−827.
- Kamimura K. Principal Hidden Unit Analysis: Generation of Simple Networks by Minimum Entropy Method / Proc. IJCNN 1993, Nagoya, Japan. Vol.l. — pp.317 320.
- Mozer M.C., Smolensky P. Using Relevance to Reduce Network Size Automatically / Connection Science. 1989. Vol. 1. pp.3−16.
- Mozer M.C., Smolensky P. Skeletonization: A Technique for Trimming the Fat from a Network via Relevance Assessment / Advances in Neural Network Information Processing Systems 1, Morgan Kaufmann, 1989. pp. 107−115.
- Watanabe E., Shimizu H. Algorithm for Pruning Hidden Units in Multi Layered Neural Network for Binary Pattern Classification Problem / Proc. IJCNN 1993, Nagoya, Japan. Vol.1. — pp.327−330.
- Yoshimura A., Nagano T. A New Measure for the Estimation of the Effectiveness of Hidden Units / Proc. Annual Conf. JNNS, 1992. pp.82−83.
- Murase K., Matsunaga Y., Nakade Y. A Back-propagation Algorithm which Automatically Determines the Number of Association Units / Proc. IJCNN, Singapore, 1991. Vol.1. — pp.783−788.
- Matsunaga Y., Nakade Y., Yamakawa O., Murase K, A Back-propagation Algorithm with Automatic Reduction of Association Units in Multi-layered Neural Network / Trans, on IEICE, 1991. Vol. J74-DII, № 8. pp.1118−1121.
- Hagiwara M. Removal of Hidden Units and Weights for Back Propagation Networks / Proc. IJCNN 1993, Nagoya, Japan. Vol.1. — pp.351−354.
- Majima N., Watanabe A., Yoshimura A., Nagano T. A New Criterion «Effectiveness Factor» for Pruning Hidden Units / Proc. ICNN 1994, Seoul, Korea.-Vol.1.-pp. 382−385.
- Царегородцев В.Г. Производство полуэмпирических знаний из таблиц данных с помощью обучаемых искусственных нейронных сетей // Методы нейроинформатики. Красноярск: Изд-во КГТУ, 1998. — 205с. — С. 176−198.
- Engelbrecht А.Р., Cloete I. A Sensitivity Analisys Algorithm for Pruning Feedforward Neural Networks / Proc. IEEE ICNN 1996, Washington, DC, USA, Vol.2, -pp.1274−1278.
- Sietsma J., Dow R.J.F. Neural Net Pruning Why and How / Proc. IEEE IJCNN 1988, San Diego, CA. Vol.1. — pp. 325−333.
- Sietsma J., Dow R.J.F. Creating Artificial Neural Network that Generalize / Neural Networks, 1991. Vol.4, No. 1. pp.67−79.
- Yamamoto S., Oshino Т., Mori Т., Hashizume A., Motoike J. Gradual Reduction of Hidden Units in the Back Propagation Algorithm, and its Application to Blood Cell Classification / Proc. IJCNN 1993, Nagoya, Japan. Vol.3. — pp.2085−2088.
- SarIe W.S. How to measure importance of inputs? SAS Institute Inc., Cary, NC,
- USA, 1999. ftp://ftp.sas.com/pub/neural/importance.html
- Zurada J.M., Malinowski A., Cloete I. Sensitivity Analisys for Minimization of Input Data Dimension for Feedforward Neural Network / IEEE Int. Symposium on Circuits and Systems'94, London, England, 1994.
- Goh T.-H. Semantic Extraction Using Neural Network Modelling and Sensitivity Analisys / Proc. IJCNN 1993, Nagoya, Japan. Vol.1. — pp. 1031−1034.
- Howlan S.J., Hinton G.E. Simplifying Neural Network by Soft Weight Sharing / Neural Computations, 1992. Vol.4. № 4. pp.473−493.
- Keegstra H., Jansen W.J., Nijhuis J.A.G., Spaanenburg L., Stevens H., Udding J.T. Exploiting Network Redundancy for Low-Cost Neural Network Realizations / Proc. IEEE ICNN 1996, Washington, DC, USA. Vol.2. pp.951−955.
- Chen A.M. Lu H.-M., Hecht-Nielsen R. On the Geometry of Feedforward Neural Network Error Surfaces // Neural Computations, 1993. 5. pp. 910−927.
- Гордиенко П. Стратегии контрастирования // Нейроинформатика и ее приложения: Тезисы докладов V Всероссийского семинара, 1997 / Под ред. А. Н. Горбаня. Красноярск. КГТУ. 1997. 190с. — С.69.
- Engelbrecht A.P., Cloete I. Feature Extraction from Feedforward Neural Networks using Sensitivity Analysis / Proc. Int. Conf. on Systems, Signals, Control, Computers. Durban, South Africa, 1998, Vol.2. pp.221−225.
- Engelbrecht A.P. Sensitivity Analysis for Decision Boundaries / Neural Processing Letters, 1999.
- Engelbrecht A.P., Victor H.L. Rule Improvement through Decision Boundary Detection using Sensitivity Analysis / Proc. IWANN, Alicante, Spain, 1999.
- Lozowsk: A., Cholewo T.J., Zurada J.M. Crisp Rule Extraction from Perceptron Network Classifiers / Proc. 1996 IEEE ICNN, Washington, DC, USA. Plenary, Panel and Special Sessions Volume. pp.94−99.
- Matthews C., Jagielska I. Fuzzy Rules Extraction from a Trained Multilayered Neural Network / Proc. ICNN, 1995, Perth, Australia. pp.744−748.
- Mitra S., Pal S.K. Fuzzy Multi-Layer Perceptron, Inferencing and Rule Generation / IEEE Trans, on Neural Networks, 1995. Vol.6, № 1. pp.51−63.
- Lu H., Setiono R., Liu H. Effective Data Mining Using Neural Networks / IEEE Trans, on Knowledge and Data Engineering, 1996, Vol.8, № 6. pp.957−961.
- Duch W., Adamczak R., Grabczewski K. Optimization of Logical Rules Derivedлby Neural Procedures / Proc. 1999 IJCNN, Washington, DC, USA, 1999.
- Sun R., Peterson T. Learning in Reactive Sequential Decision Tasks: the CLARION Model / Proc. 1996 IEEE ICNN, Washington, DC, USA. Plenary,
- Fu L.M. Rule Learning by Searching on Adapted Nets / Proc. AAAI, 1991. -pp.590−595.
- Fu L.M. Rule Generation From Neural Networks / IEEE Trans, on Systems, Man. and Cybernetics, 1994. Vol.24, № 8. pp.1114−1124.
- Yi L., Hongbao S. The N-R Method of Acquiring Multi-step Reasoning Production Rules Based on NN / Proc. 1996 IEEE ICNN, Washington, DC, USA. Vol.2.-pp.1150−1155.
- Towell G. Shavlik J.W., Noodewier M.O. Refinement of Approximately Correct Domain Theories by Knowledge-based Neural Networks / Proc. AAAI'90, Boston, MA, USA, 1990. pp.861−866.
- Towell G., Shavlik J.W. Extracting Refined Rules from Knowledge-based Neural Networks / Machine Learning, 1993. Vol. 13.-pp.71−101.
- Craven M., Shavlik J. Learning Symbolic Rules Using Artificial Neural
- Networks / Proc. 10 Int. Conf. on Machine Learning, Amherst, MA, USA. Morgan Kaufmann, 1993. pp.73−80.
- Craven M., Shavlik J. Using Sampling and Queries to Extract Rules from Trained Neural Networks / Proc. 11 Int. Conf. on Machine Learning, New Brunswick, NJ, USA, 1994. pp.37−45.
- Craven M., Shavlik J. Extracting Tree-structured Representations of Trained Networks / Advances in Neural Information Processing Systems 8, 1996.
- Medler D.A., McCaughan D.B., Dawson M.R.W., Willson L. When Local int’t Enough: Extracting Distributed Rules from Networks / Proc. 1999 IJCNN, Washington, DC, USA, 1999.
- Craven M.W., Shavlik J. W. Extracting Comprehensible Concept Representations from Trained Neural Networks / IJCAI Workshop on Comprehensibility in Machine Learning, Montreal, Quebec, Canada, 1995.
- Kowalczyk A., Ferra H.L., Gardiner K. Discovering Production Rules with Higher Order Neural Networks: a Case Study / Proc. on Machine Learning, 1991. pp.158−162.
- Giles C.L., Miller C., Chen D., Chen H., Sun G., Lee Y. Learning and Extracting Finite State Automata with Second-order Recurrent Neural Networks / Neural Computation, 1992, № 4. -pp.393−405.
- Fu L.M. Integration of Neural Geuristics into Knowledge-based Inference / Connection Science, 1989, № 1. pp.325−340.
- Mahoney J.J., Mooney R.J. Combining Neural and Symbolic Learning to Revise Probabilistic Rule Bases / Advances in Neural Information Processing Systems Morgan Kaufmann, 1993.
- Berenji H.R. Refinement of Approximate Reasoning-based Controllers by Reinforcement Learning / Proc. IIX Int. Machine Learning Workshop, Evanston, IL, USA, 1991. Morgan Kaufmann, 1991. pp.475−479.
- Masuoka R., Watanabe N., Kawamura A., Owada Y., Asakawa K. Neurofuzzy Systems Fuzzy Inference using a Structured Neural Network / Proc. Int. Conf. on Fuzzy Logic & Neural Netwoks, Iizuka, Japan, 1990. — pp. 173−177.
- McMillan С., Mozer M.C., Smolensky P. Rule Induction through Integrated Symbolic and Subsymbolic Processing / Advances in Neural Information Processing Systems 4, Morgan Kaufmann, 1992.
- Scott G., Shavlik J., Ray W. Refining PID Controllers Using Neural Networks / Neural Computation, 1992, Vol. 4. pp. 746−757.
- Wang F., Zhang Q.J. Incorporating Functional Knowledge into Neural Networks / Proc. Intl. Conf. on Neural Networks, Houston TX, USA, 1997. pp.266−269.
- Roscheisen M., Hofmann R., Tresp V. Neural Control for Rolling Mills: Incorporatind Domain Theories to Overcome Data Deficiency / Advances in Neural Information Processing Systems 4, Morgan Kaufmann, 1992.
- Maclin R. Shavlik J. Using Knowledge-based Neural Networks to Improve Algorithms: Refining the Chou-Fasman Algorithm for Protein Folding / Machine Learning, 1993. Vol. 11, № 2,3. pp. 195−215.
- Scott G., Shavlik J., Ray W. Refining PID Controllers Using Neural Networks / Neural Computations, 1992. Vol.5, № 4. pp.746−757.
- Craven M.W., Shavlik J. W. Understanding Time-Series Networks: A Case Study in Rule Extraction / International Journal of Neural Systems, 1997.
- Andrews R., Diederich J., Tickle A.B. A Survey and Critique of Techniques for Extracting Rules from Trained Artificial Neural Networks / Knowledge Based Systems, 1995, № 8. pp.373−389.
- Craven M.W., Shavlik J.W. Using Neural Networks for Data Mining / Future Generation Computer Systems, 1997.
- Craven M.W., Shavlik J.W. Rule Extraction: Where Do We Go From Here? Department of Computer Sciences, University of Wisconsin, Machine Learning
- Research Group Working Paper 99−1. 1999.
- Michalski R.S. A Theory and Methodology of Inductive Learning / Artificial Intelligence, 1983, Vol.20. pp.111−161.
- McMillan C., Mozer M.C., Smolensky P. The Connectionist Scientist Game: Rule Extraction and Refinement in a Neural Network / Proc. XIII Annual Conf. of the Cognitive Science Society, Hillsdale, NJ, USA, 1991. Erlbaum Press, 1991.
- Царегородцев В.Г., Погребная H.A. Нейросетевые методы обработки информации в задачах прогноза климатических характеристик и лесорастительных свойств ландшафтных зон // Методы нейроинформатики. Красноярск. 1998.
- Назимопа Д.И., Царегородцев В. Г. Нейросетевая идентификация зональных групп лесных формаций Сибири // Всеросс. научно-техн. конф. «Нейроинформатика-2000». Сборник научных трудов. В 2-х частях. 4.2. М.: МИФИ, 2000. 236с. — С. 112−119.
- Keller J.M., Tahani Н. Implementation of Conjunctive and Disjunctive Fuzzy Logic Rules with Neural Networks / Int. Journal of Approximate Reasoning, 1992. Vol.6, pp.221−240.
- Nazimova D.I., Andreyeva N.M., Gorozhankina S.M., Polikarpov N.P., Stepanov
- N.V., Tsaregorodtsev V.G. Conceptual and Informational Modelling of Siberian
- Zonal Ecosystems / Proc. Int. Symposium «Biodiversity and Dynamics of Ecosystems in North Eurasia», Novosibirsk, Aug. 2000. Vol.4. Part 1. pp.21−23.
- Царегородцев В.Г. Конструирование стратегий целенаправленногоупрощения обучаемых нейронных сетей // Нейроинформатика и ее приложения: Материалы VIII Всероссийского семинара. Красноярск: КГТУ, 2000. — 204с. — С. 179−181