Помощь в написании студенческих работ
Антистрессовый сервис

Разработка и исследование методов прогнозирования на основе SVM-моделей

Диссертация: Разработка и исследование методов прогнозирования на основе SVM-моделей
ДиссертацияПомощь в написанииУзнать стоимостьмоей работы

Апробация работы. Основные результаты диссертации обсуждались наВсероссийских научно-практических конференциях «Информационные технологии в профессиональной, деятельности: и научной работе» (Йошкар-Ола, 2007 и 2009), международной научно-технической конференции «Интеллектуальные системы» (AIS' 07) и «Интеллектуальные САПР» (СAD-2007) (Дивноморск, 2007), конференции «Технологии Microsoft в теории… Читать ещё >

Разработка и исследование методов прогнозирования на основе SVM-моделей (реферат, курсовая, диплом, контрольная)

Содержание

  • Список математических обозначений
  • 1. Исследование и анализ методов прогнозирования временных рядов
    • 1. 1. Решение задачи прогнозирования временных рядов при ограниченном наборе данных
    • 1. 2. Методы обучения и подбора входных параметров SVM-модели
    • 1. 3. Особенности и недостатки программных средств на основе SVM
    • 1. 4. Методы повышения точности прогнозирования SVM

Актуальность темы

Процессы, протекающие в технических, экономических, экологических системах, представляют собой объекты с большим количеством внутренних связей, которые находятся в постоянном взаимодействии друг с другом и могут рассматриваться в качестве динамических. Данные, накапливаемые при их изучении, могут представлять собой временные ряды^ отражающие процесс развития системы. В: связи с этим проблема разработки и совершенствования методов прогнозирования временных рядов, применяемых при изучении сложных динамических систем с целью повышения эффективности их функционирования, является актуальной.

Известные технологии прогнозирования, включающие сплайны и методы, основанные, на декомпозиции" в ортогональные системы, характеризуются тем, что при увеличении сложности исследуемой системы числоиспользуемых коэффициентов, приобучении растет экспоненциально (феномен «проклятия < размерности»), что значительно ограничивает область применения таких решенийПри использовании нейронных сетей необходимозаранеевыбрать ее архитектуру или иметь некоторый эвристический метод для. ее: изменения/ однако, даже в: этом: случае «сложно обосновать, что предложенная архитектура сети является оптимальной, так. как. всегда существует вероятность того, что при обучении сети будет найден локальный минимум:. • Метод опорных векторов': (SVM) свободен ог перечисленных недостатков' и позволяет получить уникальное решение, при построении. прогнозирующейгмодёлш ф рамкахданного^ направления: были достигнуты успехи в областипрогнозированиям сложных' динамических • систем. Большой вклад вфазвитие теоретичёёкихбосновр ЗУМ внесли отечественные ученые: В. Вапник и А. Червоненкис. Вопросам, усовершенствования: и модификации работы SVM посвящены труды Б. Босера, И. Гуйона, К. Воронцова.

Ю. Лифшица, Б. Шолькопфа, А. Смолы, К. Бишопа, М. Типпинга, и др. Задачами оптимизации SVM занимаются В. Вапник, Дж. Платт, Э. Осуна. На сегодняшнийдень являются) актуальными задачи разработки и совершенствования методов и алгоритмов обучения и поиска входных параметров прогнозирующей модели SVM: Известные методы, применяемые для решения этого вопроса, такие как перекрестная проверка, «выборки с замещением» (bootstrap), методы, базирующиеся на оценке размерности Вапника-Червоненкиса, обладают рядом недостатков^ связанных как со скоростью их работы, так и с точностью найденных значений. Решение данных задач позволит повысить точность прогноза^ т. е. уменьшить среднеквадратическую ошибку между реальными и прогнозными значениями и увеличить скорость обучения SVM. Кроме того, для повышения качества и стабильности прогнозирования является необходимым исследование методовпостроения комбинированных прогнозов на основе использования различных SVM-моделей.

Целью диссертационной работы является, исследование, и разработка, методов повышения точности прогнозирования сложных динамических систем путемиспользования оригинальных методов обученияи подбора входных параметров SVM-модели и построениякомбинированных прогнозов.

В соответствии с поставленной. целью в диссертационной работе решаются следующие задачи:

— анализ: методов прогнозирования временных рядов с возможностью применения8? Мвпроцессематематическогомоделированияисследование методов, применяемых: при?-обучении и подборе-входных параметров SVM-моделиа также выявление, их особенностей. и недостатков- 7 '•'': ¦ '••-.Г:.-.

— разработка метода обучения. и подбора входных параметров SVM, позволяющего увеличить скорость. обучения модели и повысить точность прогноза;

— исследование методов, оценки эффективности альтернативных SVM-моделей;

— разработка и исследование методов повышения точности и стабильности прогнозирования временных рядов путем интеграции различных SVM-моделей и построения комбинированных прогнозов;

— разработка программного обеспечения для прогнозирования временных рядов на основе SVM с учетом поиска входных параметров модели и возможностью построения комбинированных прогнозов;

— апробация результатов исследования, проведение вычислительных экспериментов^ подтверждающих эффективность используемых методов и алгоритмов.

Объектом исследования являются физические, природные и промышленные процессы, протекающие в различных динамических системах и представленные в виде временных рядов:

Предметом исследования являются методы и алгоритмы поиска входных параметров SVM-модели и построения комбинированных прогнозов, SVM-модели временных рядов различных видов:

Методы исследования. Выполненные исследования базируются на использовании метода опорных векторов, теории вероятности, математической статистики, теории нелинейных динамических систем и статистического обучения. •.

Положения, выносимые на защиту:

— метод обучения и подбора входных параметров SVM-модели;

— критерий Eff длясравнения эффективности альтернативных SVM моделей- ','''/ v^V '¦'•':.-. /' •." ',. ••>." /'''¦' '—VV-. V 7.

— комбинированный метод прогнозирования наг основе итеративного и прямого подходов.

Научная новизна. В работе получены следующие новые научные результаты:

— разработан метод обучения и подбора входных параметров SVM, отличающийся от известных тем, что позволяет учитывать текущее состояние динамической системы и требует меньшего времени обучения модели по сравнению с перекрестной проверкой, скользящим контролем и выборкой с замещением;

— предложен критерий Eff для сравнения эффективности альтернативных SVM-моделей, учитывающий одновременнокак ошибку, так и сложность модели;

— предложен комбинированный метод прогнозирования, основанный на интеграции итеративного и прямого: подходов^ позволяющий снизить среднеквадратическую ошибку SVM-модели на тестовых данных.

Достоверность и обоснованность научных результатов и выводов основаны на адекватностиматематических моделейсоответствии результатов ' вычислительных экспериментов реальным? данным и подтверждены апробацией результатов диссертационной работы, на научно-практических конференциях... :

Практическая значимость. Разработаны специализированные алгоритмы, обучения и подбора/ входных параметров SVM-модели, построения комбинированныхпрогнозовДанные — алгоритмы были реализованыв программном? обеспечении- .позволяющем. осуществлять: формирование обучающих выборок: на основе имеющихся временных рядов, их предварительный анализ и коррекцию: формирование. и оптимизацию? входныхпараметров SVM-m од ели. и ее обучениеанализ, ипрогнозирование: вреМенных рядовшаЮсновешолученноймодели^—. ¦ ч ч’чч-Чч ':'.'.• С • помощью разработанного. программного' обеспечениям'- было ¦ проведенопрогнозирование реальных и смоделированных временных рядов? • на. основе построенных: S VM-моделей вместе с их: входнымипараметрами, основанных на теоретических (полигармонических и хаотических рядах) и реальных данных (процесса флуктуации лазера дальнего инфракрасного диапазона, потребления электроэнергии, колец деревьев).

Получены акты о внедрении результатов диссертационной работы в виде программной библиотеки SVM в: Санкт-Петербургском филиале Учреждения Российской Академии Наук «Институт земного магнетизма, ионосферы и распространения радиоволн им. Н. В. Пушкова РАН», Марийском государственном техническом университете и ОАО «Инвестиционная компания «Земля-Инвест».

Публикация результатов. По результатам диссертации опубликовано 7 статей (1 статья в издании из Перечня ВАК для публикации научных результатов диссертаций на соискание ученой степени доктора и кандидата наук), получено 1 свидетельство о государственной регистрации программы для ЭВМ № 2 009 616 227.

Апробация работы. Основные результаты диссертации обсуждались наВсероссийских научно-практических конференциях «Информационные технологии в профессиональной, деятельности: и научной работе» (Йошкар-Ола, 2007 и 2009), международной научно-технической конференции «Интеллектуальные системы» (AIS' 07) и «Интеллектуальные САПР» (СAD-2007) (Дивноморск, 2007), конференции «Технологии Microsoft в теории и практике программирования» (Нижний Новгород, 2007).

Реализация и внедрение результатов работы. Результаты работы внедрены в учебный процесс Марийскогогосударственного технического университета, Санкт-Петербургскогофилиала .Учреждения Российской Академии Наук «Институт земного магнетизма,-, ионосферы и распространения? радиоволн им:.Н. В. Пушкова РАН"' и производственный пррцесс-(c)А0ч<�Инвестйционная|ко^ : — • - V <':

Объем и структу раработы. Диссертация включает в себя-'введение, — 4 главы, заключение, список литературы из 133. наименований и 3 приложения. Работа изложена на 143 страницах, содержит 57' рисунков и 20 таблиц.. •':

Основные результаты и выводы по главе.

1. Разработано программное обеспечение, позволяющее проводить подготовку исходных данных к последующей обработке, подбор подходящих входных параметров SVM-модели, прогнозирование временных рядов и объединение результатов в один прогноз.

2. Рассмотрен метод ускорения скорости обучения SVM-моделей при использовании алгоритма Alpha Seeding.

3. Проведено сравнение эффективности прогнозирования с помощью SVM-моделей и предложенного метода обучения и подбора входных параметров с результатами других исследователей на примере процесса физического временного ряда, представленного процессом флуктуации лазера.

4. Показана эффективность комбинированного метода прогнозирования на различных временных рядах, взятых из биологии и промышленности. Применение комбинированного прогноза для промышленного' временного ряда улучшило точность, на 15% и 33% по сравнению с итеративным и прямым методами, соответственно.

5. В ходе вычислительных экспериментов продемонстрирована эффективность предложенных SVM-моделей, алгоритмов и программ для реальных временных рядов из различных областей: промышленности, биологии и физики.

Заключение

.

1. Показано, что в условиях ограниченного набора исходных данных необходимо руководствоваться не принципом эмпирической минимизации риска, используемого в классических методах, а принципом структурной минимизации риска, реализованного в рамках метода опорных векторов.

2. Выявлен ряд недостатков, связанных со сложностью выбора входных параметров SVM-модели, а также неоптимальным выбором области для тестирования разных прогнозирующих моделей для выявления наилучшей.

3. Разработан метод обучения и подбора входных параметров SVM, обеспечивающий адаптацию модели к исходным данным за счет выделения похожих участков и обучения на их основе. Это позволило учитывать как глобальную, так и локальную динамику исследуемых процессов (физических, природных, промышленных и модельных рядов). Время обучения модели сократилось в среднем в 3 раза для полигармонических и хаотических временных рядов.

4. Предложен критерий Eff для сравнения эффективности альтернативных SVM-моделей, учитывающий в равной степени сложность модели и ошибку на тестовых данных. Выявлено, что известные критерии AIC и BIC не учитывают особенности SVM-моделей и поэтому в ряде случаев могут обеспечивать неоптимальный’результат.

5. Показано, что исследования, в области ансамблейпредикторов, проводимые в рамках технологии Boosting и Bagging, могут повысить точность прогнозирования, а также повысить эффективность использования SVM-моделей.

6. Разработан комбинированный метод повышения точности прогнозирования временных рядов на основе SVM, заключающийся в интеграции итеративного и прямого подходов. Данный метод позволил уменьшить значение нормализованной среднеквадратической ошибки на модельных и реальных временных рядах. Точность прогноза для промышленного временного ряда увеличилась в среднем на 24%.

7. Сформулирован критерий, позволяющий определить границы применимости предложенного комбинированного метода. Использование данного критерия позволяет заранее определить, что объединение итеративного и прямого методов не позволит повысить точность прогнозирования.

8. Предложен алгоритм нормализации исходных данных, позволяющий уменьшить ошибку прогнозирования. На модельных данных значение нормализованной среднеквадратической ошибки уменьшилось на 39% по сравнению с исходным временным рядом.

9. Разработано программное обеспечение, реализующее предложенные методы и алгоритмы и позволяющее проводить подготовку исходных данных к последующей обработке, поиск входных параметров SVM-модели, прогнозирование временных рядов и объединение результатов в один прогноз.

10. В ходе вычислительных экспериментов продемонстрирована эффективность предложенных SVM-моделей, алгоритмов и программ для модельных (полигармонических и хаотических) и реальных временных рядов из различных областей: промышленности, биологии и физики.

Показать весь текст

Список литературы

  1. , С. А. Прикладная статистика и основы эконометрики: Учебник для вузов. — М.: Юнити, 1998. — 1022 с.
  2. , В.Н. Анализ временных рядов и прогнозирование: Учеб-ник / В. Н. Афанасьев, М. М. Юзбашев. М.: Финансы и статистика, 2001.-228 с.
  3. , Дж. Анализ временных рядов. Прогноз и управление / Дж. Бокс, Г. Дженкинс. М.: Мир. — 1974. — 604 с.
  4. , А. И. К вопросу систематизации методов и алгоритмов прогнозирования // Материалы межрегиональной конференции «Студенческая наука экономике научно-технического прогресса». -Ставрополь: СевКав ГТУ, 2001. — С. 33−34.
  5. Буч, Г. Объектно-ориентированный анализ и проектирование с примерами приложений на С++ / Г. Буч. М.: Издательство Бином. — 1999. — 720 с.
  6. , В. Н. Теория распознавания образов / В. Н. Вапник, А. Я. Червоненкис. -М.: Наука, 1974. 416 с.
  7. , В.Н. Восстановление зависимостей по эмпирическим данным / В. Н. Вапник. М.: Наука, 1979. — 448 с.
  8. , Т. А. Статические методы прогнозирования в экономике / Т. А. Дуброва. М.: Московский международный институт эконометрики, информатики, финансов и права, 2003. — 50 с.
  9. Дюк, В. Data Mining: учебный курс / В. Дюк, А. Самойленко. СПб.: Питер, 2001.-367 с.
  10. , JI. Идентификация систем. Теория для пользователя / Л. Льюнг. М.: Наука, 1991.-- 320 с.
  11. , Н. Ш. Эконометрика / Н. Ш. Кремер, Б. А. Путко. М.: ЮНИТИ, 2002.-311 с.
  12. , И.В. Экономико—математические методы и модели. Выполнение расчетов в среде EXCEL / Практикум: Учебное пособие для вузов. -М.: ЗАО «Финстатинформ», 2000. 136 с.
  13. , Р. Прикладной анализ временных рядов / Р. Отнес, JI. Эноксон. М.: Мир, 1982. — 429 с.
  14. , Э. Хаос и порядок на рынках капитала. Новый аналитический взгляд на циклы, цены и изменчивость рынка / Э. Петере. -М.: Мир, 2000.-333 с.
  15. , М. П. Модификация критерия Мэллоуза-Акаике для подбора порядка регрессионной модели / М. П. Стадник // Автоматика и телемеханика. 1988. — № 4. — С. 44−45.
  16. , Э. Е. Методы прогнозирования в условиях рынка: учебное пособие / Э. Е. Тихонов. Н.: Невинномысск, 2006. -221 с.
  17. , Ю. Н. Анализ данных на компьютере / Ю. Н. Тюрин, А. А. Макаров. М.: ИНФРА-М, 2003. — 544 с.
  18. , Я. 3. Основы информационной теории идентификации / Я. 3. Цыпкин. М.: Наука, 1984. — 320 с.
  19. , Д.С. Метод прогнозирования временных рядов с использованием кусочно-линейной аппроксимации / Д. С. Шумков, И. Г. Сидоркина // Вестник Чувашского университета. Чебоксары, 2008. — № 2.-с. 199−203.
  20. , Д.С. Философия информационной безопасности:прогнозирование событий на основе накопленной информации /
  21. Д.С. Шумков, А. В. Егошин, И. Г. Сидоркина // Йошкар-Ола: материалы, региональной научно—практической конференции студентов и молодых ученых. Йошкар-Ола: Марийский^ государственный технический университет, 2007. — с. 257 — 261.
  22. Abarbanel, H.D.I. Analysis of, observed chaotic data / H.D.I: Abarbanel. first ed. — New York: Springer, 1996.
  23. Abe, S. Support vector machines for pattern classification / S. Abe. -New York: Springer, 2005. 350 p.
  24. Angeline, P.J. Evolving predictors for chaotic time series / P.J. Angeline- S. Rogers, D. Fogel, J. Bezdek, and B. Bosacchi, eds. Proceedings of SPIE: Application and Science of Computational Intelligence, vol. 3390. — 1998. -p. 170−180.
  25. Anguita, D. Evaluating the generalization ability of Support Vector Machines through the Bootstrap / D. Anguita, A. Boni, S. Ridella // Neural Processing Letters. 2000. — № 11.-p. 51−58, 162, 168, 170.
  26. Anguita, D. Hyperparameter design criteria for support vector classifiers / D. Anguita, S. Ridella, F. Rivieccio, R. Zunino // Neurocomputing. 2003. -№ 51. -p. 109−134, 162, 171.
  27. Anthony, M. Cross-validation for binary classification by real-valued functions: theoretical analysis / M. Anthony, S.B. Holden // Proc. of the 11th Conf. on Computational Learning Theory. 1998. — p. 218−229, 167.
  28. Aussem, A. Dynamical recurrent neural networks towards prediction and modeling of dynamical systems / A. Aussem // Neurocomputing. 1999. -№ 28.-p. 207−232.
  29. Bartlett, P. Model selection and error estimation / P. Bartlett, S. Boucheron, G. Lugosi // Machine Learning. 2001. — № 48. — p. 85−113.
  30. Bengio, Y. No unbiased estimator of the variance of K-fold cross validation / Y. Bengio, Y. Grandvalet // Advances of Neural Processing Systems. -The MIT Press, 2004 № 16. — p. 166, 168.
  31. Blum, A. Beating the hold-out: bounds for K-fold and progressive cross-validation / A. Blum, A. Kalai, J. Langford // Proc. of the 12th Conf. on Computational Learning Theory. 1999. — p. 203−208, 166.
  32. Bontempi, G., Birattari, M. A multi-step-ahead prediction method based4 on local dynamic properties / G. Bontempi, M. Birattari // ESANN 2000 Proceedings European Symposium on Artificial Neural Networks. — 2000. -p. 311−316.
  33. Boser, В A training algorithm for optimal margin classifiers / B. Boser // Proceedings of the 5th Annual ACM Workshop on Computational Learning Theory. ACM Press, 1992.-p. 144−152.
  34. Bousquet, O. Introduction to Statistical Learning Theory / O. Bousquet, S. Boucheron, G. Lugosi // Advanced Lectures on Machine Learning Lecture. -Germany, 2004. p. 169−207.
  35. Bousquet, O. Stability and generalization / O. Bousquet, A. Elisseeff// Journal of Machine Learning Research. 2002. — № 2. — p. 499−526, 168.
  36. Breiman, L. Bagging Predictors / L. Breiman // Machine Learning. -1996. -№ 24. -p. 123−140.
  37. Burges, C. J. A tutorial on support vector machines for pattern recognition, 1998.
  38. Cao, L. Support vector machines experts for time series forecasting / Cao L. // Neurocomputing. 2003. — № 51. — p. 321−339.
  39. Castillo, E. A minimax method for learning functional networks / J. M. Gutierrez, A. Cobo, C. Castillo // Neural Process. Lett. 11. 2000. — № 1. -p. 39−49.
  40. Cauwenberghs, G. Incremental and decremental support vector machine learning / G. Cauwenberghs, T. Poggio // Advances in Neural Information Processing Systems (NIPS 2000). -2001. -№ 13. p. 409−415.
  41. Chalimourda, A. Experimentally optimal in support vector regression for different noise models and parameter settings / A. Chalimourda, B. Scholkopf, A. Smola//Neural Networks. -2004. -№ 17 (1). p. 127−141.
  42. Chang, C.-C. LIBSVM: a Library for Support Vector Machines / CC. Chang, C.-J. Lin // Dept. of Computer Science and Information Engineering. -National Taiwan University. Режим- доступа: www/URL: http://csis.ntu.edu.tw/~cjlin. — 10.10.2007 г.
  43. Chapelle, О. Choosing multiple parameters for support vector machines / O. Chapelle, V. Vapnik, O. Bousquet, S. Mukherjee // Machine Learning. 2002. -№ 46 (1−3).-p. 131−159.
  44. Cherkassky, V. Practical selection of svm parameters and noise estimation for svm regression / V. Cherkassky, Y. Ma // Neural Networks. 2004. -№ 17 (1). -p.l 13−126.
  45. Corona, F. Variable scaling for time series prediction / F. Corona, A. Lendasse // Proc. ESTSP 2007. 2007. — p. 69−76.
  46. Cortes, C. Support vector networks / C. Cortes, V. Vapnik // Machine Learning. 1995. -№ 20. — p. 1−25.
  47. Cristianini, N. An introduction to support vector machines and other kernel-based learning methods / N. Cristianini, J. Shawe-Taylor. Cambridge University Press, 2001. — p. 160.
  48. De Coste, D. Alpha seeding for support vector machines / D. De Coste, K. Wagstaff// Proc. of the 6th ACM SIGKDD Int. Conf. on Knowledge Discovery and Data Mining. 2000. — p. 345−349.
  49. Duan, K. Evaluation of simple performance measures for tuning svm hyperparameters / K. Duan, S. Keerthi, A. Poo // Neurocomputing. 2003. — № 5. -p. 41−59.
  50. Dudul, S.V. Prediction of a lorenz chaotic attractor using two-layer perceptron neural network / S.V. Dudul // Applied Soft Computing. 2004.
  51. Dudley, R. Central limit theorems for empirical measures // Annals of Probability. 1978. — № 6. — p. 899−929.
  52. Efron, B. An introduction to the Bootstrap / B. Efron, R. Tibshirani. -Chapman and Hall, 1993.
  53. Engel, Y. The kernel recursive least-squares algorithm / Y. Engel, S. Mannor, R. Meir // IEEE Transaction on Signal Processing 52. 2004. — № 8. -p. 2275−2285.
  54. Floyd, S. Sample compression, learnability, and the Vapnik-Chervonenkis dimension / S. Floyd, M. Warmuth // Machine Learning. 1995. — № 21-p. 269−304.
  55. Farmer, J.D. Predicting chaotic time series / J.D. Farmer, J.J. Sidorowich // Physical Review Letters. 1997. — № 8. — p. 845−848.
  56. Fernandez, R. Predicting time series with a local support vector regression machine / R. Fernandez. Springer, 1999. -170 p.
  57. Fletcher, R. Practical methods of optimization / R. Fletcher. 2nd ed. -John Wiley & Sons Ltd., Chichester, 1987. — 425 p.
  58. Gers, F. A. Applying LSTM to time series predictable through time-window approaches / F.A. Gers, D. Eck, J. Schmidhuber // Lecture Notes in Computer Science. 2001. — 669 p.
  59. Gine, E. Some limit theorems for empirical processes / E. Gine, J. Zinn // Annals of Probability. 1984. -№ 12. — p. 929−989.
  60. Grassberger, P. Measuring the strangeness of strange attractors / P. Grassberger, I. Procaccia // Physica D. 1983. — № 9. — p. 189−208.
  61. Gunn, S. Support vector machines for classification and regression / S. Gunn. Tech. report, Department of Electronics and Computer Science, University of Southampton, 1998. — 56 p.
  62. Han, M. Prediction of chaotic time series based on the recurrent predictor neural network / M. Han, J. Xi, F. Yin // IEEE Transactions on Signal Processing 52. 2004. — № 12. — p. 3409−3416.
  63. Hastie, T. The Elements of Statistical Learning / T. Hastie, R. Tibshirani, J. Friedman. Springer, 2001. — 533 p.
  64. Hegger, R. Practical implementation of nonlinear time series methods: The tisean package / R. Hegger, H. Kantz, T. Schreiber // Chaos 9. 1999. — № 2. -p. 413−435.
  65. Henon, M. A two-dimensional mapping with a strange attractor / M. Henon. Comm.Math.Phys. 50. — 1976. — № 1. — p. 69−77.
  66. Herbrich, R. Learning Kernel Classifiers / R. Herbrich. The Mit Press. -2002.-p. 160.
  67. Huber, P. Robust estimation of location parameter / P. Huber. Annals of Mathematical Statistics 35. — 1964. — p. 73−101.
  68. Joachims, T. Making large-scale svm learning practical / T. Joachims, B. Scholkopf, C. Burges, A. Smola eds. // Advances in Kernel Methods Support Vector Learning. — 1999. — p. 169−184.
  69. Joachims, T. The maximum-margin approach to learning text classifiers: method, theory and algorithms: Ph.D. thesis / T. Joachims. University of Dortmund, 2001.
  70. Kohavi, R. A study of cross-validation and boostrap for accuracy estimation and model selection / R. Kohavi // Proc. of the Int. Joint Conf. on Artificial Intelligence. 1995. — p. 164.
  71. Kohlmorgen, J. Data set a is a pattern matching problem / J. Kohlmorgen, K. -R. Miiller // Neural Process. Lett. 7. 1998. — № 1. — p.43−47.
  72. Koltchinskii, V. Rademacher penalties and structural risk minimization // IEEE Transactions on Information Theory. 2001. — № 47. — p. 1902−1914.
  73. Kugiumtzis, D. Chaotic time series: Part i. estimation of invariant properties in state space, / D. Kugiumtzis, B. Lillekjendlie, N. Christophersen // Modeling, Identification and Control 15. 1994. — № 4. — p. 205−224.
  74. Kwok, J. Linear dependency between and the input noise in the support vector regression / J. Kwok // IEEE Transactions on Neural Networks ICANN 2001, 2003.-p.405−410.
  75. Langford, J. Quantitatively tight sample bounds / J. Langford. -Carnegie Mellon University, 2002.-p. 163, 172.
  76. Lapedes, A. How neural nets work / A. Lapedes, R. Farber. Neural Information Processing Systems, 1987. — p. 442−456.
  77. Lillekjendlie, B. Chaotic time series: System identification and prediction / B. Lillekjendlie, D. Kugiumtzis, N. Christophersen // Modeling, Identification and Control 15. 1994. — № 4. — p. 225−243.
  78. Lin, Y. Statistical properties and adaptive tuning of support vector machines/ Y. Lin, G. Wahba, H. Zhang, and Y. Lee // Machine Learning. 2002. -№ 48.-p. 115−136.
  79. Lorenz, E.N. Deterministic nonperiodic flow / E.N. Lorenz. Science, 1963.-p. 130−141.
  80. Luxburg, U. A compression approach to support vector model selection / U. Luxburg, O. Bousquet, B. Scholkopf // The Journal of Machine Learning Research. 2004. — № 5. — p. 293−323.
  81. Mackey, M.C. Oscillation and chaos in physiological control systems / M.C. Mackey and L. Glass. Science, 1977. — p. 287−289.
  82. McNames, J. Local averaging optimization for chaotic time series prediction / J. McNames // Neurocomputing. 2002. — № 4. — p. 279−297.
  83. Mendelson, S. A few notes on statistical learning theory / S. Mendelson, A. Smola // Advanced Lectures in Machine Learning. LNCS 2600. Springer, 2003.-p. 1−40.
  84. Miiller, K. An introduction to kernel-based learning algorithms / K. Miiller, S. Mika, G. Ratsch, K. Tsuda, B. Scholkopf. IEEE Transactions on Neural Networks, 2001 .-p. 181−201.
  85. Miiller, K. Predicting time series with support vector machines / K. Miiller, A. Smola, G. Ratsch, B. Scholkopf, O. Kohlmorgen, V. Vapnik. -Artificial Neural Networks ICANN 97. — Springer, 1997. -218 p.
  86. Oliveira, К. A. Using artificial neural networks to forecast chaotic time series / K.A. Oliveira, A. Vannucci, E.C. Silva. Physica A, 2000. — p. 393-^104.
  87. Omidvar, A.E. Configuring radial basis function network using fractal scaling process with application to chaotic time series prediction / A.E. Omidvar // Chaos, Sol. and Fract. -2004. № 4. — p.757−766.
  88. Optimal embedding parameters: A modelling paradigm. Physica D, 2004. — p. 283−296.
  89. Parker, T.S. Practical numerical algorithms for chaotic systems / T.S. Parker, L.O. Chua. -first ed. -Springer, New York, 1989. 425 p.
  90. Piatt, J. Fast training of support vector machines using sequential minimal optimization / J. Piatt // Advances in Kernel Methods: Support Vector Learning / под общ. ред. В. Scholkopf, C.J.C. Burges, A. Smola. The MIT Press, 1999-p. 161.
  91. Quinonero-Candela, J. Time series prediction based on the relevance vector machine with adaptive kernels / J. Quinonero-Candela, L. K. Hansen. -International Conference on Acoustics, Speech, and Signal Processing, 2002. -p.985−988.
  92. Ralaivola, L. Dynamical modeling with kernels for nonlinear time series prediction / L. Ralaivola, F. d’Alche Buc // Modeling, Identification and Control 15.-2004 .-№ 5 .-p. 125−138.
  93. Ratsch, G. Soft margins for AdaBoost / G. Ratsch, T. Onoda, K.-R. Muller // Machine Learning. 2001. — № 42. — p. 287−320.
  94. Rosipal, R. Prediction of chaotic time-series with a resourceallocating RBF network / R. Rosipal, M. Koska, I. Farkas // Neural Processing Letters 7. -1998 № 3 .-p. 185−197.
  95. Russell, D.A. Dimension of strange attractors / D.A. Russell, J.D. Hanson, E. Ott // Phys. Rev. Let. 45. 2000. — p. 1175−1178.
  96. Riiping, S. SVM kernels for time series analysis / S. Riiping // Technical report, CS Department, University of Dortmund. Dortmund, 2001. -p. 43−50.
  97. Sauer, Т. Embedology / Т. Sauer, Y. Yorke, M. Casdagli // J. Stat. Phys. 65. 1991. — p. 579−616.
  98. Sauer, T. Time series prediction by using delay coordinate embedding / T. Sauer- A.S. Weigend, N.A. Gershenfeld, eds. Time Series Prediction: Forecasting the Future and Understanding the Past. — Addison-Wesley, 1994.
  99. Scholkopf, B. Learning with Kernels: Support Vector Machines, Regularization, Optimization, and Beyond (Adaptive Computation and Machine Learning) / B. Scholkopf, A. Smola. The MIT Press, 2001 — 644 p.
  100. Scholkopf, B. New support vector algorithms / B. Scholkopf, P. Bartlett, A. Smola, R. Williamson // Neural Computation. 2000. — № 12. -p.1207−1245.
  101. Scholkopf, B. Statistical learning and kernel methods / B. Scholkopf // Machine Learning. 2006. — № 98. — p.63−95.
  102. Scholkopf, B. Support vector regression with automatic accuracy control / B. Scholkopf, P. Bartlett, A. Smola, R. Williamson // Proceedings of ICANN'98: Perspectives in neural computing (Berlin). Springer, 1998. -p. 111−116.
  103. University of London, 1998.
  104. Small, M. Minimum description length neural networks for time series prediction / M. Small, С. K. Tse // Physical Review E (Statistical, Nonlinear, andi
  105. Soft Matter Physics). 2002. — № 6, 66 701. i 113. Smola, A. A tutorial on support vector regression /А. Smola,
  106. B. Sch’olkoptf/ Statistics and Computation. 2004. — № 13. — p. 199−222.
  107. Smola, A. Generalization bounds and learning rates for regularized principal manifolds / A. Smola, R. Williamson, B. Scholkopf. Tech. report, Royal Holloway, University of London, 1998.
  108. Smola, A. Learning with kernels / A. Smola. Tech. report, GMD Forschungszentrum Informationstechnik. — St. Augustin, 1998.
  109. Smola, A. On a Kernel-based Method for Pattern Recognition, Regression, Approximation, and Operator Inversion / A. Smola, B. Scholkopf, J. Lemm and others. Algorithmica, 1997.
  110. Smola, A. Regression estimation with support vector learning machines / A. Smola. Tech. report, Physik Department, Technische Universitat Munchen, 1996.
  111. Takens, F. Detecting strange attractors in turbulence, Dynamical Systems of Turbulence (Berlin) / F. Takens- D. A. Rand, B. S. Young, eds. vol. 898 of Lecture Notes in Mathematics. — Springer, 1981. — p. 366−381.
  112. Tay, F. Modified support vector machines in financial time series forecasting / F. Tay, L. Cao // Neurocomputing. 2002. — № 14. — p. 847−861.
  113. Thissen, U. Using support vector machines for time series prediction / U. Thissen, R. van Brakela, A. P. de Weijerb, W. J. Melssena, L. M. C. Buyden // Chemometrics and Intelligent Laboratory Systems. 2003. — № 1. — p. 35−49.
  114. Vapnik, V. An overview of statistical learning theory / V. Vapnik // IEEE Transactions on Neural Networks. 1999. — № 10. — p. 998−1000.
  115. Vapnik, V. Estimation of dependencies based on empirical data / V. Vapnik. Springer Verlag, New York, 1982.
  116. Vapnik, V. Bounds on the error expectation for support vector machines / V. Vapnik, O. Chapelle // Neural Computation. 2000. — № 12. -p. 2013−2036.
  117. Vapnik, V. Necessary and sufficient conditions for the uniform convergence of means to their expectations / V. Vapnik, A. Chervonenkis // Theory of Probability and its Applications. 1981. — № 26. — p. 821−832.
  118. Vapnik, V. Statistical Learning Theoiy / V. Vapnik. John Wiley, New York, 1998−760 p.
  119. Vapnik, V. The Nature of Statistical Learning Theory / V. Vapnik. -Springer Verlag, New York, 1995. 315 p.
  120. Wah, B.W. Violation guided neural-network learning for constrained formulations in time-series predictions / B.W. Wah, M. Qian // Int’l Journal on Computational Intelligence and Applications. -2001. № 4. — p.383−398.
  121. Wan, E.A. Time series prediction by using a connestionist network with internal delay lines / E.A. Wan- A.S. Weigend, N.A. Gershenfeld, eds. Time Series Prediction: Forecasting the Future and Understanding the Past. — Addison-Wesley, 1994.-p. 195−217.
  122. Wang, L. Support Vector Machines: Theory and Applications / L. Wang. Spinger, 2005. — 435 p.
  123. Wang, X. Time-line hidden markov experts for time series prediction / X. Wang, P. Whigham, D. Deng, M. Purvis // Neural Information Processing -Letters and Reviews. 2004. — № 2. — p. 3948.
  124. Weigend, A.S. Time series prediction: Forecasting the future and understanding the past /A.S. Weigend, N.A. Gershenfeld. Addison-Wesley, 1994.
  125. Wendt, H. Support vector machines for regression estimation and their application to chaotic time series prediction / H. Wendt. Finkenweg, 2005. -103 p.
  126. Williamson, R. Generalization performance of regularization networks and support vector machines via entropy numbers of compact operators / R. Williamson, A. Smola, B. Scholkopf // IEEE Transactions on Information Theory. 2001. — № 6. — p. 2516−2532.
Заполнить форму текущей работой

Сессия? Спокойно!