Статья:

Новые работы по машинному обучению: анализ и тенденции

Конференция: XXII Международная научно-практическая конференция «Научный форум: инновационная наука»

Секция: Технические науки

Выходные данные

Мальцев В.А. Новые работы по машинному обучению: анализ и тенденции // Научный форум: Инновационная наука: сб. ст. по материалам XXII междунар. науч.-практ. конф. — № 4(22). — М., Изд. «МЦНО», 2019. — С. 57-60.

К условиям публикации Скачать сборник

Конференция завершена

Мне нравится

XXII Международная научно-практическая конференция «Научный форум: инновационная наука»

на печатьскачать .pdf поделиться

Новые работы по машинному обучению: анализ и тенденции

Мальцев Всеволод Александрович

магистрант, Ростовский Государственный Экономический Университет (РИНХ), РФ, г. Ростов-на-Дону

RECENT MACHINE LEARNING PAPERS: ANALYSIS AND TENDENCIES

Vsevolod Maltsev

Graduate student, Rostov State Economic University (RSUE), Russia, Rostov-on-Don

Аннотация. Автор анализирует статьи по машинному обучению. Приведены примеры заметных работ, а также их влияние на сферу в целом и на перспективы будущих исследований.

Abstract. The author analyzes recent machine learning papers. Examples of notable papers are given, as well as their effects on the sphere as a whole and on prospects of future studies.

Ключевые слова: Машинное обучение; информационные технологии; внедрение технологий; нейронные сети; большие данные.

Keywords: Machine learning; information technologies; technology implementation; neural networks; big data.

Введение

Дисциплина машинного обучения стремительно развивается. За последние несколько лет вышло большое количество работ, как двигающих теоретические аспекты вперед, так и внедряющие их в разные аспекты наших жизней.

Работы рассматривают как новые методики и подходы, так и оптимизации существующих.

Проанализировав такие работы, можно выделить ключевые точки развития области и позволит выявить ограничения, с которыми столкнулись исследователи.

Материалы и методы

Целью исследования является выделение направления развития научных работ по машинному обучению, а также выявлению сдерживающих факторов, которые ограничивают дальнейшее продвижение и развитие области в целом.

В этой работе будут рассмотрены некоторые работы по машинному обучению за прошедший год. Будет проведен анализ результатов, а также обозначены факторы, ограничивающие дальнейшее улучшение методик и результатов.

Результаты и обсуждение

Были проанализированы 20 популярных работ в сфере машинного обучения за 2018 год. Каждая привносит свой вклад в развитие этой области. От новых методологий, до мета-исследований, до экскурсов в историю, каждая из работ преследует одну из целей:

Улучшить качество работы существующих методик;
Предложить новые методики;
Проанализировать суть методов, чтобы найти новые подходы;

Из всех проанализированных работ, 9 предлагают новые методики, 7 проводят анализ прошлых работ, и 4 анализируют эволюцию различных областей машинного обучения.

Рассматривая первую группу, предлагающую новые методики, 1 работа представляла новую библиотеку для работы с многомерными объектами [13], 5 предлагали методы по улучшению определенного шага в обучении сети: шага обратного распространения ошибки и функций потери [3, 6, 8, 15, 18], и 3 предлагали новые подходы к обучению [10, 11, 19].

Во второй группе, предлагающей обзорные материалы, 4 связаны с глубокими сетями [7, 12, 14, 20] и 3 относятся к пониманию текста и языка [4, 5, 9].

В третьей группе рассматривается история развития разных аспектов машинного обучения. 3 из них рассматривают разные модели нейронных сетей [1, 16, 17]. Одна рассматривает эволюцию методики обратного распространения ошибки [2].

Из анализа работ следует, что в данный момент относительно небольшое количество работ предоставляет новые методы машинного обучения. Большинство работ сосредоточены на оптимизации скорости обучения сетей и анализе существующих решений. Из этого следует, что на данный момент методы являются оптимальными, и происходит волна оптимизации. Это продлится до появления принципиально нового метода построения, обучения нейронных сетей, или даже перемены подходов к машинному обучению.

Также, за последнее время подавляющее количество работ связано либо с глубокими сетями, либо с семантическим анализом текста. Именно эти два направления получили больший скачок в развитии и в качестве вывода сетей.

Выводы

В данной работе были проанализированы работы по машинному обучению за прошедший год. Были выявлены тенденции и популярные темы, которые показали, что работ, описывающих качественно новые методы, гораздо меньше, чем работ, описывающих оптимизации существующих. Это связано с пока что большей выгодой от оптимизаций, нежели от поиска принципиально новых методов и подходов.

С увеличением производительности вычислительной техники, возможно, найдутся более оптимальные подходы и методы, которые покажут более высокие результаты нежели существующие. До этого момента будет происходить оптимизация существующих решений.

С уменьшением пользы от оптимизаций, больше сил будет переброшено на поиск альтернативных путей улучшения выводов сетей, как параллелизация обучения, или нахождение принципиально новых методов и подходов.

Список литературы:

1. Agarwal, S., Terrail, J. O. D., & Jurie, F. «Recent Advances in Object Detection in the Age of Deep Convolutional Neural Networks», arXiv preprint arXiv:1809.03193, 2018

2. Alber M., Bello I., Zoph B., Kindermans P.J., Ramachandran P., & Le Q. «Backprop evolution», arXiv preprint arXiv:1808.02822, 2018

3. Barron J.T. «A more general robust loss function», arXiv preprint arXiv:1701.03077, 2017.

4. Dong Y. «A Survey on Neural Network-Based Summarization Methods», arXiv preprint arXiv:1804.04589, 2018.

5. Gao J., Galley M., & Li L. «Neural approaches to conversational AI. Foundations and Trends in Information Retrieval», 13(2-3), 127-298, 2019.

6. Golkar S., & Cranmer K. «Backdrop: Stochastic Backpropagation», arXiv preprint arXiv:1806.01337, 2018.

7. Higham C. F., & Higham D. J. «Deep learning: An introduction for applied mathematicians» arXiv preprint arXiv:1801.05894, 2018.

8. Izmailov P., Podoprikhin D., Garipov T., Vetrov D., & Wilson A.G. «Аveraging weights leads to wider optima and better generalization», arXiv preprint arXiv:1803.05407, 2018

9. Jing Y., Yang, Y., Feng, Z., Ye, J., Yu, Y., & Song, M. «Neural style transfer: A review», arXiv preprint arXiv:1705.04058, 2017

10. Liu R., Lehman J., Molino P., Such F.P., Frank E., Sergeev A., & Yosinski J. «An intriguing failing of convolutional neural networks and the coordconv solution», Advances in Neural Information Processing Systems (pp. 9605-9616), 2018.

11. MacKay, M., Vicol, P., Ba, J., & Grosse, R. B. «Reversible recurrent neural networks», Advances in Neural Information Processing Systems (pp. 9029-9040), 2018.

12. Marcus G. «Deep learning: A critical appraisal», arXiv preprint arXiv: 1801.00631, 2018.

13. Miolane N., Mathe J., Donnat C., Jorda M., & Pennec X. “geomstats: a Python Package for Riemannian Geometry in Machine Learning», arXiv preprint arXiv: 1805. 08308, 2018.

14. Parr T., & Howard J. «The Matrix Calculus You Need For Deep Learning», arXiv preprint arXiv:1802.01528, 2018.

15. Ranganathan, V., & Natarajan, S. «A new backpropagation algorithm without gradient descent», arXiv preprint arXiv:1802.00027, 2018.

16. Salehinejad, H., Sankar, S., Barfett, J., Colak, E., & Valaee, S. «Recent advances in recurrent neural networks», arXiv preprint arXiv:1801.01078, 2017

17. Wang H., & Raj B. «On the origin of deep learning», arXiv preprint arXiv: 1702.07800, 2017.

18. Wu Y., & He K. «Group normalization», Proceedings of the European Conference on Computer Vision (ECCV) (pp. 3-19), 2018.

19. Zambaldi, V., Raposo, D., Santoro, A., Bapst, V., Li, Y., Babuschkin, I., ... & Shanahan, M. «Relational deep reinforcement learning», arXiv preprint arXiv: 1806.01830, 2018.

20. Zhang, L., Wang, S., & Liu, B. «Deep learning for sentiment analysis: A survey», Wiley Interdisciplinary Reviews: Data Mining and Knowledge Discovery, 8(4), e1253, 2018

Новые работы по машинному обучению: анализ и тенденции

Похожие статьи