Исследуется проблема «мертвых нейронов» в сверточных сетях при работе с малыми данными. Проблема приводит к неэффективному использованию модели и снижению ее устойчивости. Предлагается метод динамической адаптации параметра наклона функции активации для каждого нейрона. Алгоритм использует статистику активаций в реальном времени. Эксперименты на задаче распознавания цифр показали высокую эффективность метода. Количество неактивных нейронов сократилось в несколько раз. Точность классификации сохранилась, а устойчивость модели значительно возросла. Метод не увеличивает число обучаемых параметров, что важно для малых выборок.
1 Visitors
1 Hits
0 Downloads
