МАЛОРАНГОВЫЕ АППРОКСИМАЦИИ НЕЙРОСЕТЕВЫХ
АЛГОРИТМОВ

УДК 004.89
DOI: 10.26102/2310-6018/2020.30.3.018

Н.В. Шапошникова

На сегодняшний день искусственные нейронные сети (далее ИНС) и глубокое обучение стали практически незаменимыми в приложениях, связанных с задачами машинного зрения, машинного перевода, преобразования речи в текст, рубрикации текстов, обработки видеоданных и т.д. Однако, несмотря на наличие ряда классических теорем, обосновывающих аппроксимирующие способности нейросетевых структур, текущие успехи в области ИНС в большинстве случаев связаны с эвристическим построением архитектуры сети, применимой только для конкретной рассматриваемой задачи. С другой стороны, глубокие ИНС имеют миллионы параметров и требуют для своего функционирования мощные вычислительные устройства, что ограничивает возможности их применения, например, на мобильных устройствах. Существенный прогресс в решении данных проблем может быть получен при использовании современных мощных алгоритмов малоранговых аппроксимаций для параметров слоев ИНС, что позволит как упростить процесс разработки нейросетевой архитектуры, так и получить существенное сжатие и ускорение обучения глубоких ИНС. Рассматривая, например, ядро сверточной ИНС, как четырехмерный массив (тензор), мы можем построить для него малоранговую аппроксимацию с эффективной реализацией его свертки с вектором (прямое распространение сигнала в сети при формировании предсказания) и дифференцирования по параметрам (обратное распространение сигнала в сети при обучении). В данной работе мы рассмотрим современную парадигму машинного обучения и малоранговых тензорных аппроксимаций, и на конкретном модельном численном примере, соответствующем задаче автоматического распознавания рукописных цифр, продемонстрируем перспективы тензоризации глубоких ИНС.

Ключевые слова: машинное обучение, нейронная сеть, глубокая сверточная сеть, малоранговая аппроксимация.

Полный текст статьи:
Shaposhnikova_3_20_1.pdf

КУСОЧНО-НЕЙРОННАЯ МОДЕЛЬ НА БАЗЕ РАСЩЕПЛЕННЫХ СИГНАЛОВ
ДЛЯ МЕМРИСТОРОВ БЕРНУЛЛИ

УДК 519.65; 621.3.01
DOI: 10.26102/2310-6018/2020.29.2.016

Е.Б. Соловьева, А.А. Гарчук

Актуальность исследования обусловлена сложностью математического моделирования нелинейных динамических устройств, поскольку аналитические решения систем нелинейных дифференциальных уравнений высокой размерности не всегда удается получить, а численные решения часто сопровождаются проблемой плохой обусловленности. В данной ситуации эффективно поведенческое моделирование, когда объект исследования представляется в виде «черного или серого ящика», и его математическая модель строится с применением множеств входных и выходных сигналов. Поведенческое моделирование важно в условиях ограниченности информации о новых элементах и технологиях, а также при сложности и разнообразии моделей, построенных на компонентном уровне. В статье рассмотрено поведенческое моделирование мемристивных устройств, активно развиваемых с использованием нанотехнологий для энергосберегающей техники. Предложен метод поведенческого моделирования передаточных характеристик мемристивных устройств с помощью кусочно-нейронных моделей на базе расщепленных сигналов. Для понижения размерности задачи аппроксимации нелинейных операторов и, следовательно, для упрощения математических моделей применены: аппарат нейронных сетей, метод расщепления сигналов, позволяющий адаптировать модель к классу входных сигналов, а также способ кусочной аппроксимации операторов нелинейных динамических систем. На основе предложенного метода построена кусочно-нейронная модель, включающая пять трехслойных нейронных сетей простой структуры (3x2x1, 100 параметров) и обеспечивающая существенно более высокую точность моделирования передаточной характеристики мемристоров, динамика тока в которых описывается дифференциальным уравнением Бернулли, по сравнению с двухслойной кусочно-нейронной и кусочно-полиномиальной моделями. Материалы статьи представляют практическую ценность для поведенческого моделирования мемристоров и мемристивных устройств различного функционального назначения, а также других нелинейных динамических систем, поскольку развивают универсальный аппарат аппроксимации нелинейных операторов на основе нейронных сетей.

Ключевые слова: нелинейная динамическая система, математическое моделирование, нелинейный оператор, нелинейная модель, аппроксимация, нейронная сеть, мемристор.

Полный текст статьи:
SolovyevaHarchuk_2_20_1.pdf

ОЦЕНКА ПАРАМЕТРОВ ГЛАЗКОВОЙ ДИАГРАММЫ ПО ПЕРЕХОДНОЙ И АМПЛИТУДНО-ЧАСТОТНОЙ ХАРАКТЕРИСТИКАМ С ИСПОЛЬЗОВАНИЕМ НЕЙРОННОЙ СЕТИ

УДК 621.396

А.В. Смирнов

Исследована возможность оценки ширины и высоты глазка глазковой диаграммы (ГД) с применением искусственных нейронных сетей (ИНС). С этой целью выполнено моделирование более 750 примеров каналов связи с различными передаточными функциями. Для каждого примера сформирована ГД путем свертки случайной последовательности импульсов с импульсной характеристикой канала и измерены ее параметры. Полученные результаты использованы для обучения ИНС, входными переменными которых являются параметры переходной характеристики: длительность задержки, длительность фронта, величина выброса и длительность колебательного процесса, а также значение АЧХ на частоте, равной половине тактовой частоты. Для каждого оцениваемого параметра отобрано несколько ИНС для разных поддиапазонов входных переменных. Среднеквадратическая погрешность оценки искомых параметров ГД с помощью этих ИНС составляет 2 — 4%. Коэффициент корреляции оценок и известных значений более 0,98. При этом достигается значительный выигрыш в затратах времени на расчет по сравнению с получением значений ширины и высоты глазка путем моделирования ГД. Изложенный метод может использоваться в процессе оптимизации характеристик канала связи в случаях, когда параметры ГД входят в целевую функцию.

Ключевые слова: глазковая диаграмма, переходная характеристика, амплитудно-частотная характеристика, нейронная сеть, аппроксимация.

Полный текст статьи:
Smirnov_3_18_1.pdf