Подпись к изображению [Russian]

By Канчана Каннаиян and Меенатчи Р

Создание подписей к изображениям с помощью аудио стало сложной, но перспективной задачей в области глубокого обучения. В данной работе предлагается новый подход к решению этой задачи путем объединения конволюционных нейронных сетей (CNN) для извлечения признаков изображения и рекуррентных нейронных сетей (RNN) для последовательного анализа аудио. В частности, мы используем предварительно обученные CNN, такие как VGG, для извлечения визуальных признаков из изображений и используем представления спектрограмм в сочетании с RNN, такими как LSTM или GRU, для обработки аудиовходов. Предлагаемая нами модель основывается не только на визуальном содержании изображений, но и на сопутствующих аудиосигналах. Мы оцениваем производительность нашей модели на эталонных наборах данных и демонстрируем ее эффективность в генерации связных и контекстуально релевантных подписей к изображениям с соответствующими аудиовходами. Кроме того, мы проводим анализ вклада каждой модальности в общую производительнос

• Format: Paperback
• Language: Russian
• ISBN: 6207661028
• ISBN13: 9786207661022
• Release Date: June 2024
• Publisher: Sciencia Scripts
• Length: 64 Pages
• Weight: 0.23 lbs.
• Dimensions: 0.1" x 6.0" x 9.0"