Исследователи из Техасского университета в Остине представили обновлённую версию декодера мозга, который использует искусственный интеллект для преобразования мыслей в текст. Основным преимуществом нового алгоритма является его способность обучать существующий декодер без необходимости многочасового обучения.
В исследовании, опубликованном 6 февраля в журнале Current Biology, команда учёных изучила, как декодер, обученный на одной группе людей, может быть адаптирован для работы с мозгом других участников. Это достижение может оказать значительное влияние на людей с афазией — расстройством, нарушающим коммуникативные способности.
Раньше для расшифровки требовалась длительная подготовка: участники слушали истории, находясь внутри аппарата МРТ. Однако такой подход ограничивал их полезность, поскольку модели эффективно работали только с теми людьми, на которых они были обучены. Как объяснил соавтор исследования Александр Хут, людям с афазией часто трудно понимать речь и воспроизводить её, что делает традиционный метод неэффективным.
В новом исследовании учёные обучили декодер на нескольких эталонных участниках, собирая данные фМРТ, пока те слушали 10 часов радиопередач.
Затем они разработали два алгоритма преобразования: один на основе данных за 70 минут прослушивания радио, а другой на основе данных за 70 минут просмотра короткометражных фильмов Pixar.
Используя метод, называемый функциональным выравниванием, команда проанализировала, как мозг участников реагировал на одни и те же аудио- и видеофрагменты. Это позволило им обучить декодер для целевой группы без необходимости собирать дополнительные данные в течение нескольких часов.
Декодеры были протестированы с помощью короткого рассказа, который участники не слышали раньше. Хотя точность прогнозов была выше в контрольной группе, результаты всё равно продемонстрировали семантическую связь между прогнозируемыми словами и текстом рассказа.
Например, в одной из частей тестового рассказа персонаж размышляет о работе, которая ему не нравится. Декодер, обученный на данных из фильмов, предсказал: «Я работал на скучной, по моему мнению, работе. Мне приходилось выполнять приказы, и они мне не нравились». Хотя предсказание было не совсем точным, основные идеи были близки к истине.
Исследователи отметили, что наиболее интригующим аспектом является способность декодера работать даже без языковых данных, что открывает новые возможности для сбора информации.
Это может помочь людям с афазией выражать свои мысли и подчёркивает сходство в том, как идеи представлены в языке и визуальных образах.
Следующим шагом исследовательской группы станет тестирование алгоритма на участниках с афазией и разработка интерфейса, который поможет им генерировать нужные фразы.
salik.biz/articles/90545-uchenye-usovershenstvo...