Анимеш Карневар создал нейросеть T2F, генерирующую портреты на основе текстового описания. Разработчику алгоритма было интересно, как герои могли-бы выглядеть в реальной жизни. Лг использовал набор данных Face2Text, содержащий около 400 изображений с текстовым описанием и дополнительной информацией. Например, к некоторым изображениям добавлена пометка «Человек на картинке, вероятно, преступник». В основе набор данных лежит несколько эффективных архитектур, позволяющих синтезировать изображения из текста.
Нейросеть кодирует текстовое описание, создавая суммарный вектор. Часть этого вектора состоит из случайного гауссовского шума. Генеративно-состязательная сеть использует этот шум для постепенного увеличения пространственного изображения. Это происходит в несколько этапов. Результатом становится максимально четкая картинка.
Карневар уверен, что его алгоритм может быть использован правоохранительными органами для создания портретов злоумышленников и их жертв. Он будет продолжать работать над проектом и постарается обучить ее на других наборах данных.
Источник:
