comtemichel (comtemichel) wrote,
comtemichel
comtemichel

Семантический морфинг для принцесс и драконов

Оригинал взят у ailev в Семантический морфинг для принцесс и драконов
Глубокое обучение добралось до изучения мира аниме и манги, и там был предложен новый "научный инструмент визуальной литературы": semantic morphing -- Given two query illustrations, a semantically smooth transition from one to another is computed (each column), by which drawers can find reference illustrations that are not reachable by traditional keyword-based search (http://illustration2vec.net/, A Semantic Vector Representation of Illustrations).


Народ уже играется: превращают через deep dream фотографии в иллюстрации из манги (https://medium.com/@samim/adversarial-machines-998d8362e996#.8ufq5bqad):

Синтез изображений уже не такая уж проблема (http://www.bloomberg.com/news/articles/2015-12-02/computers-learn-how-to-paint-whatever-you-tell-them-to, https://github.com/Newmu/dcgan_code с арифметикой изображений и морфингом окон в телевизоры).

Люди ещё не понимают, что дают распределенённые представления (в том числе embeddings):
-- работа с пространством значений, в том числе теми его местами, которые не обозначены словами (но это не значит, что там нет значений!).
-- уравнивают тексты, картинки, настроения, кинестетику и т.д.: всё это оказывается местами в пространстве значений. Вплоть до того, что описание картинки оказывается переводом с языка картинки на естественный язык (и делается это тем же методом, что перевод с одного естественного языка на другой! Это прежде всего работы Kyunghyun Cho).
-- задают альтернативу логическим онтологическим построениям (деревьям, графам и т.д.). Онтология оказывается представлена просто пространством! Что есть в мире -- всё, что есть в пространстве значений!!! Можно совмещать пару пространств значений и ожидать мэппинга имеющихся выделенных значений (т.е. мэппинга онтологий-в-классическом смысле). Какую-то похожую работу я уже видел, просто ссылки не запомнил.
-- работа с векторами в этом пространстве, которые неожиданно оказываются вполне семантичными -- отношениями! Например, отношения "столица - её страна", "объект мужского пола -- аналогичный объект женского пола". Более того, там оказывается линейность (http://research.microsoft.com/apps/video/default.aspx?id=258666&r=1)
-- можно проводить рассуждения, хотя это не логика. Вот пример вычисляемых ответов на вопросы (знаменитые 20 тестов Facebook по ответам на вопросы таки по факту пройдены на 100%): http://arxiv.org/abs/1511.06426, предлагаются reasoning models in tensor space with learning capabilities.

Это смена текущей айтишной парадигмы, это другой способ думать о мире, другой способ "нелогического" вывода, другой способ обработки данных, всё другое. В этом странном мире даже парсеры синтаксис выучивают и становятся лучше, чем те написанные вручную парсеры, на результатах которых их обучали (ошибки ручных парсеров они считают шумом! а внутри них в нейронной сетке уже не "грамматика", а что-то совсем другое): http://arxiv.org/abs/1412.7449, работа называется Grammar as a Foreign Language, грамматику учат нейронной сеткой просто как ещё один язык! Вчитайтесь в последнюю фразу этой статьи: "This work shows that domain independent models with excellent learning algorithms can match and even outperform domain specific models" -- это и есть слом парадигмы, а также ход на компактификацию разбитого по факультетам знания.

Это всё только цветочки, ягодки же будут в интеграции нейро-подхода и традиционного логического подхода -- http://www.neural-symbolic.org/CoCo2015/ (там двухдневный семинар 11-12 декабря 2015 в рамках NIPS 2015 в Монреале, 23 ежегодная конференция по Neral Information Processing, https://nips.cc/).

Tags: deep learning, ИТ, аналитика, нейросети, перепост
Subscribe
  • Post a new comment

    Error

    default userpic

    Your reply will be screened

    Your IP address will be recorded 

    When you submit the form an invisible reCAPTCHA check will be performed.
    You must follow the Privacy Policy and Google Terms of use.
  • 0 comments