comtemichel (comtemichel) wrote,
comtemichel
comtemichel

Безопасность машинного интеллекта должна быть инженерной рутиной!

Оригинал взят у ailev в Безопасность машинного интеллекта должна быть инженерной рутиной!
Победы системы машинного обучения AlphaGo над чемпионом мира по Го привели к ожидаемому результату: у начальника DeepMind спрашивают не столько "как вам это удалось" (к чудесам-то привыкли!), сколько "существует ли опасность для человечества" и "как быть со сверхразумом" (вот тут по-русски пересказ статьи из Гардиан).

Не нужно бояться, что программа игры в Go завоюет мир. Игра Go очень простая по сравнению с реальной жизнью -- в ней каждый ход даже от истории не зависит, только от текущего положения на доске. Следующая игра для программ DeepMind (указывают на StarCraft II -- https://geektimes.ru/post/272478/) будет поинтересней, но и от неё до действий мощного интеллекта программы в более-менее полном реальном мире как до Луны. Хотя да, на Луне человечество уже побывало -- и даже не при помощи современных технологий, а технологий 47-летней давности (1969 год). Может, и с более-менее умным AGI тоже дело пойдёт быстрей. Игроки в Го ведь честно надеялись, что им без компьютера-чемпиона ещё лет десять дадут побыть. А поток открытий и изобретений в области deep learning продолжается, например тут сделали эффективную (логарифм от n, а не просто n, где n -- размер памяти) выучиваемую иерархическую память и механизм внимания -- http://arxiv.org/pdf/1602.03218.pdf. Всё новые и новые трюки позволяют делать всё более быстрые и компактные нейронные сети, а приложения этих сетей становятся всё изощрённей и изощрённей. В какой-то момент окажется, что нейронные сети управляют жизненно важными системами. И проблема безопасности станет во весь рост: не выдуманная проблема "захвата роботами Земли" (да, я знаком с книжкой Bostrom, она ж легко доступна -- есть в http://bookzz.org/. И что?), а реальная проблема безопасности техники, управляемой системами машинного обучения.

Если очень хочется озаботиться безопасностью, то сначала нужно понять хоть что-то про жизненный цикл машинного интеллекта -- даже не общего (потенциально решающего любые задачи), а узкого (решающего только один класс задач). Сейчас этим методологическим аспектом мало кто занимается (моя презентация об инженерии машинного обучения тут: http://www.slideshare.net/ailev/alevenchuk-machine-learning-engineering), поэтому практики безопасности а) нельзя сформулировать как явные практики, соразмерные другим практикам и б) непонятно, в каком виде жизненного цикла системы машинного обучения их сочетать с другими практиками, методологий-то создания систем машинного обучения пока нет! Всё как в software engineering году эдак в шестидесятом: программирование уже вовсю было, а software engineering ещё нет. И поэтому разговор о безопасности был где-то сбоку, и так сбоку и остался.

Donald Firesmith любит подчеркнуть, что инженеры по безопасности только по недоразумению не являются системными инженерами -- поскольку занимаются всей системой в целом (ключевой признак системных инженеров!), но у них свои учебники, свои конференции, свои издания. Но всё равно безопасность отличненько учитывается в системной инженерии, системы разрабатываются безопасные, об этом заботятся.

Это я к тому, что если инженерию машинного интеллекта сформулировать нормально как инженерную дисциплину, то вопросы безопасности (safety и security) будет абсолютно понятно как обсуждать, и понятно как вплетать в инженерную практику. Этим будут заниматься инженеры, а не журналисты-блоггеры и "обеспокоенная общественность", как сегодня. Хотя "формулирование инженерии систем машинного обучения как инженерной дисциплины" проблематично по совокупности самых разных причин, например, трудностей применения системного подхода к коннекционистским системам (http://ailev.livejournal.com/1252230.html). Но это единственный проход к получению безопасных систем!

А сейчас да, учОные и журналюги только неконструктивно стенают по этому поводу. Я считаю, что стенать ещё рановато. Если есть беспокойство, то полно времени подгототовиться -- и первый шаг тут сделать из инженерии машинного интеллекта нормальную инженерную дисциплину, в которой есть место и проверке, и приёмке, и управлению конфигурацией, и безопасности.

Tags: deep learning, ИТ, аналитика, нейросети, перепост
Subscribe
  • Post a new comment

    Error

    default userpic

    Your reply will be screened

    Your IP address will be recorded 

    When you submit the form an invisible reCAPTCHA check will be performed.
    You must follow the Privacy Policy and Google Terms of use.
  • 0 comments