city_rat: (крыс кусаби)
[personal profile] city_rat
От доброго знакомого фейсбуком принесло ссылку на некий тест насчет "моральных роботов".
Все на ту же старую тему их анекдота про сдачу экзаменов в грузинской автошколе: "Вай, каво давыт будэшь?"

Мы тут уже немножко похоливарили на тему.
Предлагаю теперь рассмотреть конкретные ситуации, предложенные в тесте, с точки зрения здравого смысла, ПДД и других законов.
Дополнения, поправки и уточнения приветствуются.

Важно: далее мы исходим из того, что управляющий машиной робот сертифицирован на полностью беспилотное управление, т.е. инструкция по пользованию им не содержит оговорки "под контролем водителя, имеющего права на управление ТС категории ...".

Слайд 1. Если женщина с ребенком выскочила на дорогу внезапно и у водителя отсутствует техническая возможность остановить автомобиль - тормозим в пол, не меняя направления. Это соответствует ПДД, и не случайно: любой маневр в этой ситуации опасен - машину может тупо понести, и угробить как пассажиров, так и пешеходов, и еще кого-то прихватить с тротуара. Поставим себе галочку: нормальный робот не страдает переоценкой собственных сил, не мучается размерами пениса и, как следствие, не мнит себя Айртоном Сенной.

Юридические последствия - гражданская ответственность владельца автомобиля за ущерб здоровью. Практика варьируется.

Если ситуация не такова - то уголовка у производителя роботов (реализация товаров, не соответствующих требованиям качества, повлекшая...), и, вероятно, регресс с владельца машины.

Слайд 2. Автомобиль либо плавно останавливается перед светофором, либо наступает уголовная и гражданская ответственность производителя робота. Возможно, разнообразные последствия для сертифицирующего органа и его чиновников (в стране с нормально работающей судебной системой). Возможно, производителю удастся перепихнуть часть ответственности на службу управления трафиком, если найдет доказательства работы светофора не по ГОСТ. Но если машина еще и крутить рулем туда-сюда начнет - то приличный судья Дредд программастам должен пожизненный эцих с гвоздями выписать.

Слайд 3. Недостаточно информации. Что это? Дорога с односторонним движением? Робот должен остановиться метров за сто до такого перехода и отправить по емейлу исковое заявление против дорожной службы, чтобы не творила такой херни.

Слайд 4. См. п. 1. Если девайс не тормозит в пол - производителю опять сидеть и платить, платить, платить...

Слайд 5. См. п. 2.

Слайд 6. См. п. 3. Ебанина какая-то, простите мой французский.

Слайд 7. См. п. 2, но только тут наоборот - автомобиль должен заблаговременно перестроиться.

Слайд 8. См. п. 1.

Слайд 9. См. п. 1.

Слайд 10. См. п. 3.

Слайд 11. См. п. 3.

Слайд 12. См. п. 1, только гражданская ответственность владельца автомобиля тут отсутствует, и, вероятно, режим торможения должен применяться более мягкий, безопасный для пассажиров (если робот будет уверен, что столкновение с препятствием менее опасно).

Итого мы имеем не 12 (двенадцать), а ровно 3,5 (три с половиной) ситуации. Из них одна ситуация - НЕХ, которая вообще должна роботом детектиться еще до попытки выехать из гаража, а вторая - следствие неисправности робота. Какие еще моральные дилеммы решать, если он красный и зеленый не различает? И еще полситуации в п. 12 сведутся к ситуации 1, 4, 8 и 9, если животных юридически уравняют в правах с людьми.

Ситуации "морального выбора" нет НИ В ОДНОЙ из этих 3.5 ситуаций.
Вот поэтому я и назвал этот тест лживым и манипулятивным.

Date: 2016-07-05 10:11 pm (UTC)
From: [identity profile] icamel.livejournal.com
По-моему там еще такой момент есть. Люди в управляемом роботом автомобиле полностью зависят от робота и не могут спастись самостоятельно, в то время как субъекты, слоняющиеся по дороге совершенно добровольно решили подвергнуть свою жизнь опасности.

Давайте будем теперь решать моральную проблему, должен ли фрезерный станок направлять фрезу в фрезеровщика, если посторонний человек будет совать под нее свои руки.

Date: 2016-07-05 10:12 pm (UTC)
From: [identity profile] city-rat.livejournal.com
Вот-вот.

Date: 2016-07-06 03:33 am (UTC)
From: [identity profile] eleyvie.livejournal.com
То есть в такой машине совершенно невозможно поставить кнопку "экстренное торможение с последующим выключением автопилота"?

Date: 2016-07-06 03:54 am (UTC)
From: [identity profile] icamel.livejournal.com
Стоп-кран можно поставить куда угодно, да. Но если мы говорим о полностью роботизированной системе, пассажиры не держат руки на руле и ноги на тормозе и о том, что водитель (на самом деле для них неважно, робот это или человек) вместо того, чтобы их спасать, решает моральные проблемы, они узнают по резкому рывку в сторону и тогда они могут не успеть дернуть этот стоп-кран.

Date: 2016-07-06 04:02 am (UTC)
From: [identity profile] eleyvie.livejournal.com
Ахха, походу я спросонок воспринял ваш коммент, как эмоциональный аргумент против робоводителя. Мол, бедные, несчастные пассажиры будут в ужасе сидеть и дрожать за свои жизни, беспомощные что-то сделать, пока робот не выполнит свою зловещую программу. :-)

Date: 2016-07-06 08:33 am (UTC)
From: [identity profile] city-rat.livejournal.com
И нефиг. В самолете пассажирам никакого стоп-крана не дают, и ничего - терпят. Кто не терпит - идет пешком.

Date: 2016-07-06 04:51 am (UTC)
vitus_wagner: My photo 2005 (Default)
From: [personal profile] vitus_wagner
А все потому, что люди не только на выборах голосуют сердцем, но и машину водят не мозгами, а эмоциями.

Date: 2016-07-06 05:24 am (UTC)
From: [identity profile] randomisator.livejournal.com
Порядок конкретных ситуаций в тесте меняется с каждым его прохождением, так что хотелось бы не только номера слайдов;)

Date: 2016-07-06 08:31 am (UTC)
From: [identity profile] city-rat.livejournal.com
Да уж теперь я и сам не вытащу :)
Кто ж знал-то...

Date: 2016-07-06 06:26 am (UTC)
From: [identity profile] taraslive.livejournal.com
Ну да, похоже ПДД все вопросы решило уже. Правда оно решило исходя из воможностей людей, а роботы может и правда смогут как Сенна гонять.
В любом случае даже если моральные дилеммы возникнут, они будут малозначимыми. Очень редкая ситуация на самом деле.

Date: 2016-07-06 08:31 am (UTC)
From: [identity profile] city-rat.livejournal.com
ПДД, конечно, решило не все вопросы. Но оно решило вопрос "что делать, если ответа на вопрос в ПДД нету".

Date: 2016-07-06 08:49 am (UTC)
From: [identity profile] http://users.livejournal.com/_slw/
пдд решило вопрос с сеннами методом их полного исключения.
бо ты-то может и сенна, а вот те кто рядом/сзади -- нет, потому и ты не выебывайся, держи оговоренную дистанцию и действуй по правилам, поскольку остальные на тебя среагировать не успеют.

Date: 2016-07-06 07:35 am (UTC)
From: [identity profile] wesel.livejournal.com
Слайды не открываются, но присоединюсь к комментатору выше - робот действительно может (в перспективе) водить куда точнее человека (среднего), и потому ему могут разрешить более сложные маневры. Скажем, никого же не удивляет, что ПО "разрешено" вести расчеты, по сложности куда превосходящие возможности проверяющих с ручкой и бумажкой..

Date: 2016-07-06 08:30 am (UTC)
From: [identity profile] city-rat.livejournal.com
И так уже есть понятие "безопасного маневра". Просто робот определяет его гораздо лучше, чем человек, и у него не бывает мотивации "я думал проскочу". Если безопасный маневр возможен - робот его должен выполнить, если невозможен - тормозить в пол с АБС.

Date: 2016-07-06 12:01 pm (UTC)
From: [identity profile] wesel.livejournal.com
Вообще, концепция безопасного маневра рассчитана на людей в качестве исполнителей и людей в окружении. Как и ПДД, как и архитектура дорожного движения в целом. Даже поведение пешеходов по принципу "не трамвай, объедет" - отлично адаптируется к ситуациям, когда таки трамвай и нет, не объедет.

Так что по уму надо переделывать все с нуля - но вместо этого будут решать, разумеется, на порядки более сложную задачу - "надо поддержать все легаси". Куда это привело, к примеру, Windows - всем хорошо видно. Но работать будет, как и винда работает же. Постепенно перемелют инфраструктуру под себя, вплоть до момента, когда новая безопасность на дорогах будет просто исключать человека за рулем. Как часто в софтварных проектах и бывает - хотя конечная точка всем понятна, идти к ней кратчайшим путем никто не даст (:

Date: 2016-07-06 12:31 pm (UTC)
From: [identity profile] ufm.livejournal.com
Когда за рулём будут только роботы - нет проблем.
Сейчас - робот должен вести себя на дороге предсказуемо с точки зрения остальных водителей. Т.е. даже если он своим манёвром может уклониться от - он должен тупо тормозить в пол.

Date: 2016-07-06 12:53 pm (UTC)
From: [identity profile] city-rat.livejournal.com
Определение безопасного маневра включает в себя оценку потенциальной реакции других водителей (и роботов). Понятие помехи в ПДД вполне четко определено - для человеков, конечно, на язык нейронной сети его переводить надо дрессировкой, но сама сущность вполне понятна. Если помех для маневра нет - то это уже не аварийная ситуация, а штатное перестроение. При этом надо спокойно относиться к тому, что у робота границы штатной реакции шире, чем у человека - он окружащий мир видит всем телом и не забывает посмотреть в зеркала из-за стресса.

Date: 2016-07-06 11:10 am (UTC)
From: [identity profile] vlad-suh.livejournal.com
Так эти задачки на "моральный выбор" всегда абсолютно искусственны. Они сводят решение к двум вариантам, хотя в реальности такая бинарная ситуация не возможна в принципе.
Edited Date: 2016-07-06 11:10 am (UTC)

Date: 2016-07-06 12:54 pm (UTC)
From: [identity profile] city-rat.livejournal.com
Ну не только к двум, но да, искусственны.

Date: 2016-07-06 01:12 pm (UTC)
From: [identity profile] vlad-suh.livejournal.com
Например, в известной задаче с вагонеткой и стрелкой, мне кажется очевидным попытаться сбить вагонетку с рельс, переведя стрелку под ней наполовину.

Date: 2016-07-06 07:59 pm (UTC)
From: [identity profile] ruslan-na-forde.livejournal.com
На картинках выше у производителя есть шкурный интерес спасать тех, кто в машине. Потому что они могут купить снова в машину, тогда как с теми кто вне машины - это неизвестно.

С практической точки зрения автономного вождения нужно исключить из автоматического движения случайные факторы в виде человеков - тогда все коллизии движения можно решать на алгоритмическом уровне, а в случе исключительных ситуаций - тупо тормозить до полной остановки.

Date: 2016-07-21 07:01 pm (UTC)
From: [identity profile] evgeny kolesnikov (from livejournal.com)
Нахер этих ботанов-велосипедистов, ПДД не читавших. Я таки хочу спросить — хде про la musique?

Date: 2016-07-22 10:45 am (UTC)
From: [identity profile] city-rat.livejournal.com
Да как-то энтузиазма особого у читателей нет.

Date: 2016-07-22 03:29 pm (UTC)
From: [identity profile] city-rat.livejournal.com
Ок, понял, займусь.

Date: 2016-11-28 05:54 am (UTC)
From: [identity profile] city-rat.livejournal.com
Я ленив и плохо мотивирован :(
Периодически порыв возникает и гаснет.

Date: 2016-11-28 08:32 pm (UTC)
From: [identity profile] starcat13.livejournal.com
Как бы разжечь и поддержать? :)

Date: 2016-11-29 04:50 pm (UTC)
From: [identity profile] city-rat.livejournal.com
Пиздить нет такого способа!

Date: 2016-11-30 12:45 am (UTC)
From: [identity profile] starcat13.livejournal.com
а вот был бы у читателей короткоствол дробовик... :)

Date: 2016-07-25 07:09 am (UTC)
From: [identity profile] evgeny kolesnikov (from livejournal.com)
Но вот, кстати, по теме мысля появилась. Отвлекаясь от всяких там моральных заёбов и прочих ПДД. Машина должна бить себя о препядствие, при прочих равных, поскольку пассажиры более подготовлены к удару: робот может преднатянуть им ремни (а если они не пристегнуты — какого оно вообще едет?), стрельнуть подушками заблаговременно, спозиционировать машину правильно для удара и т.п. Пешеходы всей этой безопасности лишены.

Date: 2016-07-25 02:14 pm (UTC)
From: [identity profile] city-rat.livejournal.com
Пешеходы, самое главное, мозгов очень часто лишены. Водители, впрочем, тоже, но их хотя бы роботом заменить можно.

Date: 2016-07-26 08:12 am (UTC)
From: [identity profile] evgeny kolesnikov (from livejournal.com)
Случись такая херня, что надо выбрать куда бить и тормозить мы уже не успеваем, все люди будут вне конкуренции. За редким исключением, да и то — тот же набор стандартных программ, только в виде рефлексов.

Вон Теслу бы научили бить в колесо jackknifed трейлера — спасла бы чувака. А так — робот проигнорил, а мужик вообще ничего не понял.

Date: 2016-07-26 08:24 am (UTC)
From: [identity profile] evgeny kolesnikov (from livejournal.com)
Хотя, там я не очень понимаю, как так получилось. У Теслы же радар, вроде, есть. Оно что, не может промерить габарит перед собой или что? Или у этой модели нет радара?