Человеческий фактор vs искусственный интеллект

[xoid]

Илон Маск планирует запустить кучу спутников для покрытия интернетом всей планеты. Данные спутники в том числе могут быть использованы для беспилотной авиации, на мой взгляд.

Следует помнить, что задержка передачи через спутник может быть до нескольких секунд.

Бортовая система должна относиться с подозрением к командам, даже если они подписаны валидной подписью. А это уже ИИ на борту.

Всё так! Приоритет должен быть у командира, в данном случае - у "мозгов" на борту. Уповать на то, что в нужное время нужная команда будет гарантированно передана (и уж тем более, получена, дешифрована и исполнена) - это надо быть очень оптимистичным человеком!

 

[AndyM]

Бортовая система должна относиться с подозрением к командам, даже если они подписаны валидной подписью.

Для этого есть много разных инструментов. Проблема решаемая.

 

[koctya]

Попробую пояснить свою точку зрения - почему нынешний уровень науки и техники не позволяет нам заменить командира "искусственным интеллектом".
Если говорить упрощенно, есть три типа операций (процессов): ручные, автоматизированные и автоматические. Первые - это когда требуется непосредственное действие со стороны человека, например, нажать кнопку. Вторые - человек только контролирует результат выполнения. Третьи не требуют участия человека вообще.
Упрощение состоит в том, что на самом деле практически любая операция состоит в некотором количестве действий, которые производятся автоматически, а контролируется только результат. В идеале, в хорошо спроектированной автоматизированной системе check-list перед взлетом должен состоять из двух пунктов:
1. произвести функциональный контроль - проверяется состояние всех систем, узлов, агрегатов, датчиков и цепей. Результат выводится в виде интегральной оценки - "готов" или "не готов". В принципе, возможен и чаще всего должен встречаться третий вариант - "технически готов" - это когда обнаружена неисправность, но эта неисправность не может повлиять на общую готовность и безопасность полета. Например, перегорела лампочка в туалете.
2. проверить готовность к взлету - последовательно проходятся все этапы включения, в том числе и пресловутый обогрев ППД. Результат опять же выводится в виде интегральной оценки - "готов" или "не готов". Но в этом случае вариантов может быть только два.
Далее следует команда на взлет, и робот начинает выполнять заданную циклограмму полета. С точки зрения безопасности это лучше, чем если бы вместо него был человек, поскольку у автомата реакция выше, он может прогнозировать отклонение параметров полета от заданных и предпринимать необходимые действия.
Т.е., в идеальных условиях безопасность полетов становится выше - исключается ЧФ.
Теперь предположим, что либо метеоусловия окажутся плохими, либо последовательно выйдет из строя более одного датчика - например, один ППД и один спутниковый датчик. От заложенной программы полета придется отклоняться, выбирая альтернативу. Истинный ИИ с данной проблемой справится, но, как я уже говорил, мы до такого уровня пока не доросли, соответственно, автопилот должен будет выбрать подпрограмму из числа заложенных в него, чтобы на нее переключиться. И здесь возможны варианты: такая подпрограмма есть, есть две или более подпрограмм, которые подходят под условия, нет ни одной подпрограммы. Плюс к этому из-за того, что скорость реакции автопилота выше, возможно начальное отклонение от заданных параметров движения - например: сразу, как только начала падать приборная скорость, автомат начал ее компенсировать увеличением тяги, за счет чего за 2-3 секунды, пока станет ясно, что причина в неисправном ППД, самолет получит несколько добавочных узлов. А если при этом еще и скорость по спутникам окажется измеренной неверно, то ситуация очень быстро станет катастрофической. И это не невозможная ситуация, а просто маловероятная.
Резюмируя: вся автоматика, которую мы сейчас создаем, может быть реализована только в виде автоматов с конечным числом состояний. Я совершенно не уверен, что даже команда гениев в состоянии предусмотреть все возможные состояния, в которых может оказаться летящий самолет. А поскольку вернуться в нулевое состояние и перезапустить программу полета невозможно - результатом станет авария.
Далее - теперь насчет техники. Приборы с самовосстановлением мы пока что делать не научились. Поэтому для критичных применений используется дублирование, а для измерительных датчиков - троирование. Недостаток такого подхода в том, что во-первых, увеличивается вес (в данном случае, самолета), а во-вторых, отказ одного из датчиков делает систему ненадежной, а увеличение их количество ведет опять же к увеличению веса (мы же не только датчики скорости используем), кроме того, придется увеличивать интервал, внутри которого показания датчиков могут считаться достоверными. Человек в этом смысле конструкция значительно более надежная. Но если человек привыкнет полагаться на автоматику, то в нештатной ситуации вдруг окажется, что он ничего не умеет.

 

[Сибчикагец]

например: сразу, как только начала падать приборная скорость, автомат начал ее компенсировать увеличением тяги, за счет чего за 2-3 секунды, пока станет ясно, что причина в неисправном ППД, самолет получит несколько добавочных узлов. А если при этом еще и скорость по спутникам окажется измеренной неверно, то ситуация очень быстро станет катастрофической. И это не невозможная ситуация, а просто маловероятная.

Почему вы решили, что ИИ будет бездумно добавлять тягу? Гораздо вероятнее , что для начала он проанализирует, по каким причинам обычно падает приборная скорость в условиях, когда остальные показатели в норме. И ничего добавлять не станет, а мгновенно докопается до проблемы с датчиками скорости и примет нужное решение.
Насколько я понимаю, вообще бесполезно пытаться думать за ИИ. В том-то и его особенность, что он сам всё придумает, причём гораздо лучше человека, а человек даже и не поймёт, как именно ИИ думал при этом. Потому что для человека этот уровень непостижим.
В этом и есть преимущество ИИ перед человеком при решении узкоспециализированных задач. В этом и страх человека перед ИИ.

Истинный ИИ с данной проблемой справится, но, как я уже говорил, мы до такого уровня пока не доросли

Вроде как доросли, потому и ветки такие появляются. Да и какой смысл говорить о "фальшивом" ИИ, который по факту не умнее обычного автопилота?

 

[koctya]

Почему вы решили, что ИИ будет бездумно добавлять тягу? Гораздо вероятнее , что для начала он проанализирует, по каким причинам обычно падает приборная скорость в условиях, когда остальные показатели в норме. И ничего добавлять не станет, а мгновенно докопается до проблемы с датчиками скорости и примет нужное решение.

Зависит от того, как поставлена задача. Я в примере беру один из вариантов: держать значения полетных параметров в заданных интервалах. Если приборная скорость, набранная в момент t0, меньше расчетной на пол-узла, логично предположить, что это как-то связано с обстановкой за бортом, и немного прибавить газу.
Другой вариант: имитировать человека и реагировать на изменения обстановки со скоростью человеческой реакции. В этом случае полетные параметры будут колебаться в более широких пределах, но и ошибки входных данных будет проще ловить.

Насколько я понимаю, вообще бесполезно пытаться думать за ИИ. В том-то и его особенность, что он сам всё придумает, причём гораздо лучше человека, а человек даже и не поймёт, как именно ИИ думал при этом. Потому что для человека этот уровень непостижим.
В этом и есть преимущество ИИ перед человеком при решении узкоспециализированных задач. В этом и страх человека перед ИИ.

Вроде как доросли, потому и ветки такие появляются. Да и какой смысл говорить о "фальшивом" ИИ, который по факту не умнее обычного автопилота?

Ветки появляются потому что народ верит в "силу науки". Но то, что Каспаров проиграл компьютеру, вовсе не означает, что ИИ создан - просто наконец-то создан компьютер, который быстрее человека может перебирать варианты на нужную глубину.

Про ИИ можно было бы говорить, если бы комиссию МАК можно было бы заменить компьютером, в который загружаются все известные данные, а он по мере обработки запрашивает дополнительную информацию, после чего выдает заключение, подтвержденное необходимыми расчетами, графиками, etc.

Или, совсем простой пример: автомобиль с автопилотом должен доехать из точки А в точку Б, причем по дороге из А в Б - 10 км асфальта, 1 км грунтовки, еще 10 км асфальта. На асфальте иногда встречаются выбоины, а грунтовку во время дождя развозит почти до состояния болота.

 

[Сибчикагец]

Ветки появляются потому что народ верит в "силу науки". Но то, что Каспаров проиграл компьютеру, вовсе не означает, что ИИ создан - просто наконец-то создан компьютер, который быстрее человека может перебирать варианты на нужную глубину.

Про шахматы давно было всё понятно.
Но есть ещё игра Го, про которую говорили, что тут ИИ ещё очень долго не сможет с человеком сравниться, потому что там считать варианты невозможно, нужно глубокое понимание стратегических принципов. И вот это настоящий рубеж.
Так выиграл, стервец, у чемпиона мира по Го, ещё пару лет назад. Причём показал такое понимание стратегии игры, которое людям недоступно.
А ещё недавно сделали шахматную штучку на тех же принципах, которая чуть-чуть потренировалась, сама с собой поиграла, и после этого сильнейшую классическую шахматную программу уделала как гроссмейстер перворазрядника. Просто революция в мире шахмат случилась, гроссмейстеры в офигении.

Или, совсем простой пример: автомобиль с автопилотом должен доехать из точки А в точку Б, причем по дороге из А в Б - 10 км асфальта, 1 км грунтовки, еще 10 км асфальта. На асфальте иногда встречаются выбоины, а грунтовку во время дождя развозит почти до состояния болота.

Тут только что в разных ветках видео выкладывали, как Яндекс-мобиль в снегопад ездит по московским улочкам. Очередной этап.

 

[Kit.]

Если говорить упрощенно, есть три типа операций (процессов): ручные, автоматизированные и автоматические. Первые - это когда требуется непосредственное действие со стороны человека, например, нажать кнопку. Вторые - человек только контролирует результат выполнения. Третьи не требуют участия человека вообще.

Это деление имеет смысл в том случае, если перед нами стоит задача разгрузить человека (потому что человек - дорогой ресурс).

Если наша задача - обеспечить безопасность полётов, то надо рассматривать полный цикл управления, в котором человек - это такой специальный вид автомата, а ЧФ - совокупность режимов его отказа.

Теперь предположим, что либо метеоусловия окажутся плохими, либо последовательно выйдет из строя более одного датчика - например, один ППД и один спутниковый датчик. От заложенной программы полета придется отклоняться, выбирая альтернативу. Истинный ИИ с данной проблемой справится, но, как я уже говорил, мы до такого уровня пока не доросли, соответственно, автопилот должен будет выбрать подпрограмму из числа заложенных в него, чтобы на нее переключиться.

Это в корне неверный подход к проектированию автопилотов во второй декаде 21 века.

Никаких жёстких "переключений на подпрограмму" быть не должно. Автопилот должен считать множество вариантов того, что в данный момент происходит с самолётом, и выдавать наиболее безопасное управляющее воздействие с точки зрения вероятностей и опасностей различных элементов этого множества и достижимости цели, поставленной ему системой навигации на данный момент.

Собственно, человек делает то же самое, но он хуже умеет считать.

Человек в этом смысле конструкция значительно более надежная.

Нет. Человек в этом смысле конструкция значительно более обученная. Вот только обучалась она (миллионами лет эволюции) бегать по земле, а не летать в небе.

 

[A_Z]

ЧФ задолбал уже всех во всем мире.

Вы просто плохо себе представляете, что такое ЧФ. Между тем, он "присутствует" практически во всех авиационных происшествиях.
Виновниками могут быть конструкторы (разрушение привода стабилизатора Як-42), производственники (отрывы листов обшивки на 737), ремонтники ("пьяный" Ту-154 на Чкаловской), наземный техсостав (неснятые заглушки на ПВД). Да даже материаловеды могут накосячить (Ан-10).
И лишь в последнюю очередь "носителями ЧФ" являются лётчики. Они стоят в конце этой линии потенциальных ошибок - на них всё, как правило, и сваливают.

Поэтому мысль о том, что ИИ избавит от негативных последствий ЧФ, неверна по определению.
Просто в описанную выше цепочку "носителей ЧФ" добавятся создатели этого самого ИИ, а пассажиры будут гибнуть уже по причине ошибок этих самых создателей.

 

[A_Z]

Отличительная особенность ИИ - обучаемость.

Начнём с того, что ИИ ещё не существует.
И вообще для того, чтобы создать искусственный интеллект, нужно понять, как работает естественный. А до этого ещё как до Пекина раком...

Статистика по беспилотным автомобилям уже говорит, что в аварии они попадают реже, чем люди.

Вы передёргиваете.
Поскольку в данном случае речь идёт о том, что ИИ должен заменить не людей, а профессионалов.
Тот ужас на колёсах, который заполняет улицы, зачастую может превзойти по классу управления дрессированный медведь.

 

[AleksB]

Мне кажется, я немного по другому понимаю ИИ. В самолете он не нужен, тут нужна полностью автоматическая система со всеми возможными алгоритмами поведения, в том числе в нештатных ситуациях. Да, возможность принимать команды с земли тоже не будет лишней. Я довольно давно интересуюсь темой БПЛА, так вот последние поколения БПЛА великолепно и надежно летают уже на сегодняшний день.

 

[koctya]

Про шахматы давно было всё понятно.
Но есть ещё игра Го, про которую говорили, что тут ИИ ещё очень долго не сможет с человеком сравниться, потому что там считать варианты невозможно, нужно глубокое понимание стратегических принципов. И вот это настоящий рубеж.
Так выиграл, стервец, у чемпиона мира по Го, ещё пару лет назад. Причём показал такое понимание стратегии игры, которое людям недоступно.
А ещё недавно сделали шахматную штучку на тех же принципах, которая чуть-чуть потренировалась, сама с собой поиграла, и после этого сильнейшую классическую шахматную программу уделала как гроссмейстер перворазрядника. Просто революция в мире шахмат случилась, гроссмейстеры в офигении.

Это все перебор вариантов в глубину.
Вообще, теория игр слабо применима к управлению конкретной техникой, скорее имеет смысл смотреть в сторону разной статистической математики.
Что-то вроде - оценка гипотез при меняющихся весовых коэффициэнтах.
Область ИИ находится несколько в стороне от моих обычных интересов, но имеющиеся там трудности я вполне представляю.

Тут только что в разных ветках видео выкладывали, как Яндекс-мобиль в снегопад ездит по московским улочкам. Очередной этап.

Пусть мимо Кремля поездит.
Там как раз есть "черная дыра", в которой периодически пропадают навигационные спутники. Вот если он сумеет достойно выплыть из Гвинейского залива, можно будет принять его за прототип.
Битый асфальт и грунтовку после дождя я не просто так упомянул в виде условий - это неплохие примеры форс-мажоров, которые не могут быть запрограммированы заранее.

 

[koctya]

Никаких жёстких "переключений на подпрограмму" быть не должно. Автопилот должен считать множество вариантов того, что в данный момент происходит с самолётом, и выдавать наиболее безопасное управляющее воздействие с точки зрения вероятностей и опасностей различных элементов этого множества и достижимости цели, поставленной ему системой навигации на данный момент.

Это все действия в рамках основной программы. А теперь предположим, что появился фактор, который в основную программу не укладывается. Например, отказ одного из датчиков. При недостоверности части входных данных программа не может выполнять свою главную функцию - выбирать наиболее безопасное (каковы критерии безопасности?) управляющее воздействие. Соответственно, она должна либо переключиться на вспомогательную подпрограмму, в которой данная ситуация предусмотрена, либо каким-то образом поменять логику своей работы, чтобы компенсировать недостоверность. Во втором случае необходимо математическое доказательство правильности принимаемого решения для достаточно широкого класса ситуаций (в идеале - для всех мыслимых). Я сомневаюсь, что соответствующая математика человечеством уже разработана.

 

[Kit.]

Это все перебор вариантов в глубину.

В глубину вы даже шахматы не переберёте, не говоря уже о го.

Помимо этого нужна оценка перспективности ходов и оценка перспективности позиций.

Вообще, теория игр слабо применима к управлению конкретной техникой,

Теория игр - это немного о другом. Это ближе к экономике и теории эволюции.

А вот перебор в глубину (и не только) вполне применим к управлению конкретной техникой. Например, в задачах навигации.

скорее имеет смысл смотреть в сторону разной статистической математики.
Что-то вроде - оценка гипотез при меняющихся весовых коэффициэнтах.

В данном случае это как раз "оценка перспективности ходов и оценка перспективности позиций".

Пусть мимо Кремля поездит.
Там как раз есть "черная дыра", в которой периодически пропадают навигационные спутники. Вот если он сумеет достойно выплыть из Гвинейского залива, можно будет принять его за прототип.
Битый асфальт и грунтовку после дождя я не просто так упомянул в виде условий - это неплохие примеры форс-мажоров, которые не могут быть запрограммированы заранее.

GPS в любом случае не панацея - его точности не хватает для того, чтобы держать ряд, и он не работает в тоннелях.

Перестраивать навигацию, зная локальные условия, системы автономного вождения., разумеется, могут. И чем отличается конкретно авиация - уже существующая возможность полётов по приборам. Пилоту не надо вылезать из самолёта и тыкать палкой в ближайшую тучу, чтобы видеть, что там гроза.

Это все действия в рамках основной программы. А теперь предположим, что появился фактор, который в основную программу не укладывается. Например, отказ одного из датчиков.

Почему? Если известно, что датчик существует (а как без этого им пользоваться?), что мешало предусмотреть его отказ?

При недостоверности части входных данных программа не может выполнять свою главную функцию - выбирать наиболее безопасное (каковы критерии безопасности?) управляющее воздействие.

Это плохая, негодная программа, не надо такой пользоваться.

Критерий безопасности - риск авиапроисшествия (взвешенный по его тяжести) в пересчёте на один запланированный маршрут.

Во втором случае необходимо математическое доказательство правильности принимаемого решения для достаточно широкого класса ситуаций

Нет, не надо. Достаточно эмпирического доказательства, что принимаемое решение приводит к меньшей вероятности авиапроисшествия, чем человек.

 

[koctya]

Нет, не надо. Достаточно эмпирического доказательства, что принимаемое решение приводит к меньшей вероятности авиапроисшествия, чем человек.

Кгхм. Вы значение слова "эмпирическое" понимаете?

Это плохая, негодная программа, не надо такой пользоваться.

Грызет меня смутное подозрение, что Вы - не программист.

Перестраивать навигацию, зная локальные условия, системы автономного вождения., разумеется, могут. И чем отличается конкретно авиация - уже существующая возможность полётов по приборам. Пилоту не надо вылезать из самолёта и тыкать палкой в ближайшую тучу, чтобы видеть, что там гроза.

Как я уже говорил, у авиации есть одно существенное отличие от многих других видов человеческой деятельности:в полете нельзя "обнулиться" и начать все сначала.

Критерий безопасности - риск авиапроисшествия (взвешенный по его тяжести) в пересчёте на один запланированный маршрут

Чиво-чиво?
Риск - это оцениваемая величина. В вашем случае, нормированная. Критерием она являться не может. А вот нахождение минимума оцениваемой величины - критерием является. Но такие вещи опытным (эмпирическим) путем не доказываются, а доказываются математически.

 

[Kit.]

Кгхм. Вы значение слова "эмпирическое" понимаете?

Конечно.

Грызет меня смутное подозрение, что Вы - не программист.

Программист. Причём занимающийся автономным вождением автомобилей.

Возможно, конечно, что вы тоже программист, просто очень сильно отстали от темы.

Как я уже говорил, у авиации есть одно существенное отличие от многих других видов человеческой деятельности:в полете нельзя "обнулиться" и начать все сначала.

У автомобилей то же самое.

Чиво-чиво?
Риск - это оцениваемая величина. В вашем случае, нормированная. Критерием она являться не может. А вот нахождение минимума оцениваемой величины - критерием является. Но такие вещи опытным (эмпирическим) путем не доказываются, а доказываются математически.

То, что минимум является минимумом, безусловно, доказывается математически. Точнее, алгоритмически. А вот то, что такой способ оценки рисков приводит к меньшей вероятности происшествия - доказывается эмпирически. И, к сожалению, никак иначе.

Помните как у Кнута? "Beware of bugs in the above code; I have only proved it correct, not tried it."

 

[uri_]

Вы просто плохо себе представляете, что такое ЧФ. Между тем, он "присутствует" практически во всех авиационных происшествиях.
Виновниками могут быть конструкторы (разрушение привода стабилизатора Як-42), производственники (отрывы листов обшивки на 737), ремонтники ("пьяный" Ту-154 на Чкаловской), наземный техсостав (неснятые заглушки на ПВД). Да даже материаловеды могут накосячить (Ан-10).
И лишь в последнюю очередь "носителями ЧФ" являются лётчики. Они стоят в конце этой линии потенциальных ошибок - на них всё, как правило, и сваливают.

Поэтому мысль о том, что ИИ избавит от негативных последствий ЧФ, неверна по определению.
Просто в описанную выше цепочку "носителей ЧФ" добавятся создатели этого самого ИИ, а пассажиры будут гибнуть уже по причине ошибок этих самых создателей.

отлично представляю. Более того, не только в авиации - в два-три приема (как в анекдоте про козла и Федота) - любой грамотный в своей области технический специалист докажет наличие ЧФ практически в любом происшествии/катастрофе. Все рукотворно, кроме 0,000....% форс-мажора. Технические причины в отчетах - возникают, [на всякий случай - я так думаю))], в нежелании показать в данных конкретных ситуациях этот ЧФ (что, в свою очередь, реализуют те же грамотные технические специалисты - чтобы выглядело хотя бы убедительно).

И нет такого фиксированного понятия - искусственный интеллект. Все инженерно-технические термины и понятия - ГОСТируются, иначе в инженерной области невозможен никакой организационно-технический процесс в принципе. А вот ИИ - нет. Поэтому, сейчас этот самый ИИ каждый понимает по своему разумению. Мне больше нравится определение,что это не заменитель человеческой сумрачной думалки, а оптимальная автоматизация в сочетании с гибким софтом, не более. Мозги любой современной адаптивной АКПП уже вправе гордо именоваться ИИ, ибо имеют все признаки такового.

И никто не говорит, что необходимо создавать глобальную систему ИИ (это для ближайшей перспективы) - для нейтрализации всех перечисленных вами факторов возникновения ЧФ. НО!- выявление этих источников и их нейтрализация на местах внедрением локальных систем ИИ - и есть вполне достижимая цель. Да так сейчас и происходит - на примере той же автоиндустрии: компьютерные технологии разработки/моделирования минимизируют ЧФ на стадии разработки проекта - роботизированная конвейерная сборка минимизирует ЧФ на стадии производства - автопилот минимизирует ЧФ на стадии дорожной эксплуатации. Причем, как раз недостатки софта в процессе эксплуатации допилить проще всего. Конечно, шишек набить придется, но - один раз, в отличие от перманентных траблов с двуногими на местах.
И я не думаю, что среднестатистический потенциальный источник ЧФ намного превосходит эти современные системы, по крайней мере - в узкоспециализированных профессиональных областях. Где, собственно, от него и требуется... Порой, профессиональная дремучесть носителей природного интеллекта просто зашкаливает

 

[dbms]

Следует помнить, что задержка передачи через спутник может быть до нескольких секунд.

не все спутники одинаково полезны
несколько секунд это у геостационарных, проект Маска и несколько других аналогичных проектов подразумевают спутники на НОО, там задержка ожидается в районе 20 мс, емнип

 

[dbms]

Это все перебор вариантов в глубину.

ну вот вам свежий пример "ИИ в авиации" (ну почти )

это по-вашему "перебор вариантов в глубину"?

 

[A_Z]

И нет такого фиксированного понятия - искусственный интеллект.

Отсутствие понятия есть всего лишь следствие отсутствия явления.

...автопилот минимизирует ЧФ на стадии дорожной эксплуатации.

Это распространённое заблуждение.
Между тем, специалисты ИКАО ещё четверть века назад выпустили документ, чётко обозначивший негативные последствия автоматизации самолётов.
И когда читаешь протоколы расследования АП, отчётливо понимаешь, что оная автоматизация - не всегда такое благо, каким её пытаются представить безудержные сторонники безудержного прогресса.

 

[A_Z]

ну вот вам свежий пример "ИИ в авиации" (ну почти )

Я всегда в таких случаях вспоминаю своего знакомого, который занимался проблемами "интеллектуализации" вычислительных процессов.
"Если бы мне дали под процессоры и память объём с половину "Икаруса", то я, наверное, мог бы попробовать реализовать интеллект пчелы. Частично..." (с)