Был и остаюсь убеждённым сторонником следующего подхода - автоматизация - это хорошо, просто автомат (или автоматы) в идеале просто должен быть "электронным членом экипажа". Причём по статусу ниже командира, и на равных с остальными. Речь о любой степени автоматизации - от банального автопилота до футуристического ИИ. Следовательно, при необходимости должна быть возможность: а) игнорировать его показания и/или действия, б) запретить ему любые действия - вплоть до выключения (живого члена экипажа вплоть до КВС тоже ведь можно "выключить" чем-то тяжёлым по кумполу, если он мешается под ногами). Автомат - он хороший, он много знает и лучше видит, но если разумному человеку, сидящему в кабине, не хочется верить автомату - у него должна быть такая возможность. В конце концов, у КВС всегда есть право не поверить ВП и отменить любое его действие или приказать замолчать. Старший в кабине - КВС, без вариантов. Единственное исключение - если ВП понимает, что КВС творит ерунду и не может больше командовать. Но, сами понимаете, это исключительный случай - и только живой член экипажа может быть оправдан за неподчинение командиру в чрезвычайных обстоятельствах. Но не компьютер. Роль компьютера - быть всеведущим и всевидящим советником, но умолкать, если приказывает КВС. Разумеется, КВС должен понимать, что компьютер вряд ли ошибается, верить в его возможности. Точно так же в него верить, как он, блин, верит в обычное оборудование, установленное на борту - верит в дисплеи, датчики и т.п.
Выполняя эти условия, компьютер никогда не навредит человеку - во всяком случае в условиях, когда люди знают о возможности нанесения вреда и пытаются ему противодействовать. А если не знают и не пытаются, так действия компьютера ничем не отличаются от обычного отказа оборудования в условиях отсутствия контроля и даже стихийных проявлений сил природы. Если не следить - так и молоко из кастрюли убежать может, так что - молоко ругать или кастрюлю? Отказ оборудования - вещь вполне допустимая.
Единственное, что внушает мне беспокойство - это то, что по мере внедрения в авиацию всё более продвинутой автоматизации количество спокойных рейсов без происшествий будет настолько велико, что пилоты вообще в этих условиях не научатся летать без помощи оборудования. И не смогут без него что-то либо сделать, если оно вдруг откажет в неподходящий момент. А по закону подлости оно когда-нибудь откажет обязательно. И тогда с этим просто ничего нельзя будет сделать даже при наличии контроля со стороны пилотов.