Essa é a ameaça representada pela tecnologia emergente conhecida como "armas autônomas".

Há décadas, a ficção científica especula sobre o tema de servos robóticos se levantando para derrotar seus mestres humanos. Esses cenários permanecem fantasiosos, porque exigem máquinas capazes de auto-reprodução com desejo de poder e capacidade e vontade de cooperar entre si para realizar um grande projeto coletivo - que, neste momento, ainda é implausível. Em vez disso, o que temos visto são armas de drone, mais tipicamente aeronaves, sob comando humano, executando operações de reconhecimento e ataque por controle remoto. As vantagens militares oferecidas por esses sistemas são óbvias. Drones combatentes, por exemplo, custam muito menos do que os aeronaves pilotadas, podem acelerar até 20 g sem desmaiar, são absolutamente destemidos e podem ser enviados em missões só de ida, se necessário, sem perda humana. Portanto, certamente veremos mais sistemas como esses e análogos desenvolvidos para combate terrestre e marítimo.

O problema, no entanto, ocorre com propostas para eliminar operadores humanos e permitir que esses sistemas se controlem usando "inteligência artificial". Alguns salientaram que isso pode permitir que as unidades tenham falhas de funcionamento ou sejam invadidas pelo inimigo e sujeitem nosso próprio pessoal ao seu armamento. Isso é certamente concebível. Mas acredito que o problema real é que isso permitiria que exércitos inteiros, obedientes e sem a restrição limitadora do pensamento humano, fossem comandados diretamente por elites tirânicas.

Esse perigo é descrito por um artigo escrito recentemente por um comitê de especialistas em inteligência artificial, que incluiu fortes defensores do armamento autônomo e alguns com atitudes mais cautelosas. Chegando a um meio-termo, o grupo propôs que:

Os Estados devem considerar a adoção de uma moratória renovável de cinco anos para o desenvolvimento, implantação, transferência e uso de sistemas autônomos de armas letais antipessoais...

A moratória não se aplicaria a:
- Armas anti-veículos ou anti-materiais;
- Armas anti-pessoais não letais;
- Pesquisa sobre maneiras de melhorar a tecnologia de armas autônomas para reduzir danos não-combatentes em futuros sistemas autônomos de armas letais antipessoais;
- Armas que localizam, rastreiam e combatem indivíduos específicos que um ser humano decidiu que devem ser combatidos dentro de um período de tempo e região geográfica limitados e predeterminados.

Não se pode deixar de notar que a maioria das aplicações que os autores pediram que fossem excluídas da moratória são aquelas dirigidas contra civis, e não as que se opõem às forças armadas.

Em seu livro seminal "As Origens do Totalitarismo", Hannah Arendt identificou uma série de desenvolvimentos que contribuíram para o crescimento do totalitarismo no século 20. Eles incluíam itens como militarismo, anti-semitismo e imperialismo, cujas relações anteriores com o nazismo e/ou o stalinismo são bastante óbvias. Um de seus protototalitarismos, no entanto, pegou muitos leitores de surpresa: ela acusou a burocracia.

Arendt estava certa. A burocracia é necessária para a tirania porque suprime a consciência. O burocrata é obrigado a não pensar ou sentir. Ele ou ela deve fazer parte de uma máquina.

O objetivo da burocracia é transformar as pessoas em autômatos. Mas, independentemente da doutrinação mais profunda, os humanos são robôs imperfeitos. Como disse o líder dissidente tcheco Vàclav Havel em seu livro extraordinário "Living in Truth", a consciência pode ser suprimida, mas não pode ser eliminada. A voz interior permanece.

Armas autônomas não têm tais fraquezas.

*Robert Zubrin, engenheiro aeroespacial, é fundador da Mars Society e presidente da Pioneer Astronautics. Seu livro mais recente, "The Case For Space: How The Revolution In Spaceflight Opens Up A Future Of Unlimited Possibilities", foi publicado recentemente pela Prometheus Books.