Marco Calamari

Cassandra Crossing/ Il vostro auto(ma) assassino

di M. Calamari - A separarci dall'avvento di Terminator c'č solo l'autonomia degli armamenti: le auto autonome saranno l'anima dell'automa assassino?

Roma - Terminator, come i miei 24 instancabili lettori sanno bene, è di casa in queste pagine. Cassandra si è già occupata di lui in tempi insospettabili, ma in quanto dotata del dono della profezia non si tratta di un'operazione grande merito. I droni armati pilotati da remoto sono quindi roba vecchia, e le armi autonome ne sono una logica conseguenza, anche quella già enunciata. Le prime vittime di armi automatizzate, non autonome ma solo malfunzionanti, sono ormai notizie vecchie.
Siamo in cammino in questa direzione, con ben poche possibilità di deviare in maniera sostanziale dal percorso ormai tracciato.
Č perciò molto interessante considerare i dettagli di quanto sta avvenendo, e quali tecnologie o parti ancora mancano prima che un automa autonomo armato (AAA) accenda per la prima volta i suoi occhi rossi e luminosi.

Ma i primi esemplari non saranno "androidi", macchine in forma umanoide: saranno "automi", macchine capaci di agire da sole, per usare un termine caro a Cassandra "robot assassini" o, per usare un termine più politically correct, le prime "armi autonome".
L'aspetto umano non presenta infatti particolari vantaggi per un'arma autonoma: servirebbe solo perché essa possa utilizzare oggetti progettati per gli uomini, come Asimov ripeteva continuamente nel suo ciclo sui robot positronici guidati dalle famose "tre leggi della robotica".
Č infatti molto più semplice ed efficiente integrare quanto serve in una struttura non necessariamente umanoide per minimizzare pesi ed ingombri e massimizzare l'efficienza. E no, non con i deludenti risultati di ED-209.

Armi automatiche come i droni aspettano solo che i progressi nel campo dell'intelligenza artificiale, o anche solo nei software di controllo, li dotino di un comportamento che possa essere espresso secondo regole generali, ed adattato automaticamente ad ambienti e situazioni mutevoli in tempo reale, in modo tale che la potenziale arma autonoma possa guidare se stessa.
Sento già dire che anche un rover marziano, un robot di ricerca da valanghe ed altri mille impieghi positivi giustificheranno tutto ciò, e che questi impieghi positivi smentiranno in gran parte le fosche profezie di Cassandra.
Beh, basta vedere come è andata con i progressi maturati per i missili per valutare alla fine quanti ne sono stati costruiti per uso non militare e quanti per uso militare...

Ma torniamo alla nostra arma autonoma, che a livello di meccanica, elettronica, informatica e telematica ha tutte le tecnologie già pronte per la sua realizzazione.
Gli manca solo la capacità di guidarsi... Guidarsi, già. Non vi viene in mente niente?

Ma sì, sono ormai un paio d'anni che le automobili a guida autonoma riempiono le pagine dei quotidiani, ed ora stiamo per arrivare alla pubblicità, visto che Tesla Motors ha appena annunciato un upgrade software (a pagamento) che rende il suo Modello S autonomo per la guida in una corsia autostradale.
Non "domani" o "fra qualche anno". Oggi.
Certo, al prezzo di 2.500 dollari per il download, o gratis per chi ha sottoscritto l'abbonamento "tutto incluso" da 3.500 dollari... Ma questa è un'altra storia.

Si tratta solo di una briciola di autonomia. Persino in un ambiente elementare e controllato come un'autostrada il cambio di corsia dovrà essere deciso dal guidatore, per la cronaca semplicemente mettendo la freccia.
Ma ecco dove il nucleo di autonomia che ancora manca potrà facilmente svilupparsi. Sicuramente i contest della DARPA hanno avuto il loro peso nel creare questa "nicchia ecologica" per lo sviluppo dell'"autonomia", ma anche gli impressionanti budget delle case automobilistiche, sempre alla ricerca di qualche cosa che le differenzi dalla concorrenza, c'entrano senz'altro assai.
Viene da chiedersi se questi progressi nel campo dell'automotive saranno accompagnati da un recupero di qualità e sicurezza del software di bordo, ma anche questa è un'altra storia...

Riassumiamo quindi la semplice (ma non banale) tesi: saranno le auto autonome di domani a generare l'autonomia necessaria ai primi automi.
Ed anche solo le auto autonome, pur non rientrando affatto nella categoria delle armi, porranno problemi davvero difficili.

Cosa dovrà fare un'auto "autonoma" che si trovi di fronte alla scelta tra investire un bambino sbucato tra due autovetture o buttarsi fuori strada insieme al suo guidatore?
Cosa dovrà fare in una infinità di altre situazioni simili, dove la ragione fallisce e spesso nemmeno la morale può indicare la giusta scelta?
Ed infine, chi sarà poi responsabile del risultato finale? La casa automobilistica, il proprietario, il programmatore, il creatore delle regole di comportamento (qualcuno ha detto "regole di ingaggio"?), l'amministratore delegato o chi?

Con i software di bordo ancora più sigillati da nuove norme come il TPP sarà ben difficile che si possa decidere secondo ragione e giustizia.
Tutto molto complicato e difficile.

Consoliamoci con quest'ultima considerazione: partendo dall'autonomia di un veicolo basterà aggiungere una regola per animare un robot assassino un'arma autonoma. Una regola molto semplice da creare ed a prova di errore.
Noi siamo i Buoni, loro i Cattivi: ai "cattivi" si spara, e se per errore spari ad un "buono", sarà solo un caso di fuoco "amico".

Marco Calamari
Lo Slog (Static Blog) di Marco Calamari
L'archivio di Cassandra/ Scuola formazione e pensiero
Notizie collegate
49 Commenti alla Notizia Cassandra Crossing/ Il vostro auto(ma) assassino
Ordina
  • e' tutta colpa dei tre ingegneri cattivi cattivi attivi.

    Firmato:
    Faccien De'culis,
    CEO volkswagen
    non+autenticato
  • Ma dai... è la "solita" guerra commerciale (e non solo) in atto fra le super-potenze: USA, Russia, Cina, UNASUR, UE... con l'ultima (noi) che arranca perchè, di fronte ad espliciti attacchi dall'esterno, stiamo ancora lì a guardare di che colore sono i calzini del vicino e lo consideriamo "straniero", invece di far gruppo e difenderci.

    Vedrai che, a tempo debito, "si scoprirà" che gli americani (o i cinesi, o i russi) non l'hanno raccontata giusta, o magari stanno facendo manovre militari e gli dobbiamo applicare sanzioni commerciali... come dici? è esattamente quello che è GIA' successo? Occhiolino
    883
  • Nel film (non ho letto il libro) io tifavo per V.I.K.I. (come in Matrix davo ragione alle "macchine")
    Un'intelligenza artificiale che controlli tutti gli automi del mondo potrebbe essere in grado di proteggere l'uomo da se stesso.
  • Non esiste un modo per proteggere l'umanità da se stessa: l'unico modo sensato, come voleva fare VIKI, era appunto eliminarla. Occhiolino

    Ma, con le parole del buon dottore (ed io ho letto il libro, che è ENORMEMENTE diverso dal film, non c'è un solo parallelo), siamo in presenza di "sindrome di Frankenstein".
    883
  • nel film (non so nel libro) VIKI mi pareva volesse semplicemente prendere il potere, non uccidere gli umani (quelli erano Skynet e, più recentemente, Ultron... ma lui è un co***one)
  • La tua è una forma di pensiero elementare.
    Nessuno può essere protetto da se stesso, e se avessi più di 30 anni lo sapresti.
    non+autenticato
  • Non capisco tanto queste paure.

    Avete paura che per un bug nel software queste macchine si mettano ad uccidere per errore?
    Si vede che non vi siete mai chiesti quanti vengono regolarmente uccisi dal "fuoco amico" nelle varie guerre (e anche in tempo di pace).

    Avete paura che delle macchine si mettano ad uccidere in maniera spietata?
    Un pilota di caccia addestrato a mantenere la concentrazione su tutti i sistemi di bordo mentre ha il dito sul grilletto del lanciamissili non ha tempo di provare emozioni, quando gli indicano il bersaglio lui fa fuoco.
    Un soldato ad un pezzo di artiglieria con una gittata di decine di chilometri quando preme il grilletto non ne vede il risultato, vede solo un grande fuoco d'artificio e non se ne preoccupa più di tanto.
    Le armi hanno disumanizzato la guerra già tanti secoli fa.

    Avete paura che delle macchine si mettano a sterminare gli uomini in stile terminator?
    Avete visto troppi film di fantascienza. Il vero pericolo è chi controlla la macchina, non la macchina, ma questo non è tanto diverso da tutte le armi che già ci sono in circolazione.
    non+autenticato
  • - Scritto da: omjupjsd
    > Non capisco tanto queste paure.
    >
    > Avete paura che per un bug nel software queste
    > macchine si mettano ad uccidere per
    > errore?

    In realtà queste paure vengono diffuse per rallentare l'arrivo di queste auto poiché è chiaro cosa vorrebbe dire per il settore e tutti i derivati
    (produttori e benzinai? Sì, ma si arriva pure all'edilizia).
    Verrebbero spazzati via interi settori e molti altri subirebbero una riduzione più o meno pesante.
    Qualcuno potrebbe chiedersi allora perché le stesse Case Automobilistiche si stiano buttando nel settore, ma il perché è altrettanto ovvio e cioè che il vaso di Pandora lo ha aperto alla grande Google ma lo avrebbe potuto fare qualunque altra azienda o Università ma anche piccola C.A. quindi le grandi devono avere comunque una loro tecnologia e un prototipo per non essere sforniti quando si deciderà di produrle in serie.
    non+autenticato
  • - Scritto da: Surak 2.0
    > Verrebbero spazzati via interi settori e molti
    > altri subirebbero una riduzione più o meno
    > pesante.

    Solo i produttori di autovelox e le polizie municipali hanno di che temere, guarda...
  • - Scritto da: djechelon
    > - Scritto da: Surak 2.0
    > > Verrebbero spazzati via interi settori e molti
    > > altri subirebbero una riduzione più o meno
    > > pesante.
    >
    > Solo i produttori di autovelox e le polizie
    > municipali hanno di che temere,
    > guarda...

    Immagina il servizio di car sharing dove la macchina si prenota via telefono, ti viene a prendere guidandosi da sola e torna indietro da sola, quasi un servizio taxi senza autista.
    Se mai dovesse arrivare un servizio del genere a prezzi abbordabili le famiglie non sarebbero più costrette ad avere 2 o 3 macchine. Molti farebbero direttamente a meno della macchina.
    Il mercato dell'auto si dimezzerebbe.
    non+autenticato
  • Aggiungi che tante cose, oggi, si possono fare comodamente da casa, in tele-lavoro, e dimezziamo subito la necessità di utilizzare l'automobile...
    883
  • La paura deriva dalla serializzazione: se c'è un bug o una manomissione questa coinvolgerà potenzialmente tutte le macchine di una stessa serie.
    Mentre l'umano col bug (leggasi soldato che sbaglia oppure pazzoide) è un caso solitamente più isolato.

    Questo potrebbe portare a "malfunzionamenti" di massa, così come quelli dei sistemi operativi, ma sul piano fisico:
    -La stessa crew che oggi oscura un sito di una multinazionale, potrebbe farla attaccare dai droni domani
    -qualche noto ente spione a tre lettere potrebbe venire a sapere che un'azienda sta producendo qualcosa di concorrenziale alle ditte statunitensi e
    farla attaccare. Tanto sarà sempre un "attacco hacker fatto da ignoti" e le inchieste a riguardo saranno semplicemente proibite
    -puoi trovarti una crew fondamentalista islamica che decide di farci guerra usando i nostri mezzi, solo perché siamo "infedeli"
    non+autenticato
  • - Scritto da: xx tt
    > La paura deriva dalla serializzazione: se c'è un
    > bug o una manomissione questa coinvolgerà
    > potenzialmente tutte le macchine di una stessa
    > serie.
    > Mentre l'umano col bug (leggasi soldato che
    > sbaglia oppure pazzoide) è un caso solitamente
    > più
    > isolato.
    >
    > Questo potrebbe portare a "malfunzionamenti" di
    > massa,

    "malfunzionamenti" di massa, come questo?:

    https://en.wikipedia.org/wiki/General_Motors_ignit...

    ops. Sono cose che già succedono.

    > così come quelli dei sistemi operativi, ma
    > sul piano
    > fisico:
    > -La stessa crew che oggi oscura un sito di una
    > multinazionale, potrebbe farla attaccare dai
    > droni
    > domani
    > -qualche noto ente spione a tre lettere potrebbe
    > venire a sapere che un'azienda sta producendo
    > qualcosa di concorrenziale alle ditte
    > statunitensi
    > e
    > farla attaccare. Tanto sarà sempre un "attacco
    > hacker fatto da ignoti" e le inchieste a riguardo
    > saranno semplicemente
    > proibite
    > -puoi trovarti una crew fondamentalista islamica
    > che decide di farci guerra usando i nostri mezzi,
    > solo perché siamo
    > "infedeli"

    Guarda che già oggi le tracce radar rilevate e le coordinate dei bersagli viaggiano su collegamenti criptati via satellite.
    La probabilità che qualcuno riesca a crackare le comunicazioni via satellite e guidare i caccia o i missili o altre armi verso i bersagli sbagliti è la stessa probabilità che qualcuno prenda il controllo di un drone. Questa è una situazione in cui ci troviamo già ora.
    non+autenticato
  • Non sono d'accordo: per adesso i droni militari sono tutti più o meno dove c'è petrolio, quindi anche se qualcuno li controllasse, sarebbe improbabile un attacco da noi.

    Se fossimo infestati di droni in tutte le città, le probabilità di essere colpiti aumenterebbero (per noi)
    non+autenticato
  • - Scritto da: xx tt
    > La paura deriva dalla serializzazione: se c'è un
    > bug o una manomissione questa coinvolgerà
    > potenzialmente tutte le macchine di una stessa
    > serie.
    > Mentre l'umano col bug (leggasi soldato che
    > sbaglia oppure pazzoide) è un caso solitamente
    > più
    > isolato.
    >
    > Questo potrebbe portare a "malfunzionamenti" di
    > massa, così come quelli dei sistemi operativi, ma
    > sul piano
    > fisico:
    > -La stessa crew che oggi oscura un sito di una
    > multinazionale, potrebbe farla attaccare dai
    > droni
    > domani
    > -qualche noto ente spione a tre lettere potrebbe
    > venire a sapere che un'azienda sta producendo
    > qualcosa di concorrenziale alle ditte
    > statunitensi
    > e
    > farla attaccare. Tanto sarà sempre un "attacco
    > hacker fatto da ignoti" e le inchieste a riguardo
    > saranno semplicemente
    > proibite
    > -puoi trovarti una crew fondamentalista islamica
    > che decide di farci guerra usando i nostri mezzi,
    > solo perché siamo
    > "infedeli"

    Sono le tipiche "minacce da trama cinematografica" tanto care a Bruce Schneier... intanto i cattivi veri hanno altri modi molto più semplici ed efficaci per fare danni.
    Funz
    12992
  • Il soldato è pazzoide per definizione.
    Chi, se non una persona con qualche disfunzione, sceglierebbe di mettere la propria vita a repentaglio e, specialmente, di uccidere altra gente solo perché qualche altro fuori di testa glielo ha ordinato?
    Poi, quelli che entrano in caserma sono già predisposti alla psicosi e in più ricevono un addestramento definito "psicotizzante", che seve a distanziarli ancora di più dalle loro emozioni, per renderli più efficaci.
    Complice anche un linguaggio impersonale, tipo 'bonifica' per indicare l'uccisione di tutti i cattivi in un certo luogo.
    Notare che un linguaggio simile per struttura è usato anche nella vita quotidiana, per esempio 'diversamente abile' per handicappato, oppure 'operatore ecologico' per spazzino, ecc.
    Tutto questo per togliere la parte emotiva associata alla parola.
    Ho dato qualche spunto di pensiero?
    non+autenticato
  • - Scritto da: omjupjsd
    Il vero
    > pericolo è chi controlla la macchina, non la
    > macchina, ma questo non è tanto diverso da tutte
    > le armi che già ci sono in
    > circolazione.

    credo che il punto sia questo.

    Il punto e la sostanziale differenza con tutto il resto.

    Difficile non cogliere una crasi così netta con il passato.
  • https://what-if.xkcd.com/5/

    Direi che considera tutti i casi, o quasi (e Randall Munroe lavorava alla NASA, quindi direi che è qualificato )

    Fintanto che un computer sa giocare a tris, non ci sono grossi rischi.
    non+autenticato
  • - Scritto da: Basilisco di Roko
    > https://what-if.xkcd.com/5/
    >
    > Direi che considera tutti i casi, o quasi (e
    > Randall Munroe lavorava alla NASA, quindi direi
    > che è qualificato
    > )
    >
    > Fintanto che un computer sa giocare a tris, non
    > ci sono grossi
    > rischi.
    il problema e' che lo wopr NON sapeva giocarci... e' solo per una serie di fortunate coincidenze che ha imparato a farlo (e mai troppo prestoCon la lingua fuori)
    non+autenticato
  • non parlate mai di operative neuromodulation ed human robotics
    non+autenticato
CONTINUA A LEGGERE I COMMENTI
1 | 2 | 3 | Successiva
(pagina 1/3 - 11 discussioni)