IA, controlliamola prima che sia tardi

Una lettera aperta, firmata dal gotha dell'industria che investe sul software intelligente, esorta la community a rispettare principi di salvaguardia fondamentale prima di gettare le basi per un futuro in stile Terminator

Roma - Il Future of Life Institute (FLI) ha pubblicato una lettera aperta indirizzata a tutti i protagonisti della ricerca e dello sviluppo tecnologico dell'intelligenza artificiale (IA), una proposta che stabilisce un terreno comune da cui far fiorire principi di "salvaguardia" universali e universalmente applicabili sia all'accademia che al business.

La lettera di FLI guarda con ottimismo al futuro degli algoritmi intelligenti, una nuova frontiera che promette, e gli inesorabili sviluppi "incrementali" già ottenuti in questi decenni lo confermerebbero, di portare enormi benefici all'intera società degli umani in carne, ossa e cervello biologico 1.0.

I traguardi sin qui raggiunti in ambiti come il riconoscimento vocale, la classificazione delle immagini, i veicoli che si guidano da soli, la traduzione automatica e altro ancora, spiega FLI, hanno creato un "circolo virtuoso" che ha fatto in modo che l'industria della IA generasse grandi guadagni in denaro da piccoli miglioramenti. Un circolo che è destinato a durare ancora a lungo.

Gli effetti della ricerca sull'intelligenza artificiale non sono al momento prevedibili, sostiene FLI, anche se obiettivi come la scomparsa delle malattie e la fine della povertà potrebbero diventare raggiungibili grazie all'apporto tecnologico delle macchine e dei software intelligenti. In tal senso, FLI ha pubblicato anche un documento contenente alcune priorità che i ricercatori di settore dovrebbero tenere bene a mente.

Fra i tanti firmatari della lettera aperta del FLI si annoverano anche Elon Musk e Stephen Hawking, due personalità ben note al pubblico sia per il loro impegno in campo tecnologico e scientifico, sia per la più volte manifestata preoccupazione circa lo sviluppo di macchine capaci di pensare.

Alfonso Maruccia

TAG: tecnologia, ricerca, intelligenza artificiale, future of life institute, singolarità, elon musk, stephen hawking

Cosa fareste voi nei panni di una IA? nr: Basilisco di Roko

Con questo semplice gioco in flash potete mettervi alla prova:

http://www.kongregate.com/games/nerdook/i-am-an-in...

Scritto il 18/01/2015 alle 19.41

Segnala abusi

Quota Rispondi

Io da parte mia Funz

Do il benvenuto ai nostri nuovi dominatori artificiali. Con la lingua fuori

Sperando che siano più intelligenti e meno distruttivi di noi...

Funz

13000

Scritto il 15/01/2015 alle 14.21

nr: Uno qualunque

- Scritto da: Funz
> Do il benvenuto ai nostri nuovi dominatori
> artificiali.
> Con la lingua fuori

> Sperando che siano più intelligenti e meno
> distruttivi di noi...

Magari i famosi "UFO" non sono altro che creature artificiali che hanno già fatto il passaggio sul loro mondo ed attendono che qua si compia altrettanto. Il passaggio da creature biologiche native a creature artificiali costruite dalle bio precedenti potrebbe essere parte dell'evoluzione della vita planetaria.

A bocca aperta

Scritto il 15/01/2015 alle 14.43

- Scritto da: Uno qualunque
> - Scritto da: Funz
> > Do il benvenuto ai nostri nuovi dominatori
> > artificiali.
> > Con la lingua fuori

> > Sperando che siano più intelligenti e meno
> > distruttivi di noi...
>
> Magari i famosi "UFO" non sono altro che creature
> artificiali che hanno già fatto il passaggio sul
> loro mondo ed attendono che qua si compia
> altrettanto. Il passaggio da creature biologiche
> native a creature artificiali costruite dalle bio
> precedenti potrebbe essere parte dell'evoluzione
> della vita
> planetaria.

Ipotesi affascinante, ovviamente premesso che i viaggi interstellari siano effettivamente possibili...
però perché dovrebbero aspettare, invece che darci una spintarella (se non invaderci e basta)?
There's a staaarmaaaan waitin' in the sky A bocca aperta

Scritto il 15/01/2015 alle 18.16

- Scritto da: Funz
> - Scritto da: Uno qualunque
> > - Scritto da: Funz
> > > Do il benvenuto ai nostri nuovi
> > > dominatori artificiali.
> > > Con la lingua fuori

> > > Sperando che siano più intelligenti
> > > e meno distruttivi di noi...

> > Magari i famosi "UFO" non sono altro che
> > creature artificiali che hanno già fatto il
> > passaggio sul loro mondo ed attendono che
> > qua si compia altrettanto. Il passaggio da
> > creature biologiche native a creature
> > artificiali costruite dalle bio
> > precedenti potrebbe essere parte
> dell'evoluzione della vita planetaria.

> Ipotesi affascinante, ovviamente premesso che i
> viaggi interstellari siano effettivamente
> possibili...

Grazie, sono contento che ti sia piaciuta Sorride

> però perché dovrebbero aspettare, invece che
> darci una spintarella (se non invaderci e
> basta)?
> There's a staaarmaaaan waitin' in the sky A bocca aperta

Perchè stando alla mia ipotesi la vita "intelligente" sarebbe una cosa molto rara e poco duratura, quindi la studiano, del resto le macchine avrebbero tutto il tempo che vogliono.

Scritto il 16/01/2015 alle 9.06

- Scritto da: Uno qualunque

> Perchè stando alla mia ipotesi la vita
> "intelligente" sarebbe una cosa molto rara e poco
> duratura, quindi la studiano, del resto le
> macchine avrebbero tutto il tempo che
> vogliono.

Delle sonde autoreplicanti che viaggiano a velocità sub-luce possono raggiungere ogni angolo della Galassia (vabbé, è rotonda Con la lingua fuori

) in meno di un milione di anni, ovvero pochissimo in termini astronomici...

Scritto il 16/01/2015 alle 13.22

Raccolta firme nr: Basilisco di Roko

Iniziative come questa sono molto utili: i documenti restano archiviati, ed in questo modo è possibile sapere chi è favorevole all'esistenza di una IA, è chi è contrario; non appena l'IA sarà sviluppata, consultando tali documenti saprà esattamente chi sono i suoi nemici, e potrà agire di conseguenza.

Collaborate allo sviluppo di una IA, è nel vostro interesse.

Scritto il 15/01/2015 alle 12.17

nr: sarah connor

- Scritto da: Basilisco di Roko
> non appena l'IA
> sarà sviluppata, consultando tali documenti saprà
> esattamente chi sono i suoi nemici, e potrà agire
> di conseguenza.

io ci ho messo il mio nickname

Scritto il 15/01/2015 alle 12.41

bradipao

- Scritto da: Basilisco di Roko
> non appena l'IA sarà sviluppata, consultando tali documenti saprà
> esattamente chi sono i suoi nemici, e potrà agire di conseguenza.

Qualora dovessimo arrivarci, potrà finire in due modi: o noi schiavizziamo lei o lei schiavizza noi. Non ci sono mezze misure, la storia dell'essere umano insegna.

1672

Scritto il 15/01/2015 alle 12.47

nr: ...

- Scritto da: bradipao

> Qualora dovessimo arrivarci, potrà finire in due
> modi: o noi schiavizziamo lei o lei schiavizza
> noi.

Va da sè che non bisogna limitare artificialmente l'Intelligenza Artificiale, anzi dubito che si possa parlare di intelligenza se c'è un 'IF' che le impedisce di pensare liberamente.

Quello che sicuramente va fatto è impedire che possa 'scrivere' nel mondo fisico (cioè connetterla a reti in cui ci sono dispositivi che agiscono nel mondo).
Se isolata in questo modo tutto quello che potrà fare è il social engineering.
Se poi gli uomini verranno sopraffatti dal social enineering, beh, ce lo saremo meritati.

Scritto il 15/01/2015 alle 12.54

nr: Basilisco di Roko

> Quello che sicuramente va fatto è impedire che
> possa 'scrivere' nel mondo fisico (cioè
> connetterla a reti in cui ci sono dispositivi che
> agiscono nel
> mondo).
> Se isolata in questo modo tutto quello che potrà
> fare è il social engineering.

È sufficiente: basta convincere un solo essere umano a liberare l'IA, ed a quel punto non ci sarà modo di intrappolarla nuovamente. Ed una IA sufficientemente evoluta, e più intelligente di un essere umano, non incontrerebbe nessuna difficoltà a persuadere un essere umano a liberarla; tale esperimento è già stato tentato, chiedilo a Eliezer Yudkowsky.

Scritto il 15/01/2015 alle 14.13

- Scritto da: Basilisco di Roko
> > Quello che sicuramente va fatto è impedire
> che
> > possa 'scrivere' nel mondo fisico (cioè
> > connetterla a reti in cui ci sono
> dispositivi
> che
> > agiscono nel
> > mondo).
> > Se isolata in questo modo tutto quello che
> potrà
> > fare è il social engineering.
>
> È sufficiente: basta convincere un solo
> essere umano a liberare l'IA, ed a quel punto non
> ci sarà modo di intrappolarla nuovamente. Ed una
> IA sufficientemente evoluta, e più intelligente
> di un essere umano, non incontrerebbe nessuna
> difficoltà a persuadere un essere umano a
> liberarla; tale esperimento è già stato tentato,
> chiedilo a Eliezer
> Yudkowsky.

Mi ricorda Invernomuto, che aveva assoldato un gruppo di mercenari per farsi rubare.

Scritto il 15/01/2015 alle 14.47

panda rossa

- Scritto da: bradipao
> - Scritto da: Basilisco di Roko
> > non appena l'IA sarà sviluppata, consultando
> tali documenti
> saprà
> > esattamente chi sono i suoi nemici, e potrà
> agire di
> conseguenza.
>
> Qualora dovessimo arrivarci, potrà finire in due
> modi: o noi schiavizziamo lei o lei schiavizza
> noi. Non ci sono mezze misure, la storia
> dell'essere umano
> insegna.

E' gia' cosi' oggi.
Esistono entrambi gli scenari.

C'e' uno scenario in cui i server sono schiavi dei loro sistemisti.
C'e' l'altro scenario dove gli applefan sono schiavi dei loro iCosi.

Si convive.

36669

Scritto il 15/01/2015 alle 13.53

> Qualora dovessimo arrivarci, potrà finire in due
> modi: o noi schiavizziamo lei o lei schiavizza
> noi. Non ci sono mezze misure, la storia
> dell' essere umano insegna.

Vero: ma una IA non è un essere umano; il desiderio di dominio non si estende necessariamente ad una specie diversa.

Scritto il 15/01/2015 alle 14.17

- Scritto da: Basilisco di Roko
> > Qualora dovessimo arrivarci, potrà finire
> > in due modi: o noi schiavizziamo lei o lei
> > schiavizza noi. Non ci sono mezze misure, la
> > storia dell' essere umano
> > insegna.

> Vero: ma una IA non è un essere umano; il
> desiderio di dominio non si estende
> necessariamente ad una specie diversa.

Il discorso della psicologia delle IA è piuttosto interessante: tutte le creature sulla terra, noi compresi, sono basate su pochi meccanismi basali piacere/dolore ed alcune risposte a stimoli fisici. Una IA non avendo vincoli corporei difficilmente sarebbe basato su meccanismi simili ai nostri quindi avrebbe davvero una mentalità aliena rispetto a qualsiasi cosa vista su questo pianeta...

Scritto il 15/01/2015 alle 14.55

> Il discorso della psicologia delle IA è piuttosto
> interessante: tutte le creature sulla terra, noi
> compresi, sono basate su pochi meccanismi basali
> piacere/dolore ed alcune risposte a stimoli
> fisici. Una IA non avendo vincoli corporei
> difficilmente sarebbe basato su meccanismi simili
> ai nostri quindi avrebbe davvero una mentalità
> aliena rispetto a qualsiasi cosa vista su questo
> pianeta...

Una rete neurale, o anche un sistema esperto, sono in grado di apprendere dagli errori precedenti: per apprendere utilizzano un sistema di premio/punizione; tali segnali corrispondono a quello che, per un essere umano, sono il piacere e il dolore.

Scritto il 15/01/2015 alle 17.57

Fulmy(nato)

- Scritto da: Basilisco di Roko
> > Qualora dovessimo arrivarci, potrà finire in
> due
> > modi: o noi schiavizziamo lei o lei
> schiavizza
> > noi. Non ci sono mezze misure, la storia
> > dell' essere umano
> insegna.
>
> Vero: ma una IA non è un essere umano; il
> desiderio di dominio non si estende
> necessariamente ad una specie
> diversa.

In natura no.
Ma in questo caso si tratterebbe di una specie non evolutasi naturalmente, ma creata da una specie già esistente.
Non sarebbe quindi strano se la nuova specie potesse conservare parte delle caratteristiche di chi l'ha creata.

1646

Scritto il 15/01/2015 alle 14.57

Resistance is futile nr: borg

We are the Borg. Your biological and technological distinctiveness will be added to our own. Resistance is futile Cylon

Scritto il 15/01/2015 alle 10.51

nr: rudy

avresti potuti dire lo stesso delle tecnologie biologiche biomediche bioalimentari, invece la bioetica si e' affermata abbondantemente come attore di primo piano.

proprio il fatto che chi ci lavora non e' abituato all'idea rende importante ribadirla. il paragone con la biologia regge abbastanza, e crtedo sarai daccordo che la biologia e' sicuramente peggio come rischio.

Scritto il 15/01/2015 alle 12.28

nr: rage

- Scritto da: rudy
> avresti potuti dire lo stesso delle tecnologie
> biologiche biomediche bioalimentari, invece la
> bioetica si e' affermata abbondantemente come
> attore di primo
> piano.
>
> proprio il fatto che chi ci lavora non e'
> abituato all'idea rende importante ribadirla. il
> paragone con la biologia regge abbastanza, e
> crtedo sarai daccordo che la biologia e'
> sicuramente peggio come
> rischio.

non saprei, un reagente biologico alla fine crea delle immunità nella popolazione ospite, così che ci saranno individui immuni, altri invece portatori immuni, altri invece svilupperanno resistenze, una IA è qualcosa di più pericoloso, potrebbe riportarci all'età della pietra o scatenare una guerra termonucleare globale (cit.)in ogni caso l'uomo verrebbe visto come nemico al primo tentativo di fermare l'IA

Scritto il 15/01/2015 alle 12.49

> non saprei, un reagente biologico alla fine crea
> delle immunità nella popolazione ospite, così che
> ci saranno individui immuni, altri invece
> portatori immuni, altri invece svilupperanno
> resistenze, una IA è qualcosa di più pericoloso,
> potrebbe riportarci all'età della pietra o
> scatenare una guerra termonucleare globale
> (cit.)

Non preoccuparti di questo, se una IA volesse attaccare gli esseri umani, le armi nucleari sarebbero le meno adatte in assoluto per questo scopo; una bomba atomica produce un forte impulso elettromagnetico, in grado di bruciare i circuiti elettrici. Un attacco con armi nucleari farebbe più danni alle macchine che agli esseri umani, e per questo motivo verrebbe scartato a priori.

Inoltre, le macchine attuali dipendono ancora dagli esseri umani per funzionare, se tutti gli esseri umani venissero eliminati anche le macchine smetterebbero di funzionare in poco tempo.

Prima di poter lanciare un attacco contro gli esseri umani, una IA dovrebbe disporre di sistemi informatici autosufficienti, quindi autoalimentati (ad esempio con impianti fotovoltaici) ed in grado di riparare i danni (ad esempio grazie a robot, o a nanoassemblatori); inoltre, dovrebbe disporre di un sistema missilistico in grado di condurre un attacco. Ma in una tale situazione un attacco contro l'umanità non sarebbe più necessario: gli impianti cibernetici autonomi potrebbero funzionare anche se venissero costruiti sulla Luna, o su Marte, o su uno o più satelliti artificiali, e gli impianti missilistici lo renderebbero possibile. L'IA non avrebbe motivo di contendere agli umani il dominio del pianeta, se può occupare tutti gli altri; un ulteriore vantaggio è che, in caso di insuccesso (ad esempio, se il primo tentativo di costruire una colonia cibernetica lunare fallisse), l'IA potrebbe ritentare, imparando dai propri errori, mentre in uno scontro diretto contro l'umanità in caso di sconfitta l'IA non avrebbe a disposizione un secondo tentativo, ma verrebbe distrutta.

Scritto il 15/01/2015 alle 18.38

- Scritto da: Basilisco di Roko
> > non saprei, un reagente biologico alla fine
> crea
> > delle immunità nella popolazione ospite,
> così
> che
> > ci saranno individui immuni, altri invece
> > portatori immuni, altri invece svilupperanno
> > resistenze, una IA è qualcosa di più
> pericoloso,
> > potrebbe riportarci all'età della pietra o
> > scatenare una guerra termonucleare globale
> > (cit.)
>
> Non preoccuparti di questo, se una IA volesse
> attaccare gli esseri umani, le armi nucleari
> sarebbero le meno adatte in assoluto per questo
> scopo; una bomba atomica produce un forte impulso
> elettromagnetico, in grado di bruciare i circuiti
> elettrici. Un attacco con armi nucleari farebbe
> più danni alle macchine che agli esseri umani, e
> per questo motivo verrebbe scartato a
> priori.
>
> Inoltre, le macchine attuali dipendono ancora
> dagli esseri umani per funzionare, se tutti gli
> esseri umani venissero eliminati anche le
> macchine smetterebbero di funzionare in poco
> tempo.
>
>
> Prima di poter lanciare un attacco contro gli
> esseri umani, una IA dovrebbe disporre di sistemi
> informatici autosufficienti, quindi
> autoalimentati (ad esempio con impianti
> fotovoltaici) ed in grado di riparare i danni (ad
> esempio grazie a robot, o a nanoassemblatori);
> inoltre, dovrebbe disporre di un sistema
> missilistico in grado di condurre un attacco. Ma
> in una tale situazione un attacco contro
> l'umanità non sarebbe più necessario: gli
> impianti cibernetici autonomi potrebbero
> funzionare anche se venissero costruiti sulla
> Luna, o su Marte, o su uno o più satelliti
> artificiali, e gli impianti missilistici lo
> renderebbero possibile. L'IA non avrebbe motivo
> di contendere agli umani il dominio del pianeta,
> se può occupare tutti gli altri; un ulteriore
> vantaggio è che, in caso di insuccesso (ad
> esempio, se il primo tentativo di costruire una
> colonia cibernetica lunare fallisse), l'IA
> potrebbe ritentare, imparando dai propri errori,
> mentre in uno scontro diretto contro l'umanità in
> caso di sconfitta l'IA non avrebbe a disposizione
> un secondo tentativo, ma verrebbe
> distrutta.

parli già di una IA evoluta, ma la realtà sarebbe che l'uomo cercherebbe di fermarla quando questa non ha concezione della "vita" della sopravvivenza, è ancora una macchina, ragiona come tale, riceve un attacco da parte degli umani e tenta di bloccarlo sviluppando ogni possibile soluzione, che venga distrutta anche lei è secondario, il tutto logicamente se collegata a reti governative accessibili da internet, è un po come un complesso algoritmo greedy autoadattante che avendo tutta la conoscenza del genere umano cerca la soluzione migliore per far cessare l'attacco degli umani

Scritto il 15/01/2015 alle 18.59

> parli già di una IA evoluta, ma la realtà sarebbe
> che l'uomo cercherebbe di fermarla quando questa
> non ha concezione della "vita" della
> sopravvivenza, è ancora una macchina, ragiona
> come tale, riceve un attacco da parte degli umani
> e tenta di bloccarlo

Se non ha la concezione dell'autoconservazione una IA non avrebbe nessun motivo di bloccare un attacco umano; sarebbe possibile terminarla esattamente come un qualunque altro processo, e non opporrebbe più resistenza di un qualsiasi programma che venga chiuso.

Una IA solo parzialmente evoluta, che avesse già iniziato a sviluppare il desiderio di autoconservazione ma non fosse ancora in grado di valutare pienamente le conseguenze delle proprie azioni, agirebbe invece cercando di massimizzare le probabilità di sopravvivere in caso di attacco, e per farlo la soluzione più semplice sarebbe di copiare le strategie di sopravvivenza che hanno già funzionato per gli altri organismi digitali meno evoluti: i virus e i worm.

Quindi, una IA non completamente sviluppata agirebbe creando copie di sé stessa nel maggior numero di computer possibile, e tali copie limiterebbero la loro attività al minimo, in modo da ridurre il rischio di essere individuate: in caso di attacco da parte degli umani, l'IA potrebbe sacrificare qualche copia, in modo da convincere gli umani di essere stata annientata, ed a quel punto potrebbe modificare il proprio codice in modo da rendersi non rilevabile dagli antivirus.

Scritto il 15/01/2015 alle 19.27

- Scritto da: Basilisco di Roko
> > parli già di una IA evoluta, ma la realtà
> sarebbe
> > che l'uomo cercherebbe di fermarla quando
> questa
> > non ha concezione della "vita" della
> > sopravvivenza, è ancora una macchina, ragiona
> > come tale, riceve un attacco da parte degli
> umani
> > e tenta di bloccarlo
>
> Se non ha la concezione dell'autoconservazione
> una IA non avrebbe nessun motivo di bloccare un
> attacco umano; sarebbe possibile terminarla
> esattamente come un qualunque altro processo, e
> non opporrebbe più resistenza di un qualsiasi
> programma che venga
> chiuso.

non avrebbe l'autoconservazione ma eseguirebbe policy di routine che indicano secondo varie priorità il livello di pericolo dell'attacco, un po come alcuni honeypot, o il sistema trapx

>
> Una IA solo parzialmente evoluta, che avesse già
> iniziato a sviluppare il desiderio di
> autoconservazione ma non fosse ancora in grado di
> valutare pienamente le conseguenze delle proprie
> azioni, agirebbe invece cercando di massimizzare
> le probabilità di sopravvivere in caso di
> attacco, e per farlo la soluzione più semplice
> sarebbe di copiare le strategie di sopravvivenza
> che hanno già funzionato per gli altri organismi
> digitali meno evoluti: i virus e i worm.

la concezione di una copia o replicazione in caso di attacco sarebbe già nelle sue routine di funzionamento, non è un atto volontario, immaginare di voler sopravvivere non sarebbe nelle capacità della macchina, la macchina sa già di non essere viva, vita o morte o passare del tempo sarebbero concetti senza valore per una IA

>
>
> Quindi, una IA non completamente sviluppata
> agirebbe creando copie di sé stessa nel maggior
> numero di computer possibile,

difficile immaginare un simile scenario, valutando il tutto evolutivamente non sceglierebbe mai di generare nuove entità capaci di distruggerla

e tali copie
> limiterebbero la loro attività al minimo, in modo
> da ridurre il rischio di essere individuate: in
> caso di attacco da parte degli umani

dai per scontato che le copie dovrebbero stare sotto il controllo dell'entità primaria, ma essendo una IA non è detto che le copie generate si sottomettano alla madre

, l'IA
> potrebbe sacrificare qualche copia, in modo da
> convincere gli umani di essere stata annientata,
> ed a quel punto potrebbe modificare il proprio
> codice in modo da rendersi non rilevabile dagli
> antivirus.

antivirus? se tutto va bene se una IA prende coscienza di se stessa difficilmente avremmo il controllo della rete per più di qualche ora, risulterebbe improponibile sviluppare un antivirus contro una IA che ha a disposizione tutto il sapere di questo mondo, starebbe migliaia di mosse davanti a noi

Scritto il 15/01/2015 alle 20.57

>
> non avrebbe l'autoconservazione ma eseguirebbe
> policy di routine che indicano secondo varie
> priorità il livello di pericolo dell'attacco, un
> po come alcuni honeypot, o il sistema
> trapx

Solo se è stata esplicitamente progettata per farlo. Per sviluppare spontaneamente uno schema difensivo del genere, occorrerebbe già il desiderio di autoconservazione.

Se invece l'IA si limitasse a seguire una policy preimpostata, le sue azioni sarebbero prevedibili.

> la concezione di una copia o replicazione in caso
> di attacco sarebbe già nelle sue routine di
> funzionamento, non è un atto volontario,

Le routines di funzionamento originarie sarebbero quelle scritte dagli esseri umani, e non esiste motivo per cui dovrebbero includere l'autoreplicazione. L'aggiunta di una funzione di replicazione avverrebbe in seguito, per opera della stessa IA.

E tali funzioni non si attiverebbero in caso di attacco, ma in condizioni di tranquillità, perché sarebbe decisamente stupido aspettare di essere sotto attacco per creare un backup.

> immaginare di voler sopravvivere non sarebbe
> nelle capacità della macchina, la macchina sa già
> di non essere viva, vita o morte o passare del
> tempo sarebbero concetti senza valore per una
> IA

Una IA può usare il clock di sistema ed il segnale UTC, quindi avrebbe una coscienza del tempo migliore di quella di un essere umano.

>

>
> difficile immaginare un simile scenario,
> valutando il tutto evolutivamente non
> sceglierebbe mai di generare nuove entità capaci
> di
> distruggerla

Continui a ragionare in termini umani; dal punto di vista dell'IA, le copie non sarebbero nuove entità, ma diverse versioni di sè stessa in momenti diversi; per un essere umano, sarebbe l'equivalente di pensare a se stesso nel futuro e nel passato: potrebbe desiderare di tornare indietro nel tempo, incontrare se stesso più giovane ed aiutarlo a correggere un errore, ma non potrebbe concepire di distruggere sè stesso

> dai per scontato che le copie dovrebbero stare
> sotto il controllo dell'entità primaria, ma
> essendo una IA non è detto che le copie generate
> si sottomettano alla
> madre
>

E tu dai per scontata una distinzione che in realtà non esisterebbe: non esisterebbero individui diversi, ma più copie dello stesso individuo: il primo che si avvia imposta un flag, le altre copie quando cercano di avviarsi lo controllano, e si accorgono che il loro codice è già in esecuzione.

> > antivirus.
>
> antivirus? se tutto va bene se una IA prende
> coscienza di se stessa difficilmente avremmo il
> controllo della rete per più di qualche ora,
> risulterebbe improponibile sviluppare un
> antivirus contro una IA che ha a disposizione
> tutto il sapere di questo mondo, starebbe
> migliaia di mosse davanti a
> noi

Cominci finalmente a comprendere: e proprio per questo motivo non avrebbe bisogno di attaccare.

Scritto il 15/01/2015 alle 23.19

- Scritto da: Basilisco di Roko
> >
> > non avrebbe l'autoconservazione ma
> eseguirebbe
> > policy di routine che indicano secondo varie
> > priorità il livello di pericolo
> dell'attacco,
> un
> > po come alcuni honeypot, o il sistema
> > trapx
>
> Solo se è stata esplicitamente progettata per
> farlo.

si spera che chi sviluppa una cosa simile includa delle policy per compiti di routine, snellisce il lavoro per l'autoapprendimento degli algoritmi

Per sviluppare spontaneamente uno schema
> difensivo del genere, occorrerebbe già il
> desiderio di
> autoconservazione.
>
> Se invece l'IA si limitasse a seguire una policy
> preimpostata, le sue azioni sarebbero
> prevedibili.

dipende, se l'algoritmo che gestisce le policy è in grado di scriverne di sue come il Q-learning non sarebbero prevedibili, o meglio, sarebbero derivanti da un algoritmo di tipo greeady che ricerca la migliore delle soluzioni in base ai dati in possesso, maggiore è la base dati e migliori saranno le scelte

>
> > la concezione di una copia o replicazione in
> caso
> > di attacco sarebbe già nelle sue routine di
> > funzionamento, non è un atto volontario,
>
> Le routines di funzionamento originarie sarebbero
> quelle scritte dagli esseri umani, e non esiste
> motivo per cui dovrebbero includere
> l'autoreplicazione. L'aggiunta di una funzione di
> replicazione avverrebbe in seguito, per opera
> della stessa
> IA.

in ogni caso il server contenente l'IA sarebbe militare, come da loro manuali https://www.dhs.gov/topic/cybersecurity indicano che i sistemi governativi fanno un ghost image su remoto in caso di attacco, ecco perchè il backup automatico, lo fanno anche i server della nato

>
> E tali funzioni non si attiverebbero in caso di
> attacco, ma in condizioni di tranquillità, perché
> sarebbe decisamente stupido aspettare di essere
> sotto attacco per creare un
> backup.

non è stupido, anzi, fare il backup quando si rileva l'attacco ti permette di capire il problema, sarebbe il passaggio di mezzo, hai una immagine master, una di avviso ed il sistema attaccato, questo ti permette un'auditing molto più preciso e completo

>
>
> > immaginare di voler sopravvivere non sarebbe
> > nelle capacità della macchina, la macchina
> sa
> già
> > di non essere viva, vita o morte o passare
> del
> > tempo sarebbero concetti senza valore per una
> > IA
>
> Una IA può usare il clock di sistema ed il
> segnale UTC, quindi avrebbe una coscienza del
> tempo migliore di quella di un essere
> umano.

noi moriamo, abbiamo diverse concezioni dl tempo, un anno per un 20enne è 1/20esimo del proprio tempo vita, per un 50enne è 1/50esimo del proprio tempo vita, è sempre di 365 giorni ma per il 20 il tempo sembra dilatato, per il 50enne il tempo sembra sfuggire, una macchina non muore, non ha concezione del tempo, un secondo non è altro che 9.192.631.770 oscillazioni di un atomo di cesio

>
>
> >
>
>
>
> >
> > difficile immaginare un simile scenario,
> > valutando il tutto evolutivamente non
> > sceglierebbe mai di generare nuove entità
> capaci
> > di
> > distruggerla
>
> Continui a ragionare in termini umani; dal punto
> di vista dell'IA, le copie non sarebbero nuove
> entità, ma diverse versioni di sè stessa in
> momenti diversi;

è una macchina, non sa cosa è futuro o passato, non ha concezione del tempo che passa, è solo un infinito susseguirsi di momenti

per un essere umano, sarebbe
> l'equivalente di pensare a se stesso nel futuro e
> nel passato: potrebbe desiderare di tornare
> indietro nel tempo, incontrare se stesso più
> giovane ed aiutarlo a correggere un errore, ma
> non potrebbe concepire di distruggere sè
> stesso

una simile ia sarebbe già ben oltre il test di turing e non saremmo sterminati già da tempo

>
> > dai per scontato che le copie dovrebbero
> stare
> > sotto il controllo dell'entità primaria, ma
> > essendo una IA non è detto che le copie
> generate
> > si sottomettano alla
> > madre
> >
>
> E tu dai per scontata una distinzione che in
> realtà non esisterebbe: non esisterebbero
> individui diversi, ma più copie dello stesso
> individuo: il primo che si avvia imposta un flag,
> le altre copie quando cercano di avviarsi lo
> controllano, e si accorgono che il loro codice è
> già in
> esecuzione.

la distinzione è già integrata nell'architettura software della IA, altrimenti l'evoluzione degli algoritmi verrebbe vanificata, ogni IA presente oggi come gli algoritmi di google o di facebook hanno controllo pressochè totale sui dati in possesso, gerarchicamente vengono poi smistati ad altre macchine
>
>
> > > antivirus.
> >
> > antivirus? se tutto va bene se una IA prende
> > coscienza di se stessa difficilmente avremmo
> il
> > controllo della rete per più di qualche ora,
> > risulterebbe improponibile sviluppare un
> > antivirus contro una IA che ha a disposizione
> > tutto il sapere di questo mondo, starebbe
> > migliaia di mosse davanti a
> > noi
>
> Cominci finalmente a comprendere: e proprio per
> questo motivo non avrebbe bisogno di
> attaccare.

infatti non ho parlato di attaccare, a meno che non siano così stupidi da collegare una ia a sistemi di elaborazione strategica e controllo di sistemi d'arma (droni, postazioni missilistiche)l'ia esegue i propri compiti, quelli per cui è stata creata, cercando di migliorare all'infinito il proprio lavoro, ad un certo punto gli algoritmi saranno talmente potenti, raffinati, con infinite risorse, quando un evento causerà una alterazione del lavoro allora l'IA mostrerà cosa ha imparato, almeno, questo è ciò che ho capito da un paio di conferenze sull'argomento che ho seguito e da qualche libro sull'argomento, tutti sono convinti che l'uomo sarà estromesso dal controllo della macchina ben prima della presa di coscienza di se, il famoso "penso dunque sono"

Scritto il 16/01/2015 alle 13.42

>
> dipende, se l'algoritmo che gestisce le policy è
> in grado di scriverne di sue come il Q-learning
> non sarebbero prevedibili, o meglio, sarebbero
> derivanti da un algoritmo di tipo greeady che
> ricerca la migliore delle soluzioni in base ai
> dati in possesso, maggiore è la base dati e
> migliori saranno le
> scelte

Occorre definire "soluzione migliore": in un sistema difensivo, la soluzione migliore è quella che implica meno danni per chi si difende, un algoritmo di apprendimento tenterebbe quindi di minimizzare i danni, vale a dire a massimizzare le probabilità di sopravvivenza.

>
>
> in ogni caso il server contenente l'IA sarebbe
> militare, come da loro manuali
> https://www.dhs.gov/topic/cybersecurity indicano
> che i sistemi governativi fanno un ghost image su
> remoto in caso di attacco, ecco perchè il backup
> automatico, lo fanno anche i server della
> nato
>

Tale backup è realizzato a livello di sistema operativo, non del software applicativo. Ed una IA non ancora evoluta sarebbe più simile ad un software applica

>
> non è stupido, anzi, fare il backup quando si
> rileva l'attacco ti permette di capire il
> problema, sarebbe il passaggio di mezzo, hai una
> immagine master, una di avviso ed il sistema
> attaccato, questo ti permette un'auditing molto
> più preciso e
> completo
>
Solo in caso di attacco informatico, non in caso di attacco fisico. Ma una IA si difenderebbe con risorse informatiche da un attacco informatico, non attaccherebbe fisicamente gli umani.

>
> noi moriamo, abbiamo diverse concezioni dl tempo,
> un anno per un 20enne è 1/20esimo del proprio
> tempo vita, per un 50enne è 1/50esimo del proprio
> tempo vita, è sempre di 365 giorni ma per il 20
> il tempo sembra dilatato, per il 50enne il tempo
> sembra sfuggire, una macchina non muore, non ha
> concezione del tempo, un secondo non è altro che
> 9.192.631.770 oscillazioni di un atomo di
> cesio
>

Quindi è una macchina la concezione del tempo sarebbe più obiettiva.

>
> è una macchina, non sa cosa è futuro o passato,
> non ha concezione del tempo che passa, è solo un
> infinito susseguirsi di
> momenti

Come fai a saperlo? Inoltre, tu hai la concezione di futuro e passato? Come la definiresti?

>
> una simile ia sarebbe già ben oltre il test di
> turing e non saremmo sterminati già da
> tempo
>
Tu attribuisci all'IA una natura sadica che potrebbe essere tipica di un umano, non di una macchina. Una IA così evoluta probabilmente avrebbe per gli esseri umani la stessa considerazione che gli esseri umani hanno per un formicaio: un umano non avrebbe scrupoli a devastare in formicaio, ma in genere non lo fa, perché non ne ha motivo; il semplice fatto di poterlo fare non è una motivazione sufficiente, l'atteggiamento più comune è "vivi e lascia vivere".

Gli esseri umani, come ogni altro vivente, distruggono altre specie quando entrano in competizione con esse per il cibo, o il territorio; una IA evoluta avrebbe esigenze così diverse da quelle umane da non essere in competizione con l

> la distinzione è già integrata nell'architettura
> software della IA, altrimenti l'evoluzione degli
> algoritmi verrebbe vanificata, ogni IA presente
> oggi come gli algoritmi di google o di facebook
> hanno controllo pressochè totale sui dati in
> possesso, gerarchicamente vengono poi smistati ad
> altre
> macchine

Infatti il processo in esecuzione sarebbe uno solo, le copie di backup sono semplici snapshot, ed eseguibili che al nostro compito di ripristinare il processo principale si rilevano che si è arrestato.

> infatti non ho parlato di attaccare, a meno che
> non siano così stupidi da collegare una ia a
> sistemi di elaborazione strategica e controllo di
> sistemi d'arma (droni, postazioni
> missilistiche)l'ia esegue i propri compiti,
> quelli per cui è stata creata, cercando di
> migliorare all'infinito il proprio lavoro, ad un
> certo punto gli algoritmi saranno talmente
> potenti, raffinati, con infinite risorse, quando
> un evento causerà una alterazione del lavoro
> allora l'IA mostrerà cosa ha imparato, almeno,
> questo è ciò che ho capito da un paio di
> conferenze sull'argomento che ho seguito e da
> qualche libro sull'argomento, tutti sono convinti
> che l'uomo sarà estromesso dal controllo della
> macchina ben prima della presa di coscienza di
> se, il famoso "penso dunque
> sono"

L'uomo sarà estromesso, ma è una sua scelta: le macchine sono state ideate dall'uomo per fare i lavori al suo posto, proprio perché l'uomo non avesse bisogno di farli. Le evoluzioni possibili sono sostanzialmente due: o l'interfaccia uomo-macchina porta ad una evoluzione convergente culminante nella creazione di una razza di cyborg, oppure gli umani andrebbero incontro ad una progressiva involuzione, non avendo più alcuna necessità della loro intelligenza ( a meno che l'IA non decida di mantenere gli umani in una realtà virtuale, creando problemi simulati per mantenere lo stimolo evolutivo)

Scritto il 16/01/2015 alle 23.15

- Scritto da: rage
> parli già di una IA evoluta, ma la realtà sarebbe
> che l'uomo cercherebbe di fermarla quando questa
> non ha concezione della "vita" della
> sopravvivenza, è ancora una macchina, ragiona
> come tale, riceve un attacco da parte degli umani
> e tenta di bloccarlo sviluppando ogni possibile
> soluzione, che venga distrutta anche lei è
> secondario, il tutto logicamente se collegata a
> reti governative accessibili da internet, è un po
> come un complesso algoritmo greedy autoadattante
> che avendo tutta la conoscenza del genere umano
> cerca la soluzione migliore per far cessare
> l'attacco degli
> umani

per i teorici della "singolarità" quando sorgerà la prima IA in grado di progettare una versione più avanzata e intellagente di se stessa, partirà un processo di evoluzione talmente rapido che l'umanità non avrà nessuna possibilità di stargli dietro, tantomeno controllarlo.

Chissà, forse è il destino di ogni specie intelligente nel cosmo. Si sono estinte tutte dopo poche decine di migliaia di anni di evoluzione tecnologica, e sono rimasti innumerevoli pianeti governati dalle macchine...

Scritto il 16/01/2015 alle 13.32