Culture e pratiche di sorveglianza. In balia dell’Incoscienza Artificiale e dell’algocrazia

«Il punto è che non esiste una protesi cerebrale artificiale che sia intelligente; il calcolo senza significato può al massimo esprimere l’ossimoro dell’“intelligenza incosciente” […] La perdita di conoscenza e di autonomia fanno parte di un processo iniziato nel Ventunesimo secolo, nel corso del quale stiamo invertendo il rapporto gerarchico tra noi e le macchine. Oggi siamo sempre più portati a mettere in dubbio la risposta a una nostra domanda dataci da una persona, oppure quella di un assistente virtuale?» Massimo Chiariatti

«gli algoritmi sono pur sempre progettati da esseri umani, sono opachi, ossia poco trasparenti, e perseguono non solo obiettivi di efficienza, ma ancor più di profitto. Quando imparano dall’esperienza, poi, tendono a replicare i pregiudizi umani» Mauro Barberis

Nonostante si tenda a pensare all’Intelligenza Artificiale antropomorfizzandola, come se si trattasse di una macchina in grado di prendere “sue” decisioni ponderate, questa si “limita” a elaborare una mole di dati non governabile dagli esseri umani e a farlo con una velocità altrettanto al di sopra dalle loro possibilità. Per gestire le informazioni disponibili l’essere umano ha sempre teso a esternalizzare alcune funzioni del suo cervello estendendole nello spazio e nel tempo; sin dalla notte dei tempi l’umanità ha fatto ricorso a protesi tecnologiche per superare i suoi limiti fisici e cognitivi ma giunti alla digitalizzazione delle informazioni queste sono talmente aumentate che per la loro gestione si è resa necessaria una tecnologia sempre più sofisticata e performante soprattutto in termini di velocità di elaborazione.

La sempre più frenetica società della prestazione tende a vedere nella lentezza umana un limite a cui necessariamente sopperire attraverso la tecnologia ma occorre chiedersi se davvero questa lentezza debba per forza essere intesa come un limite dell’umano rispetto alla macchina o non piuttosto come un valore che lo distingue irriducibilmente da essa. Se la lentezza umana viene vista come il tempo della coscienza, della possibilità di porsi delle domande, allora la velocità di elaborazione della macchina non è per forza di cose un valore sminuente l’umano.

Anziché pensare all’intelligenza artificiale come a macchine “intelligenti” capaci di decidere al posto dell’essere umano, conviene prendere atto di come queste non siano altro che esecutrici di istruzioni e pregiudizi umani sotto forma di numeri e formule che lavorano sui dati loro forniti senza prendere in considerazione facoltà tipicamente umane come le emozioni, la responsabilità o l’immaginazione. Le macchine cosiddette intelligenti, infatti, si limitano ad “apprendere” in maniera decontestualizzata dai dati derivando da questi anche, come detto, i pregiudizi umani, dunque occorrerebbe una certa cautela nel permettere loro di prendere decisioni capaci di influire sulla nostra vita e quella del Pianeta.

Una macchina che sta imparando dai dati, si usa dire che “apprende” ma in realtà sarebbe meglio essere consapevoli che nell’elaborare dati in fin dei conti in maniera statistica questa “prende decisioni” che però non sono affatto “intelligenti”, tanto che è sempre più difficile comprendere i motivi da cui derivano particolari decisioni. Occorre inoltre tenere presente che i dati non vengono lasciati alle macchine in sé ma ai soggetti che le possiedono e che hanno precisi interessi.

È attorno a questioni di tale portata che riflette il volume di Massimo Chiariatti, Incoscienza artificiale. Come fanno le macchine a prevedere per noi (Luiss University Press, 2021), analizzando la natura dell’intelligenza artificiale e le implicazioni della sua interazione con l’essere umano.

Lo studioso ricorda come il concetto stesso di Intelligenza Artificiale – introdotto attorno alla metà degli anni Cinquanta del secolo scorso – sia sempre stato assai dibattuto all’interno della comunità scientifica; se già di per sé è difficile definire in maniera univoca il concetto di “intelligenza”, non di meno anche l’aggettivo “artificiale” crea qualche problema implicando che «a monte rispetto al lavoro delle macchine ci sono sempre operazioni umane, dunque basate sulla biologia», pertanto, suggerisce Chiariatti, sarebbe il caso di «sostituire “intelligenza”, che ha un’accezione positiva, con “incoscienza”, poiché gli algoritmi, eseguendo regole che imparano autonomamente dai dati, producono risultati senza alcuna comprensione e coscienza di ciò che stanno facendo»¹.

Le macchine, anche le più sofisticate, possono certamente essere confrontate all’essere umano in termini di abilità, non certo di intelligenza se si ritiene che questa abbia a che fare con la comprensione e la coscienza di quanto si sta facendo. Ma, nota lo studioso, il sogno umano di «poter essere creatori si esplicita nel linguaggio quando si assegnano i nomi agli aggetti, come se, per esempio, il termine “apprendimento” (learning) in machine learning avesse lo stesso significato che ha per noi»².

Nel relazionarsi con le macchine l’essere umano non ha a disposizione un vocabolario neutrale con cui descrivere i fenomeni artificiali. Se per gli umani apprendere significa «modificare perennemente la mappa neuronale del cervello, e nel caso del linguaggio, aggiungere un significato simbolico»³, per la macchina “apprendere” significa far ricorso all’inferenza statistica, «ossia prendendo dalle coppie di dati per cui la relazione dell’input e dell’output è conosciuta (es. gli animali con le strisce sono zebre). Dando continuamente in pasto alle macchine queste coppie (input e output) possiamo fare in modo che fornendo solo l’input (strisce) sia possibile ottenere dalla macchina l’output probabilmente corretto (zebre)»⁴. Probabilmente, appunto, in quanto si tratta pur sempre di un risultato di ordine statistico derivato dalla regola appresa dalla macchina “allenandosi” sulle coppie di dati forniti.

Mancando alla macchina la capacità astrattiva necessaria nella realizzazione di un processo analitico e inferenziale diventa difficile parlare davvero di apprendimento. Se il mero apprendimento dai dati si sostituisce a una programmazione esplicita, ossia al fornire all’elaboratore tutte le istruzioni relative al lavoro che deve compire, l’essere umano finisce per perdere il controllo sulle decisioni non essendo nemmeno in grado di comprendere come queste siano state prese dalla macchina: all’aumentare della complessità del mondo e al delegare alle macchine la costruzione di modelli corrisponde l’associare l’intelligenza alla mera ottimizzazione statistica che fa a meno del porsi domande.

Quello che è certo ora è che la nostra cultura ha generato la natura delle macchine, che diventa la loro “conoscenza innata artificiale”. In altre parole, tutto quello che noi abbiamo espresso manualmente, verbalmente e in forma scritta, e che abbiamo trascritto in database, è entrato nella formazione delle macchine. […] Cosa ha ereditato la macchina? I dati, comprensivi dei nostri pregiudizi. E cosa sta imparando? A fare previsioni, al posto nostro⁵.

Tutto ciò, sottolinea Chiariatti, deve indurre a riflettere circa le conseguenze in una società algoritmica sia a proposito delle modalità con cui le macchine, con la loro “Incoscienza Artificiale”, giungono alle loro conclusioni/decisioni che a come rapportarsi nei loro confronti.

Si è soliti tipizzare diversi livelli di IA. Nella IA Debole, che è il livello attuale dell’evoluzione informatica, in cui l’elaboratore è dotato di competenze specifiche ma non comprende le operazioni che compie: si tratta di una IA orientata agli obiettivi, progettata per apprendere o imparare a completare compiti specifici come il riconoscimento facciale o vocale, guidare un veicolo o svolgere una ricerca in Internet. Si tratta di un sistema che può operare in maniera reattiva, senza avvalersi di un’esperienza precedente, o sfruttando una memoria di archiviazione dati, per quanto limitata, in modo da poter ricorrere a dati storici per prendere decisioni. Occorre fornirgli regole e dati in quantità per simulare processi ma non vi è alcuna riproduzione del pensiero umano. Nella IA Forte si sfruttano invece strumenti come l’apprendimento profondo (deep learning) al fine di affrontare i compiti del cosiddetto Sistema 2 (ragionamento, pianificazione, comprensione della causalità). L’obiettivo in questo caso è avvicinarsi all’intelligenza umana simulando il ragionamento causa-effetto anche se resta l’incapacità della macchina di porsi dubbi e domande circa il suo operare. L’IA Generale, invece, resta la visione per così dire fantascientifica che pretende di trasferire il contenuto del cervello umano nella macchina così che questa possa comportarsi al pari dell’umano.

Sempre più industrie manifatturiere dipendono dalle piattaforme digitali affiancando all’inevitabile uso di Internet il ricorso all’intelligenza artificiale, tanto che colossi come Predix (General Electric) e MindSphere (Siemens) si contendono il monopolio delle piattaforme industriali indispensabili anche per lo sviluppo dell’IA.

A tal proposito, nel volume di Mauro Barberis, Ecologia della rete. Come usare internet e vivere felici (Mimesis, 2021), viene evidenziato come la pandemia abbia accelerato tali processi soprattutto nell’ambito della logistica e nella diffusione dello smart working che ha assunto sempre più le sembianze del lavoro a cottimo deregolamentato a vantaggio di “padroni impersonali”.

Secondo lo studioso il punto di passaggio fra Internet e IA potrebbe essere indicato nell’Internet delle cose (Internet of things, IoT) [su Carmilla 1 e 2], cioè nel momento in cui a comunicare fra loro in wireless sono oggetti identificati da protocolli Internet. Scrive a tal proposito Barberis:

Dagli oggetti che funzionano in assenza dei padroni di casa o che si accendono da soli al loro arrivo (domotica), agli edifici e alle città intelligenti (smart), dai robot, dispositivi non necessariamente somiglianti agli umani, che svolgono gran parte delle operazioni di montaggio e assemblaggio nell’industria manifatturiera, sino alle auto senza guidatore sperimentate dalle industrie californiane, le applicazioni dell’internet delle cose sono ormai tante e così invasive da aver prodotto anche reazioni di rifiuto. In effetti, tutte queste applicazioni dell’IA presentano due somiglianze importanti e anche inquietanti. La prima è essere collegate tramite internet a un server centrale, al quale cedono dati da analizzare e poi da usare su utenti e consumatori. […] La seconda somiglianza è che il funzionamento dell’internet delle cose, e più in generale dell’IA ristretta, limitata ad applicazioni come domotica e robotica, è regolato da algoritmi: modelli matematici tramite i quali i progettisti possono non solo regolare il funzionamento di elettrodomestici o macchine industriali, ma permettere loro di imparare dell’esperienza, autonomizzandosi. Dall’internet delle cose, d’altra parte, l’uso degli algoritmi si è presto esteso ad altri settori dell’IA che coprono ormai interi settori della vita umana⁶.

Se da un lato il ricorso ad algoritmi permette di potenziare la razionalità umana a livello decisionale grazie a modelli matematici apparentemente imparziali che dispongono di una maggiore conoscenza dei dati, dall’altro resta il fatto che gli algoritmi sono pur sempre progettati dagli esseri umani, sono poco trasparenti, e perseguono, replicando i pregiudizi umani, esclusivamente obiettivi di efficienza e, soprattutto, di profitto. Ragionare sull’IA, sostiene Barberis, porta a domandarsi

dove stia il criterio distintivo fra l’uomo e la macchina, e se per caso questo non consista – invece che nella razionalità strumentale, replicabile da computer o algoritmi – nella sensibilità, prima animale e poi umana. Questa sensibilità non s’esaurisce negli organi di senso, riproducibili anch’essi da sensori artificiali. […] Semmai, consiste nell’empatia: la capacità di provare compassione. Oppure, sta nel dubbio che a volte ci sfiora già oggi, e che ingegneri robotici chiamano uncanny valley: quelli che ci circondano sono ancora umani, oppure loro repliche imperfette?⁷.

Sempre a proposito di algoritmi, Chiariatti puntalizza come questi si limitino ad analizzare

le relazioni nei dati – non i valori o il significato che rappresentano. Perciò l’algoritmo non “predice” e non “pensa”, ma si limita a costruire modelli seguendo le nostre orme. In altri termini, l’algoritmo è un meccanismo produttivo che usa i nostri dati come materia prima: scova le correlazioni ed estrae le regole. L’IA è quindi una creatrice di regole, seguendo le quali costruisce una sua rappresentazione del mondo. Ma lo fa in modo irresponsabile. Tutto il lavoro di apprendimento culmina in un risultato che ha del misterioso⁸.

Se di per sé nell’atto di automatizzare non si può che vedere una forma di delega, nel contesto tecnologico contemporaneo ciò comporta problematiche quanto mai inquietanti alla luce del fatto che

in rete si diffondono fatti non spiegabili scientificamente, rilanciati da macchine autonome (bot) basate su algoritmi che prevedono il comportamento umano. Definiamo fake news queste notizie prive di alcuna valenza scientifica, come facilmente possiamo verificare provando a risalire alle loro fonti. Ma come faremmo a riconoscere le fonti, se a generarle fossero macchine autonome? Questa è un’altra ragione per cui non ci possiamo fidare della conoscenza empirica su quello che accade alla macchina, non è corretto parlare di Intelligenza Artificiale, perché si tratta solo di un poderoso calcolo numerico⁹.

A questo si aggiunga la faciloneria che domina su social e blog, da cui non di rado si alimenta la stessa “informazione orientata” ufficiale che, più che pianificata a tavolino da qualche diabolico stratega, pare frequentemente generarsi dalla superficialità imposta dai tempi ristretti dettati dalla società della prestazione in cui i momenti di necessaria riflessione risultano nella pratica banditi [su Carmilla].

Mentre diviene impossibile comprendere come la macchina sia giunta a prendere decisioni, il business delle piattaforme online derivato proprio dal ricorso all’IA e da chi ha saputo utilizzarla in maniera profittevole, sembra avanzare in maniera inarrestabile. Sappiamo però, a volte anche per esperienza diretta, quanto le correlazioni ottenute dalle macchine possano essere del tutto casuali. Le macchine possono infatti individuare correlazioni tra fatti del tutto privi di cause comuni. La correlazione non implica causalità: una correlazione statistica, da sola, non dimostra un rapporto di causa-effetto; spiegare correlazioni richiede teorie e conoscenze approfondite del contesto sociale e culturale.

Grazie alle deleghe sempre maggiori che vi si accordano, i sistemi di IA stanno assumendo, una loro autonomia. «Quando un oggetto fa esperienza del mondo in autonomia e interagisce tramite il linguaggio, il divario che lo separa da un soggetto sta per colmarsi. La soggettivazione algoritmica non prevede più la dicotomia “noi o loro”»¹⁰. Mentre l’essere umano ricorre a un oggetto per potenziare la creatività, ora sembra proprio che l’oggetto utilizzi la creatività umana espressa nei dati in forma scritta, orale e visiva per potenziare le sue previsioni. Ed è proprio grazie alla capacità predittivia che prosperano e dominano le grandi piattaforme della Rete analizzate da Luca Balestrieri [su Carmilla].

Le piattaforme online si sono trasformate in soggetti che operano nella politica, dotati di micidiali armi economiche. Sono quasi diventati “Stati privati”, tanto grande è il loro potere. Ma come si sostentano? Con i dati, anzi, con i loro produttori. Cioè noi. Vediamo Stati che cooptano aziende per colpire altri Stati e aziende che si alleano tra loro controllando Stati interi. […] Sono entità che ricordano fortificazioni medievali e che definiamo più prosaicamente walled garden (“giardini recintati”), ossia piattaforme chiuse, ma la cui chiusura non ha lo scopo di ostacolare tanto l’accesso, quanto l’uscita […] All’interno di questi giardini non ci sono più cittadini eguali di fronte alla legge, ma sudditi che temono di essere esclusi dall’accesso alle informazioni, cosa che oggi equivale alla morte sociale. Questi muri non servono per difendersi, ma per evitare che i sudditi, i produttori di dati fuggano. I proprietari hanno già dalla loro parte milioni di persiane in giro per il mondo, evangelizzatori a titolo gratuito che professano la fede nei servizi free. Gli agognati virtual badge (come il badge blu per gli account di interesse pubblico su Twitter) sono i corrispettivi dei titoli nobiliari, perché danno sostanza a una gerarchizzazione in cui la posizione si basa sulla vittoria al gioco dei follower e sul rispetto delle regole del sistema¹¹.

Questi “nuovi Stati”, sottolinea Chiariatti, pur essendo spersonalizzati e smaterializzati non sono affatto depoliticizzati, in quanto dotati di un potere che esercitano in tutto il mondo: «il loro non è un business model, ma uno State model, di successo e, al momento, a prova di futuro»¹². Tali piattaforme potrebbero presto tentare di farsi anche banche centrali emettendo le loro forme di denaro e nel caso le loro valute globali e scalabili si sganciassero dai sistemi monetari classici, le piattaforme potrebbero davvero dirsi Stati a tutti gli effetti. Non si tratta più di cogliere la minaccia esercitata dal potere economico nei confronti della democrazia: «ora il rischio maggiore è un regime di omologazione algoritmica globale in cui i cittadini, non potendo più prendere decisioni, avranno perso il controllo sui loro dati, la loro attenzione e il loro denaro»¹³. Si potrà parlare in tale caso di “algocrazia”; ossia di un sistema in cui a decidere saranno gli algoritmi.

I sistemi di AI derivano buona parte dei dati di cui necessitano dagli smartphone e chi tra le grandi aziende saprà raccogliere più dati setacciando quelli di miglior qualità o produrre algoritmi più efficienti ed efficaci dominerà sulle altre e sugli individui. Si tratta di una guerra tra grandi corporation che coinvolge con le sue conseguenze gli esseri umani sin da prima di nascere, come ha spiegato fornendo esempi in quantià Veronica Barassi [su Carmilla 1 e 2].

Invocare libertà impugnando un cellulare con la preoccupazione di postare al più presto sulle piattaforme social tutta la sete di libertà posseduta tradisce l’impossibilità di liberarsi da quei graziosi walled garden di cui si continua, nei fatti, ad essere prigionieri nel timore non solo di essere altrimenti esclusi dall’accesso alle informazioni, cosa che, come detto, equivale di questi tempi alla morte sociale, ma anche dall’occasione di trasmetterne a propria volta in un contesto però, come visto, profondamente viziato. Un cortocircuito da cui è indubbiamente difficile difendersi.

Su Carmilla – Serie completa Culture e pratiche di sorveglianzaStampa, crea PDF o invia per email

1. Massimo Chiariatti, Incoscienza artificiale. Come fanno le macchine a prevedere per noi, Luiss University Press, Roma, 2021, p. 19. 
2. Ivi, p. 21. 
3. Ivi, p. 21. 
4. Ivi, p. 22. 
5. Ivi, p. 24-25. 
6. Mauro Barberis, Ecologia della rete. Come usare internet e vivere felici, Mimesis, Milano-Udine, 2021, pp. 41. 
7. Ivi, pp. 51-52. 
8. Massimo Chiariatti, Incoscienza artificiale, op. cit, p. 57. 
9. Ivi, p. 62. 
10. Ivi, p. 81. 
11. Ivi, pp. 84-85. 
12. Ivi, p. 86. 
13. Ivi, p. 87. 

Gioacchino Toni

24/1/2022 https://www.carmillaonline.com