Era dei petabyte: fine della teorie?
11/07/2008

La discussione su Edge vista da Wordle

La capacità di memorizzare e processare enormi quantità di dati da parte di “nuvole” di computer renderà obsoleta le necessità di formulare ipotesi e teorie? La forza bruta del DISC (Data Intensive Scalable Computation) potrà individuare nell’oceano di dati a disposizione pattern e correlazioni così significative da consentire previsioni attendibili sul mondo senza dover ricorrere a sofisticate modellizzazioni?

Chris “coda lunga” Anderson ha lanciato questa provocazione dalle pagine digitali di The Edge nelle scorse settimane.

Alla scala dei Petabyte, sostiene Anderson, la gestione e l’utilizzo dell’informazione richiede un approccio diverso. Potendo visualizzare miliardi di dati nella loro totalità, è possibile “vedere” matematicamente i dati prima e solo dopo assegnarli un contesto.

Per secoli gli scienziati hanno applicato il metodo scientifico: costruzione del modello su date ipotesi, verifica sperimentale del modello tramite raccolta di dati, conferma o confutazione di quel modello.
Dati senza modelli sono considerati solo rumore ed eventuali correlazioni tra i dati stessi sono solo coincidenze senza un modello entro il quale inserirle.

Fino ad adesso, aggiunge Anderson.

Con una tale quantità di dati l’approccio classico alla scienza – ipotesi, modello, test – potrebbe essere diventato obsoleto.

Possiamo inserire i dati in un cluster di computer e lasciare che algoritmi statistici scoprano pattern e schemi immediatamente utilizzabili senza che la scienza ne spieghi l’origine o li inserisca in un contesto teorico.

Anderson fa notare che questo nuovo approccio è tipico di Google: per esempio Google non ha avuto bisogno di conoscere a fondo il mondo e le convenzioni della pubblicità né di sviluppare sofisticati modelli economici e statistici per ottenere grandi successi. Sono bastati un po’ di matematica applicata, ottimi strumenti analitici ed un’enorme quantità di dati a disposizione.

Il direttore di Wired conclude così:

La recente disponibilità di grandi quantità di dati unita a strumenti statistici per setacciare questi numeri, offre un’intera nuova strada per comprendere il mondo. La correlazione rimpiazza la causalità,e la scienza può ora avanzare anche senza modelli coerenti, teorie unificate o spiegazioni meccanicistiche

Numerosi scienziati, filosofi ed addetti ai lavori hanno replicato mettendo in evidenza come il ragionamento di Anderson appaia confuso e le sue ipotesi piuttosto deboli.

Continua a leggere »

Categoria Discussioni | Tags: , , , , , , , , | 4 Commenti »