0431. Entropia nella teoria dell’informazione

La parola entropia ha significato diverso nella termodinamica e nella teoria dell'informazione? Inoltre noto che spesso chi contesta la teoria dell'evoluzione dichiara che questa teoria viola il 2° principio della termodinamica. Non capisco il nesso fra entropia informazioni e altro.

sem_esperto_giallo

 Il concetto di entropia icona_glossario icona_esperto[100] è stato introdotto agli inizi del XIX secolo nel campo della termodinamica classica, in stretta connessione con il secondo principio. Nel contesto termodinamico l’entropia rappresenta una grandezza caratteristica dello stato di un sistema fisico in grado di esprimere la capacità del sistema stesso di essere sede di trasformazioni spontanee e, di conseguenza, la perdita di capacità a compiere lavoro quando tali trasformazioni avvengono. In termini semplificati, il valore dell’entropia cresce quando il sistema subisce variazioni spontanee e quindi perde parte della sua capacità a subire tali variazioni e compiere lavoro. L'approccio molecolare introdotto dalla meccanica statistica ha successivamente generalizzato l'entropia agli stati di non-equilibrio correlandola più strettamente al concetto di ordine, precisamente alle possibili diverse disposizioni dei livelli molecolari e quindi differenti probabilità degli stati in cui può trovarsi macroscopicamente un sistema icona_esperto[359]. L’entropia è dunque espressione del “grado di disordine” di un sistema: un aumento del disordine corrisponde ad aumento di entropia e, viceversa, una diminuzione del disordine è associata a una diminuzione di entropia. Come misura del grado di disordine o di indeterminazione di un sistema, il concetto di entropia ha potuto essere esteso ad ambiti di applicazione lontani dalla fisica, primo fra tutti la teoria dell’informazione. Negli anni quaranta Shannon riuscì a definire l’equazione con cui calcolare il livello di imprevedibilità di una fonte d’informazione, constatando che la sua formula era praticamente uguale a quella con cui Boltzmann aveva calcolato l’entropia di un sistema termodinamico. Per Shannon il problema era misurare quanta “informazione” contiene un dato messaggio, e quindi, di conseguenza, quanto costa inviarlo, dato un sistema di trasmissione e le difficoltà che un canale di trasmissione (in generale disturbato da “rumore” ) può trovare. La sua intuizione fu quella di equiparare il grado di ignoranza al disordine: il “messaggio” è quella quantità di informazione che fa passare il ricevente da uno stato di incertezza ad uno stato di ordine (o, se si vuole, di minor incertezza). La quantità di informazione, essendo il negativo della quantità di incertezza intrinseca, diventa qualcosa di molto prossimo al “disordine” della meccanica statistica. L’entropia così introdotta nella teoria dell’informazione è quindi misura del grado di complessità di un messaggio emesso da una sorgente: come dimostrato nel primo teorema di Shannon, essa fornisce il numero medio minimo di simboli necessari alla codifica del messaggio stesso. In questo contesto l'entropia misura dunque la quantità d’incertezza o informazione presente in un segnale aleatorio, che può essere interpretata anche come la minima complessità descrittiva di una variabile aleatoria, ovvero il limite inferiore della compressione dei dati. La connessione con l'entropia dei sistemi fisici può quindi recuperarsi nel rapporto di compressione: al diminuire della temperatura (in termodinamica) corrisponde la riduzione della ridondanza del segnale e quindi l'aumento della compressione (in teoria dell’informazione). L'entropia dell'informazione raggiunge un minimo che in generale è diverso da zero, al contrario di quanto avviene per l'entropia termodinamica.

 

Domenico Elia, fisico

ultimo aggiornamento aprile 2015

© 2002 - 2017 ScienzaPerTutti - Grafica Francesca Cuicchio Ufficio Comunicazione INFN - powered by mspweb

NOTA! Questo sito utilizza i cookie e tecnologie simili.

Se non si modificano le impostazioni del browser, l'utente accetta. Per saperne di piu'

Approvo

Informativa sulla Privacy e Cookie Policy

Ultima modifica: 28 maggio 2018

IL TITOLARE

L’INFN si articola sul territorio italiano in 20 Sezioni, che hanno sede in dipartimenti universitari e realizzano il collegamento diretto tra l'Istituto e le Università, 4 Laboratori Nazionali, con sede a Catania, Frascati, Legnaro e Gran Sasso, che ospitano grandi apparecchiature e infrastrutture messe a disposizione della comunità scientifica nazionale e internazionale e 3 Centri Nazionali dedicati, rispettivamente, alla ricerca di tecnologie digitali innovative (CNAF), all’alta formazione internazionale (GSSI) ed agli studi nel campo della fisica teorica (GGI). Il personale dell'Infn conta circa 1800 dipendenti propri e quasi 2000 dipendenti universitari coinvolti nelle attività dell'Istituto e 1300 giovani tra laureandi, borsisti e dottorandi.

L’INFN con sede legale in Frascati, Roma, via E. Fermi n. 40, Roma, email: presidenza@presid.infn.it, PEC: amm.ne.centrale@pec.infn.it in qualità di titolare tratterà i dati personali eventualmente conferiti da coloro che interagiscono con i servizi web INFN

IL RESPONSABILE DELLA PROTEZIONE DEI DATI PERSONALI NELL’INFN

Ai sensi degli artt. 37 e ss. del Regolamento UE 2016/679 relativo alla protezione delle persone fisiche con riguardo al trattamento dei dati, l’INFN con deliberazione del Consiglio Direttivo n. 14734 del 27 aprile 2018 ha designato il Responsabile per la Protezione dei Dati (RPD o DPO).

Il DPO è contattabile presso il seguente indirizzo e.mail: dpo@infn.it

Riferimenti del Garante per la protezione dei dati personali: www.garanteprivacy.it

Il TRATTAMENTO DEI DATI VIA WEB

L'informativa è resa solo per i siti dell'INFN e non anche per altri siti web eventualmente raggiunti dall'utente tramite link.

Alcune pagine possono richiedere dati personali: si informa che il loro mancato conferimento può comportare l’impossibilità di raggiungere le finalità cui il trattamento è connesso

Ai sensi dell'art. 13 del Regolamento UE 2016/679, si informano coloro che interagiscono con i servizi web dell'Istituto Nazionale di Fisica Nucleare, accessibili per via telematica sul dominio infn.it, che il trattamento dei dati personali effettuato dall'INFN tramite web attiene esclusivamente ai dati personali acquisiti dall'Istituto in relazione al raggiungimento dei propri fini istituzionali o comunque connessi all’esercizio dei compiti di interesse pubblico e all’esercizio di pubblici poteri cui è chiamato, incluse le finalità ricerca scientifica ed analisi per scopi statistici.

In conformità a quanto stabilito nelle Norme per il trattamento dei dati personali dell’INFN e nel Disciplinare per l’uso delle risorse informatiche nell’INFN, i dati personali sono trattati in modo lecito, corretto, pertinente, limitato a quanto necessario al raggiungimento delle finalità del trattamento, per il solo tempo necessario a conseguire gli scopi per cui sono stati raccolti e comunque in conformità ai principi indicati nell’art. 5 del Regolamento UE 2016/679.

Specifiche misure di sicurezza sono osservate per prevenire la perdita dei dati, usi illeciti o non corretti ed accessi non autorizzati.

L’INFN tratta dati di navigazione perché i sistemi informatici e le procedure software preposte al funzionamento di questo sito web acquisiscono, nel corso del loro normale esercizio, alcuni dati la cui trasmissione è prevista dai protocolli di comunicazione impiegati. Questi dati - che per loro natura potrebbero consentire l'identificazione degli utenti - vengono utilizzati al solo fine di ricavare informazioni statistiche anonime sull'uso del sito e per controllarne il corretto funzionamento. Gli stessi potrebbero essere utilizzati per l'accertamento di responsabilità in caso di compimento di reati informatici o di atti di danneggiamento del sito; salva questa eventualità, non sono conservati oltre il tempo necessario all'esecuzione delle verifiche volte a garantire la sicurezza del sistema.

UTILIZZO DI COOKIE

Questo sito utilizza esclusivamente cookie “tecnici” (o di sessione) e non utilizza nessun sistema per il tracciamento degli utenti.

L'uso di cookie di sessione è strettamente limitato alla trasmissione di identificativi di sessione (costituiti da numeri casuali generati dal server) necessari per consentire l'esplorazione sicura ed efficiente del sito. Il loro uso evita il ricorso ad altre tecniche potenzialmente pregiudizievoli per la riservatezza della navigazione e non prevede l'acquisizione di dati personali dell'utente.

DIRITTI DEGLI INTERESSATI

Gli interessati hanno il diritto di chiedere al titolare del trattamento l'accesso ai dati personali e la rettifica o la cancellazione degli stessi o la limitazione del trattamento che li riguarda o di opporsi al trattamento secondo quanto previsto dagli art. 15 e ss. del Regolamento UE 2016/679. L'apposita istanza è presentata contattando il Responsabile della protezione dei dati presso l’indirizzo email: dpo@infn.it.

Agli interessati, ricorrendone i presupposti, è riconosciuto altresì il diritto di proporre reclamo al Garante quale autorità di controllo.

Il presente documento, pubblicato all'indirizzo: http://www.infn.it/privacy costituisce la privacy policy di questo sito, che sarà soggetta ad aggiornamenti.