Processo Markoviano

Catene di Markov

11 giugno 2017

Da Wikipedia, con integrazione di MB

.

Dal nome del matematico russo Andrej Andreevič Markov che per primo ha sviluppato la teoria.

 

In un sistema (o processo)

 

Casuale

lo stato del sistema in un istante è assolutamente indipendente.

Markoviano

lo stato del sistema in un istante dipende solo dallo stato che lo precede.

Lineare

lo stato del sistema in un istante dipende da  tutti gli stati che lo hanno preceduto.

 

Un processo di dice stocastico quando non è completamente deterministico ovvero quando l’incertezza sulle condizioni iniziali o al contorno impediscono di tracciare una singola traiettoria. Per esempio se spariamo un proiettile in una certa direzione se conosciamo con precisione la velocità iniziale e l’inclinazione del cannone, possiamo prevedere con precisione assoluta dove cadrà il proiettile. Ma se la velocità  è nota con un certo errore  e l’inclinazione del cannone è nota con un certo errore, potremo prevedere che il proiettice cadrà n una certa zona e non più in un punto preciso. Quindi il sistema viene ancora trattato con le leggi della dinamica ma anche con una componente causale (statistica). In termodinamica, invece, si fanno solo considerazioni statistiche (perché le condizioni iniziali sono note in senso statistico).

 

Un processo stocastico markoviano o processo di Markov è un processo stocastico nel quale la probabilità di transizione che determina il passaggio ad uno stato di sistema dipende unicamente dallo stato di sistema immediatamente precedente (proprietà di Markov) e non dal come si è giunti a tale stato (in quest'ultima ipotesi si parla di processo non markoviano).

 

Proprietà di Markov o condizione di "assenza di memoria".

 

Catene di Markov

Una catena di Markov è un processo di Markov  a valori discreti  che gode della proprietà di Markov. Formalmente, una catena di Markov è un processo stocastico Markoviano caratterizzato da un parametro, da un insieme di stati e da una funzione probabilità di transizione.