42.Какой процесс называется процессом с дискретным состоянием?

Случайный процесс называется процессом с дискретным временем, если переходы системы из состояния в состояние возможны только в строго определенные, заранее фиксированные моменты времени: и т. д. В промежутки времени между этими моментами система S сохраняет свое состояние.

Пусть имеется система S, которая может находиться в состояниях:

причем изменения состояния системы возможны только в моменты:

Будем называть эти моменты «шагами» или «этапами» процесса и рассматривать случайный процесс, происходящий в системе S, как функцию целочисленного аргумента: 1, 2, ..., k, ... (номера шага).

Случайный процесс, происходящий в системе, состоит в том, что в последовательные моменты времени ... система S оказывается в тех или иных состояниях, ведя себя, например, следующим образом (в общем случае система может не только менять состояние, но и сохранять прежнее):

Условимся обозначать событие, состоящее в том, что после k шагов система находится в состоянии При любом k события

образуют полную группу и несовместны.

Процесс, происходящий в системе, можно представить как последовательность (цепочку) событий, например:

Такая случайная последовательность событий называется марковской цепью, если для каждого шага вероятность перехода из любого состояния в любое не зависит от того, когда и как система пришла в состояние