# POMDP file for example from talk: POMDPS: Who Needs them?
#
# Models monitoring a remote agent in a distributed agent system
#

discount: 0.98
values: reward

states:
 exec-ok 
 exec-down

actions:
  no-op 
  active-query 
  relocate

observations:
  ping-ok
  ping-timeout
  active-ok
  active-down

########################################
# State Transitions
#
#   ACTION         START-STATE   END-STATE      PROBABILITY
#
T : no-op :        exec-ok   : exec-ok          0.98
T : no-op :        exec-ok   : exec-down        0.02
T : no-op :        exec-down : exec-ok          0.00
T : no-op :        exec-down : exec-down        1.00

T : active-query : exec-ok   : exec-ok          0.98
T : active-query : exec-ok   : exec-down        0.02
T : active-query : exec-down : exec-ok          0.00
T : active-query : exec-down : exec-down        1.00

T : relocate :     exec-ok :   exec-ok          1.00
T : relocate :     exec-ok :   exec-down        0.00
T : relocate :     exec-down : exec-ok          1.00
T : relocate :     exec-down : exec-down        0.00

########################################
# Observation Probabilitiess
#
#   ACTION         STATE       OBSERVATION      PROBABILITY
#
O : no-op :        exec-ok :   ping-ok          0.9700
O : no-op :        exec-ok :   active-ok        0.0000
O : no-op :        exec-ok :   ping-timeout     0.0300
O : no-op :        exec-ok :   active-down      0.0000

O : no-op :        exec-down : ping-ok          0.0250
O : no-op :        exec-down : active-ok        0.0000 
O : no-op :        exec-down : ping-timeout     0.9750
O : no-op :        exec-down : active-down      0.0000

O : active-query : exec-ok :   ping-ok          0.0000
O : active-query : exec-ok :   active-ok        0.9990
O : active-query : exec-ok :   ping-timeout     0.0000
O : active-query : exec-ok :   active-down      0.0010

O : active-query : exec-down : ping-ok          0.0000
O : active-query : exec-down : active-ok        0.0100 
O : active-query : exec-down : ping-timeout     0.0000
O : active-query : exec-down : active-down      0.9900

O : relocate :     exec-ok :   ping-ok          0.2500
O : relocate :     exec-ok :   active-ok        0.2500
O : relocate :     exec-ok :   ping-timeout     0.2500
O : relocate :     exec-ok :   active-down      0.2500

O : relocate :     exec-down : ping-ok          0.2500
O : relocate :     exec-down : active-ok        0.2500
O : relocate :     exec-down : ping-timeout     0.2500
O : relocate :     exec-down : active-down      0.2500


# Rewards
#
#   ACTION         START-STATE  END-STATE  OBSERVATION   REWARD
R : no-op :        exec-ok :    * :        *               1
R : no-op :        exec-down :  * :        *             -10

R : active-query : exec-ok  :   * :        *              -5
R : active-query : exec-down :  * :        *              -5

R : relocate :     exec-ok  :   * :        *             -22
R : relocate :     exec-down  : * :        *             -20