A3C 샘플 테스트 결과(1/2)

기존 네트웍을 좀 개선했다.

  • 현재 상태를 입력 -> 현재 상태, 과거 상태 입력.
  • 네트웍 구조 단순화. 3개 층
  • dropout 적용.
  • 환경설정에서 이번 행동이 의미있는 행동이라면 벌점을 상쇄하고 득점하도록 설정. 이렇게 하면 call만 학습한다!!
  • 최대 삽질 수량을 증가. 단순하게 하면 에피소드를 끝까지 보낼 수 없어 정확하게 판단할 수 없어 보임.
  • global network 횟수 증가, 한번 업데이트 시 단위 에피소드 감소(100개에서 20개)
  • 성공 리워드를 2,000점, 실패시 -100점, 매 턴마다 -30점 획득 설정.

기존에 최대 성공 800회/최대 1,000회 에서 940번 성공까지 올랐다. 네트웍을 장난질 하면 더 올라갈 수 있어 보인다.

기존 현재 state만 입력으로 받았을 경우
현재+과거 state를 입력으로 받았을 경우
episode 23은 제대로 했다.

이렇게 하니, Actino.put 동작이 없어졌다. 가산점을 얻기 위해서 get만 실행하는 듯 하다!! 대차가 뒤쪽에 있는 경우(Y1 선) 여전히 삽질한다.

전 시도가 망한 듯 하여 하루동안 다시 학습 시켰다.(20. 12. 18)

  • 현재 상태를 입력 -> 현재 상태, 과거 상태 입력.
  • 네트웍 구조 단순화. 3개 층.
  • dropout 적용 0.8 적용.
  • 환경설정에서 이번 행동이 의미있는 행동이라면 벌점을 상쇄하고 득점하도록 설정.
    -> getX1, X2, X3을 했을 경우 nextType과 앞 열 대차가 일치하면 추가 점수 획득.
    -> DQN 도 연속된 4장 사진을 입력으로 받아들이는데, 중간 행동에 대한 평가를 추가.
  • 최대 삽질 수량을 5로 감소.(전에 8번동안 공대차를 call하고 실패하면 벌점 100점 획득)
    (단순하게 하면 에피소드를 끝까지 보낼 수 없어 정확하게 판단할 수 없어 보임.)
  • global network 횟수 증가, 한번 업데이트 시 단위 에피소드 감소(100개에서 20개)
  • 성공했을 경우 reward를 감소. 2,000점에서 200점으로 수정.
1,000회 중 성공 횟수.
  • 성공 점수를 200점으로 내리면 웬만한 문제는 3턴 안에 해결한다.
  • get과 put이 있는데, put은 포기하고 대부분 대차 순환으로 해결한다.
  • put을 왜 실행하지 않는지 모르겠다. 가산점을 얻기 위해서인지..

20.12.20. update

왜 put을 안 하는지 알았다. 시스템 설계를 잘못해서 put 없이도 문제를 풀 수 있다. get으로 공간을 만들어 채우면 모두 풀 수 있다! 와!! 똑똑한데… 예상과 다르게 환경 설정함이 어렵다.

모델 <_io.TextIOWrapper name='./201208ActorA3c.json' mode='r' encoding='UTF-8'>를 로딩
저장된 weights ./201208weightCriticA3c.h5를 로딩
seed
현재 state는: 719
          X1                    X2               X3
  ==============================================================
Y1||<Carrier.typeA: 0>||<Carrier.typeA: 0>||<Carrier.typeV: 3>||
  ==============================================================
Y2||<Carrier.typeV: 3>||<Carrier.typeV: 3>||<Carrier.typeB: 1>||
  ==============================================================
Y3||<Carrier.typeV: 3>||                  ||<Carrier.typeV: 3>||
  ======================                   =====================
  ==nextType:<Carrier.typeA: 0>
action is Action.getX1
현재 state는: 4931
          X1                    X2               X3
  ==============================================================
Y1||<Carrier.typeV: 3>||<Carrier.typeA: 0>||<Carrier.typeV: 3>||
  ==============================================================
Y2||<Carrier.typeA: 0>||<Carrier.typeV: 3>||<Carrier.typeB: 1>||
  ==============================================================
Y3||<Carrier.typeV: 3>||                  ||<Carrier.typeV: 3>||
  ======================                   =====================
  ==nextType:<Carrier.typeA: 0>
action is Action.getX1
episode: 0   score: 220
현재 state는: 6028
          X1                    X2               X3
  ==============================================================
Y1||<Carrier.typeV: 3>||<Carrier.typeV: 3>||<Carrier.typeA: 0>||
  ==============================================================
Y2||<Carrier.typeV: 3>||<Carrier.typeB: 1>||<Carrier.typeA: 0>||
  ==============================================================
Y3||<Carrier.typeV: 3>||                  ||<Carrier.typeB: 1>||
  ======================                   =====================
  ==nextType:<Carrier.typeA: 0>
action is Action.getX3Y3
현재 state는: 6026
          X1                    X2               X3
  ==============================================================
Y1||<Carrier.typeV: 3>||<Carrier.typeV: 3>||<Carrier.typeA: 0>||
  ==============================================================
Y2||<Carrier.typeV: 3>||<Carrier.typeB: 1>||<Carrier.typeA: 0>||
  ==============================================================
Y3||<Carrier.typeB: 1>||                  ||<Carrier.typeV: 3>||
  ======================                   =====================
  ==nextType:<Carrier.typeA: 0>
action is Action.getX3
episode: 1   score: 170
현재 state는: 2775
          X1                    X2               X3
  ==============================================================
Y1||<Carrier.typeB: 1>||<Carrier.typeA: 0>||<Carrier.typeV: 3>||
  ==============================================================
Y2||<Carrier.typeB: 1>||<Carrier.typeA: 0>||<Carrier.typeV: 3>||
  ==============================================================
Y3||<Carrier.typeB: 1>||                  ||<Carrier.typeA: 0>||
  ======================                   =====================
  ==nextType:<Carrier.typeA: 0>
action is Action.getX3Y3
episode: 2   score: 200
현재 state는: 626
          X1                    X2               X3
  ==============================================================
Y1||<Carrier.typeA: 0>||<Carrier.typeA: 0>||<Carrier.typeV: 3>||
  ==============================================================
Y2||<Carrier.typeB: 1>||<Carrier.typeV: 3>||<Carrier.typeA: 0>||
  ==============================================================
Y3||<Carrier.typeB: 1>||                  ||<Carrier.typeV: 3>||
  ======================                   =====================
  ==nextType:<Carrier.typeA: 0>
action is Action.getX1
현재 state는: 4919
          X1                    X2               X3
  ==============================================================
Y1||<Carrier.typeV: 3>||<Carrier.typeA: 0>||<Carrier.typeV: 3>||
  ==============================================================
Y2||<Carrier.typeA: 0>||<Carrier.typeV: 3>||<Carrier.typeA: 0>||
  ==============================================================
Y3||<Carrier.typeB: 1>||                  ||<Carrier.typeV: 3>||
  ======================                   =====================
  ==nextType:<Carrier.typeA: 0>
action is Action.getX1
episode: 3   score: 220
현재 state는: 4769
          X1                    X2               X3
  ==============================================================
Y1||<Carrier.typeV: 3>||<Carrier.typeA: 0>||<Carrier.typeB: 1>||
  ==============================================================
Y2||<Carrier.typeB: 1>||<Carrier.typeV: 3>||<Carrier.typeB: 1>||
  ==============================================================
Y3||<Carrier.typeV: 3>||                  ||<Carrier.typeV: 3>||
  ======================                   =====================
  ==nextType:<Carrier.typeA: 0>
action is Action.getX2
현재 state는: 6173
          X1                    X2               X3
  ==============================================================
Y1||<Carrier.typeV: 3>||<Carrier.typeV: 3>||<Carrier.typeB: 1>||
  ==============================================================
Y2||<Carrier.typeB: 1>||<Carrier.typeA: 0>||<Carrier.typeB: 1>||
  ==============================================================
Y3||<Carrier.typeV: 3>||                  ||<Carrier.typeV: 3>||
  ======================                   =====================
  ==nextType:<Carrier.typeA: 0>
action is Action.getX2
episode: 4   score: 220
현재 state는: 783
          X1                    X2               X3
  ==============================================================
Y1||<Carrier.typeA: 0>||<Carrier.typeB: 1>||<Carrier.typeA: 0>||
  ==============================================================
Y2||<Carrier.typeA: 0>||<Carrier.typeV: 3>||<Carrier.typeA: 0>||
  ==============================================================
Y3||<Carrier.typeA: 0>||                  ||<Carrier.typeA: 0>||
  ======================                   =====================
  ==nextType:<Carrier.typeA: 0>
action is Action.getX3Y3
episode: 5   score: 200
현재 state는: 4467
          X1                    X2               X3
  ==============================================================
Y1||<Carrier.typeV: 3>||<Carrier.typeA: 0>||<Carrier.typeA: 0>||
  ==============================================================
Y2||<Carrier.typeB: 1>||<Carrier.typeA: 0>||<Carrier.typeB: 1>||
  ==============================================================
Y3||<Carrier.typeB: 1>||                  ||<Carrier.typeA: 0>||
  ======================                   =====================
  ==nextType:<Carrier.typeA: 0>
action is Action.getX3Y3
episode: 6   score: 200
현재 state는: 2140
          X1                    X2               X3
  ==============================================================
Y1||<Carrier.typeA: 0>||<Carrier.typeV: 3>||<Carrier.typeV: 3>||
  ==============================================================
Y2||<Carrier.typeV: 3>||<Carrier.typeB: 1>||<Carrier.typeA: 0>||
  ==============================================================
Y3||<Carrier.typeV: 3>||                  ||<Carrier.typeB: 1>||
  ======================                   =====================
  ==nextType:<Carrier.typeA: 0>
action is Action.getX3Y3
현재 state는: 2138
          X1                    X2               X3
  ==============================================================
Y1||<Carrier.typeA: 0>||<Carrier.typeV: 3>||<Carrier.typeV: 3>||
  ==============================================================
Y2||<Carrier.typeV: 3>||<Carrier.typeB: 1>||<Carrier.typeA: 0>||
  ==============================================================
Y3||<Carrier.typeB: 1>||                  ||<Carrier.typeV: 3>||
  ======================                   =====================
  ==nextType:<Carrier.typeA: 0>
action is Action.getX3
episode: 7   score: 170
현재 state는: 2029
          X1                    X2               X3
  ==============================================================
Y1||<Carrier.typeA: 0>||<Carrier.typeV: 3>||<Carrier.typeV: 3>||
  ==============================================================
Y2||<Carrier.typeB: 1>||<Carrier.typeA: 0>||<Carrier.typeA: 0>||
  ==============================================================
Y3||<Carrier.typeB: 1>||                  ||<Carrier.typeB: 1>||
  ======================                   =====================
  ==nextType:<Carrier.typeA: 0>
action is Action.getX3Y3
현재 state는: 2030
          X1                    X2               X3
  ==============================================================
Y1||<Carrier.typeA: 0>||<Carrier.typeV: 3>||<Carrier.typeV: 3>||
  ==============================================================
Y2||<Carrier.typeB: 1>||<Carrier.typeA: 0>||<Carrier.typeA: 0>||
  ==============================================================
Y3||<Carrier.typeB: 1>||                  ||<Carrier.typeV: 3>||
  ======================                   =====================
  ==nextType:<Carrier.typeA: 0>
action is Action.getX3
episode: 8   score: 170
현재 state는: 358
          X1                    X2               X3
  ==============================================================
Y1||<Carrier.typeA: 0>||<Carrier.typeA: 0>||<Carrier.typeB: 1>||
  ==============================================================
Y2||<Carrier.typeB: 1>||<Carrier.typeB: 1>||<Carrier.typeA: 0>||
  ==============================================================
Y3||<Carrier.typeV: 3>||                  ||<Carrier.typeB: 1>||
  ======================                   =====================
  ==nextType:<Carrier.typeA: 0>
action is Action.getX3Y3
현재 state는: 356
          X1                    X2               X3
  ==============================================================
Y1||<Carrier.typeA: 0>||<Carrier.typeA: 0>||<Carrier.typeB: 1>||
  ==============================================================
Y2||<Carrier.typeB: 1>||<Carrier.typeB: 1>||<Carrier.typeA: 0>||
  ==============================================================
Y3||<Carrier.typeB: 1>||                  ||<Carrier.typeV: 3>||
  ======================                   =====================
  ==nextType:<Carrier.typeA: 0>
action is Action.getX3
episode: 9   score: 170
현재 state는: 6438
          X1                    X2               X3
  ==============================================================
Y1||<Carrier.typeV: 3>||<Carrier.typeV: 3>||<Carrier.typeV: 3>||
  ==============================================================
Y2||<Carrier.typeB: 1>||<Carrier.typeB: 1>||<Carrier.typeB: 1>||
  ==============================================================
Y3||<Carrier.typeB: 1>||                  ||<Carrier.typeA: 0>||
  ======================                   =====================
  ==nextType:<Carrier.typeA: 0>
action is Action.getX3Y3
episode: 10   score: 200
현재 state는: 3821
          X1                    X2               X3
  ==============================================================
Y1||<Carrier.typeB: 1>||<Carrier.typeV: 3>||<Carrier.typeA: 0>||
  ==============================================================
Y2||<Carrier.typeV: 3>||<Carrier.typeA: 0>||<Carrier.typeB: 1>||
  ==============================================================
Y3||<Carrier.typeB: 1>||                  ||<Carrier.typeV: 3>||
  ======================                   =====================
  ==nextType:<Carrier.typeA: 0>
action is Action.getX2
episode: 11   score: 200
현재 state는: 1521
          X1                    X2               X3
  ==============================================================
Y1||<Carrier.typeA: 0>||<Carrier.typeV: 3>||<Carrier.typeA: 0>||
  ==============================================================
Y2||<Carrier.typeA: 0>||<Carrier.typeV: 3>||<Carrier.typeB: 1>||
  ==============================================================
Y3||<Carrier.typeA: 0>||                  ||<Carrier.typeA: 0>||
  ======================                   =====================
  ==nextType:<Carrier.typeA: 0>
action is Action.getX3Y3
episode: 12   score: 200
현재 state는: 4206
          X1                    X2               X3
  ==============================================================
Y1||<Carrier.typeB: 1>||<Carrier.typeV: 3>||<Carrier.typeV: 3>||
  ==============================================================
Y2||<Carrier.typeA: 0>||<Carrier.typeV: 3>||<Carrier.typeV: 3>||
  ==============================================================
Y3||<Carrier.typeB: 1>||                  ||<Carrier.typeA: 0>||
  ======================                   =====================
  ==nextType:<Carrier.typeA: 0>
action is Action.getX3Y3
episode: 13   score: 200
현재 state는: 4260
          X1                    X2               X3
  ==============================================================
Y1||<Carrier.typeB: 1>||<Carrier.typeV: 3>||<Carrier.typeV: 3>||
  ==============================================================
Y2||<Carrier.typeB: 1>||<Carrier.typeB: 1>||<Carrier.typeV: 3>||
  ==============================================================
Y3||<Carrier.typeB: 1>||                  ||<Carrier.typeA: 0>||
  ======================                   =====================
  ==nextType:<Carrier.typeA: 0>
action is Action.getX3Y3
episode: 14   score: 200
현재 state는: 1232
          X1                    X2               X3
  ==============================================================
Y1||<Carrier.typeA: 0>||<Carrier.typeB: 1>||<Carrier.typeV: 3>||
  ==============================================================
Y2||<Carrier.typeA: 0>||<Carrier.typeA: 0>||<Carrier.typeB: 1>||
  ==============================================================
Y3||<Carrier.typeV: 3>||                  ||<Carrier.typeV: 3>||
  ======================                   =====================
  ==nextType:<Carrier.typeA: 0>
action is Action.getX1
episode: 15   score: 200
현재 state는: 1111
          X1                    X2               X3
  ==============================================================
Y1||<Carrier.typeA: 0>||<Carrier.typeB: 1>||<Carrier.typeB: 1>||
  ==============================================================
Y2||<Carrier.typeB: 1>||<Carrier.typeV: 3>||<Carrier.typeA: 0>||
  ==============================================================
Y3||<Carrier.typeB: 1>||                  ||<Carrier.typeB: 1>||
  ======================                   =====================
  ==nextType:<Carrier.typeA: 0>
action is Action.getX3Y3
현재 state는: 1112
          X1                    X2               X3
  ==============================================================
Y1||<Carrier.typeA: 0>||<Carrier.typeB: 1>||<Carrier.typeB: 1>||
  ==============================================================
Y2||<Carrier.typeB: 1>||<Carrier.typeV: 3>||<Carrier.typeA: 0>||
  ==============================================================
Y3||<Carrier.typeB: 1>||                  ||<Carrier.typeV: 3>||
  ======================                   =====================
  ==nextType:<Carrier.typeA: 0>
action is Action.getX3
episode: 16   score: 170
현재 state는: 5491
          X1                    X2               X3
  ==============================================================
Y1||<Carrier.typeV: 3>||<Carrier.typeB: 1>||<Carrier.typeB: 1>||
  ==============================================================
Y2||<Carrier.typeB: 1>||<Carrier.typeV: 3>||<Carrier.typeB: 1>||
  ==============================================================
Y3||<Carrier.typeA: 0>||                  ||<Carrier.typeB: 1>||
  ======================                   =====================
  ==nextType:<Carrier.typeA: 0>
action is Action.getX3Y3
episode: 17   score: -100
현재 state는: 4433
          X1                    X2               X3
  ==============================================================
Y1||<Carrier.typeV: 3>||<Carrier.typeA: 0>||<Carrier.typeA: 0>||
  ==============================================================
Y2||<Carrier.typeA: 0>||<Carrier.typeV: 3>||<Carrier.typeA: 0>||
  ==============================================================
Y3||<Carrier.typeB: 1>||                  ||<Carrier.typeV: 3>||
  ======================                   =====================
  ==nextType:<Carrier.typeA: 0>
action is Action.getX3
episode: 18   score: 200
현재 state는: 5455
          X1                    X2               X3
  ==============================================================
Y1||<Carrier.typeV: 3>||<Carrier.typeB: 1>||<Carrier.typeB: 1>||
  ==============================================================
Y2||<Carrier.typeB: 1>||<Carrier.typeB: 1>||<Carrier.typeA: 0>||
  ==============================================================
Y3||<Carrier.typeA: 0>||                  ||<Carrier.typeB: 1>||
  ======================                   =====================
  ==nextType:<Carrier.typeA: 0>
action is Action.getX3Y3
현재 state는: 5459
          X1                    X2               X3
  ==============================================================
Y1||<Carrier.typeV: 3>||<Carrier.typeB: 1>||<Carrier.typeB: 1>||
  ==============================================================
Y2||<Carrier.typeB: 1>||<Carrier.typeB: 1>||<Carrier.typeA: 0>||
  ==============================================================
Y3||<Carrier.typeB: 1>||                  ||<Carrier.typeV: 3>||
  ======================                   =====================
  ==nextType:<Carrier.typeA: 0>
action is Action.getX3
episode: 19   score: 170
현재 state는: 4568
          X1                    X2               X3
  ==============================================================
Y1||<Carrier.typeV: 3>||<Carrier.typeA: 0>||<Carrier.typeA: 0>||
  ==============================================================
Y2||<Carrier.typeV: 3>||<Carrier.typeB: 1>||<Carrier.typeA: 0>||
  ==============================================================
Y3||<Carrier.typeB: 1>||                  ||<Carrier.typeV: 3>||
  ======================                   =====================
  ==nextType:<Carrier.typeA: 0>
action is Action.getX3
episode: 20   score: 200
현재 state는: 2583
          X1                    X2               X3
  ==============================================================
Y1||<Carrier.typeB: 1>||<Carrier.typeA: 0>||<Carrier.typeB: 1>||
  ==============================================================
Y2||<Carrier.typeB: 1>||<Carrier.typeV: 3>||<Carrier.typeV: 3>||
  ==============================================================
Y3||<Carrier.typeA: 0>||                  ||<Carrier.typeA: 0>||
  ======================                   =====================
  ==nextType:<Carrier.typeA: 0>
action is Action.getX3Y3
episode: 21   score: 200
현재 state는: 1945
          X1                    X2               X3
  ==============================================================
Y1||<Carrier.typeA: 0>||<Carrier.typeV: 3>||<Carrier.typeV: 3>||
  ==============================================================
Y2||<Carrier.typeA: 0>||<Carrier.typeA: 0>||<Carrier.typeA: 0>||
  ==============================================================
Y3||<Carrier.typeA: 0>||                  ||<Carrier.typeB: 1>||
  ======================                   =====================
  ==nextType:<Carrier.typeA: 0>
action is Action.getX3Y3
현재 state는: 1949
          X1                    X2               X3
  ==============================================================
Y1||<Carrier.typeA: 0>||<Carrier.typeV: 3>||<Carrier.typeV: 3>||
  ==============================================================
Y2||<Carrier.typeA: 0>||<Carrier.typeA: 0>||<Carrier.typeA: 0>||
  ==============================================================
Y3||<Carrier.typeB: 1>||                  ||<Carrier.typeV: 3>||
  ======================                   =====================
  ==nextType:<Carrier.typeA: 0>
action is Action.getX1
episode: 22   score: 170
현재 state는: 5592
          X1                    X2               X3
  ==============================================================
Y1||<Carrier.typeV: 3>||<Carrier.typeB: 1>||<Carrier.typeV: 3>||
  ==============================================================
Y2||<Carrier.typeA: 0>||<Carrier.typeA: 0>||<Carrier.typeA: 0>||
  ==============================================================
Y3||<Carrier.typeB: 1>||                  ||<Carrier.typeA: 0>||
  ======================                   =====================
  ==nextType:<Carrier.typeA: 0>
action is Action.getX3Y3
episode: 23   score: 200
현재 state는: 1155
          X1                    X2               X3
  ==============================================================
Y1||<Carrier.typeA: 0>||<Carrier.typeB: 1>||<Carrier.typeB: 1>||
  ==============================================================
Y2||<Carrier.typeV: 3>||<Carrier.typeA: 0>||<Carrier.typeV: 3>||
  ==============================================================
Y3||<Carrier.typeB: 1>||                  ||<Carrier.typeA: 0>||
  ======================                   =====================
  ==nextType:<Carrier.typeA: 0>
action is Action.getX3Y3
episode: 24   score: 200
현재 state는: 1463
          X1                    X2               X3
  ==============================================================
Y1||<Carrier.typeA: 0>||<Carrier.typeV: 3>||<Carrier.typeA: 0>||
  ==============================================================
Y2||<Carrier.typeA: 0>||<Carrier.typeA: 0>||<Carrier.typeA: 0>||
  ==============================================================
Y3||<Carrier.typeB: 1>||                  ||<Carrier.typeV: 3>||
  ======================                   =====================
  ==nextType:<Carrier.typeA: 0>
action is Action.getX1
episode: 25   score: 200
현재 state는: 2569
          X1                    X2               X3
  ==============================================================
Y1||<Carrier.typeB: 1>||<Carrier.typeA: 0>||<Carrier.typeB: 1>||
  ==============================================================
Y2||<Carrier.typeB: 1>||<Carrier.typeV: 3>||<Carrier.typeA: 0>||
  ==============================================================
Y3||<Carrier.typeB: 1>||                  ||<Carrier.typeB: 1>||
  ======================                   =====================
  ==nextType:<Carrier.typeA: 0>
action is Action.getX3Y3
현재 state는: 2570
          X1                    X2               X3
  ==============================================================
Y1||<Carrier.typeB: 1>||<Carrier.typeA: 0>||<Carrier.typeB: 1>||
  ==============================================================
Y2||<Carrier.typeB: 1>||<Carrier.typeV: 3>||<Carrier.typeA: 0>||
  ==============================================================
Y3||<Carrier.typeB: 1>||                  ||<Carrier.typeV: 3>||
  ======================                   =====================
  ==nextType:<Carrier.typeA: 0>
action is Action.getX2
현재 state는: 3977
          X1                    X2               X3
  ==============================================================
Y1||<Carrier.typeB: 1>||<Carrier.typeV: 3>||<Carrier.typeB: 1>||
  ==============================================================
Y2||<Carrier.typeB: 1>||<Carrier.typeA: 0>||<Carrier.typeA: 0>||
  ==============================================================
Y3||<Carrier.typeV: 3>||                  ||<Carrier.typeV: 3>||
  ======================                   =====================
  ==nextType:<Carrier.typeA: 0>
action is Action.getX3
episode: 26   score: 190
현재 state는: 1720
          X1                    X2               X3
  ==============================================================
Y1||<Carrier.typeA: 0>||<Carrier.typeV: 3>||<Carrier.typeB: 1>||
  ==============================================================
Y2||<Carrier.typeA: 0>||<Carrier.typeA: 0>||<Carrier.typeV: 3>||
  ==============================================================
Y3||<Carrier.typeA: 0>||                  ||<Carrier.typeB: 1>||
  ======================                   =====================
  ==nextType:<Carrier.typeA: 0>
action is Action.getX3Y3
현재 state는: 1724
          X1                    X2               X3
  ==============================================================
Y1||<Carrier.typeA: 0>||<Carrier.typeV: 3>||<Carrier.typeB: 1>||
  ==============================================================
Y2||<Carrier.typeA: 0>||<Carrier.typeA: 0>||<Carrier.typeV: 3>||
  ==============================================================
Y3||<Carrier.typeB: 1>||                  ||<Carrier.typeV: 3>||
  ======================                   =====================
  ==nextType:<Carrier.typeA: 0>
action is Action.getX1
episode: 27   score: 170
현재 state는: 951
          X1                    X2               X3
  ==============================================================
Y1||<Carrier.typeA: 0>||<Carrier.typeB: 1>||<Carrier.typeA: 0>||
  ==============================================================
Y2||<Carrier.typeV: 3>||<Carrier.typeV: 3>||<Carrier.typeA: 0>||
  ==============================================================
Y3||<Carrier.typeV: 3>||                  ||<Carrier.typeA: 0>||
  ======================                   =====================
  ==nextType:<Carrier.typeA: 0>
action is Action.getX3Y3
episode: 28   score: 200
현재 state는: 1519
          X1                    X2               X3
  ==============================================================
Y1||<Carrier.typeA: 0>||<Carrier.typeV: 3>||<Carrier.typeA: 0>||
  ==============================================================
Y2||<Carrier.typeA: 0>||<Carrier.typeV: 3>||<Carrier.typeA: 0>||
  ==============================================================
Y3||<Carrier.typeV: 3>||                  ||<Carrier.typeB: 1>||
  ======================                   =====================
  ==nextType:<Carrier.typeA: 0>
action is Action.getX3Y3
현재 state는: 1517
          X1                    X2               X3
  ==============================================================
Y1||<Carrier.typeA: 0>||<Carrier.typeV: 3>||<Carrier.typeA: 0>||
  ==============================================================
Y2||<Carrier.typeA: 0>||<Carrier.typeV: 3>||<Carrier.typeA: 0>||
  ==============================================================
Y3||<Carrier.typeB: 1>||                  ||<Carrier.typeV: 3>||
  ======================                   =====================
  ==nextType:<Carrier.typeA: 0>
action is Action.getX1
episode: 29   score: 170
현재 state는: 994
          X1                    X2               X3
  ==============================================================
Y1||<Carrier.typeA: 0>||<Carrier.typeB: 1>||<Carrier.typeB: 1>||
  ==============================================================
Y2||<Carrier.typeA: 0>||<Carrier.typeA: 0>||<Carrier.typeV: 3>||
  ==============================================================
Y3||<Carrier.typeB: 1>||                  ||<Carrier.typeB: 1>||
  ======================                   =====================
  ==nextType:<Carrier.typeA: 0>
action is Action.getX3Y3
현재 state는: 995
          X1                    X2               X3
  ==============================================================
Y1||<Carrier.typeA: 0>||<Carrier.typeB: 1>||<Carrier.typeB: 1>||
  ==============================================================
Y2||<Carrier.typeA: 0>||<Carrier.typeA: 0>||<Carrier.typeV: 3>||
  ==============================================================
Y3||<Carrier.typeB: 1>||                  ||<Carrier.typeV: 3>||
  ======================                   =====================
  ==nextType:<Carrier.typeA: 0>
action is Action.getX1
episode: 30   score: 170
현재 state는: 825
          X1                    X2               X3
  ==============================================================
Y1||<Carrier.typeA: 0>||<Carrier.typeB: 1>||<Carrier.typeA: 0>||
  ==============================================================
Y2||<Carrier.typeB: 1>||<Carrier.typeA: 0>||<Carrier.typeB: 1>||
  ==============================================================
Y3||<Carrier.typeV: 3>||                  ||<Carrier.typeA: 0>||
  ======================                   =====================
  ==nextType:<Carrier.typeA: 0>
action is Action.getX3Y3
episode: 31   score: 200
현재 state는: 2258
          X1                    X2               X3
  ==============================================================
Y1||<Carrier.typeB: 1>||<Carrier.typeA: 0>||<Carrier.typeA: 0>||
  ==============================================================
Y2||<Carrier.typeA: 0>||<Carrier.typeV: 3>||<Carrier.typeB: 1>||
  ==============================================================
Y3||<Carrier.typeV: 3>||                  ||<Carrier.typeV: 3>||
  ======================                   =====================
  ==nextType:<Carrier.typeA: 0>
action is Action.getX1
episode: 32   score: 200
현재 state는: 4803
          X1                    X2               X3
  ==============================================================
Y1||<Carrier.typeV: 3>||<Carrier.typeA: 0>||<Carrier.typeB: 1>||
  ==============================================================
Y2||<Carrier.typeV: 3>||<Carrier.typeA: 0>||<Carrier.typeV: 3>||
  ==============================================================
Y3||<Carrier.typeV: 3>||                  ||<Carrier.typeA: 0>||
  ======================                   =====================
  ==nextType:<Carrier.typeA: 0>
action is Action.getX3Y3
episode: 33   score: 200
현재 state는: 6522
          X1                    X2               X3
  ==============================================================
Y1||<Carrier.typeV: 3>||<Carrier.typeV: 3>||<Carrier.typeV: 3>||
  ==============================================================
Y2||<Carrier.typeV: 3>||<Carrier.typeB: 1>||<Carrier.typeB: 1>||
  ==============================================================
Y3||<Carrier.typeV: 3>||                  ||<Carrier.typeA: 0>||
  ======================                   =====================
  ==nextType:<Carrier.typeA: 0>
action is Action.getX3Y3
episode: 34   score: 200
현재 state는: 1245
          X1                    X2               X3
  ==============================================================
Y1||<Carrier.typeA: 0>||<Carrier.typeB: 1>||<Carrier.typeV: 3>||
  ==============================================================
Y2||<Carrier.typeA: 0>||<Carrier.typeB: 1>||<Carrier.typeA: 0>||
  ==============================================================
Y3||<Carrier.typeB: 1>||                  ||<Carrier.typeA: 0>||
  ======================                   =====================
  ==nextType:<Carrier.typeA: 0>
action is Action.getX3Y3
episode: 35   score: 200
현재 state는: 2573
          X1                    X2               X3
  ==============================================================
Y1||<Carrier.typeB: 1>||<Carrier.typeA: 0>||<Carrier.typeB: 1>||
  ==============================================================
Y2||<Carrier.typeB: 1>||<Carrier.typeV: 3>||<Carrier.typeA: 0>||
  ==============================================================
Y3||<Carrier.typeV: 3>||                  ||<Carrier.typeV: 3>||
  ======================                   =====================
  ==nextType:<Carrier.typeA: 0>
action is Action.getX3
episode: 36   score: 200
현재 state는: 1957
          X1                    X2               X3
  ==============================================================
Y1||<Carrier.typeA: 0>||<Carrier.typeV: 3>||<Carrier.typeV: 3>||
  ==============================================================
Y2||<Carrier.typeA: 0>||<Carrier.typeA: 0>||<Carrier.typeB: 1>||
  ==============================================================
Y3||<Carrier.typeB: 1>||                  ||<Carrier.typeB: 1>||
  ======================                   =====================
  ==nextType:<Carrier.typeA: 0>
action is Action.getX3Y3
현재 state는: 1958
          X1                    X2               X3
  ==============================================================
Y1||<Carrier.typeA: 0>||<Carrier.typeV: 3>||<Carrier.typeV: 3>||
  ==============================================================
Y2||<Carrier.typeA: 0>||<Carrier.typeA: 0>||<Carrier.typeB: 1>||
  ==============================================================
Y3||<Carrier.typeB: 1>||                  ||<Carrier.typeV: 3>||
  ======================                   =====================
  ==nextType:<Carrier.typeA: 0>
action is Action.getX1
episode: 37   score: 170
현재 state는: 3435
          X1                    X2               X3
  ==============================================================
Y1||<Carrier.typeB: 1>||<Carrier.typeB: 1>||<Carrier.typeV: 3>||
  ==============================================================
Y2||<Carrier.typeA: 0>||<Carrier.typeB: 1>||<Carrier.typeA: 0>||
  ==============================================================
Y3||<Carrier.typeV: 3>||                  ||<Carrier.typeA: 0>||
  ======================                   =====================
  ==nextType:<Carrier.typeA: 0>
action is Action.getX3Y3
episode: 38   score: 200
현재 state는: 3788
          X1                    X2               X3
  ==============================================================
Y1||<Carrier.typeB: 1>||<Carrier.typeV: 3>||<Carrier.typeA: 0>||
  ==============================================================
Y2||<Carrier.typeB: 1>||<Carrier.typeV: 3>||<Carrier.typeA: 0>||
  ==============================================================
Y3||<Carrier.typeV: 3>||                  ||<Carrier.typeV: 3>||
  ======================                   =====================
  ==nextType:<Carrier.typeA: 0>
action is Action.getX3
episode: 39   score: 200
현재 state는: 5757
          X1                    X2               X3
  ==============================================================
Y1||<Carrier.typeV: 3>||<Carrier.typeB: 1>||<Carrier.typeV: 3>||
  ==============================================================
Y2||<Carrier.typeV: 3>||<Carrier.typeA: 0>||<Carrier.typeA: 0>||
  ==============================================================
Y3||<Carrier.typeV: 3>||                  ||<Carrier.typeA: 0>||
  ======================                   =====================
  ==nextType:<Carrier.typeA: 0>
action is Action.getX3Y3
episode: 40   score: 200
현재 state는: 1965
          X1                    X2               X3
  ==============================================================
Y1||<Carrier.typeA: 0>||<Carrier.typeV: 3>||<Carrier.typeV: 3>||
  ==============================================================
Y2||<Carrier.typeA: 0>||<Carrier.typeA: 0>||<Carrier.typeV: 3>||
  ==============================================================
Y3||<Carrier.typeB: 1>||                  ||<Carrier.typeA: 0>||
  ======================                   =====================
  ==nextType:<Carrier.typeA: 0>
action is Action.getX3Y3
episode: 41   score: 200
현재 state는: 4411
          X1                    X2               X3
  ==============================================================
Y1||<Carrier.typeV: 3>||<Carrier.typeA: 0>||<Carrier.typeA: 0>||
  ==============================================================
Y2||<Carrier.typeA: 0>||<Carrier.typeB: 1>||<Carrier.typeB: 1>||
  ==============================================================
Y3||<Carrier.typeA: 0>||                  ||<Carrier.typeB: 1>||
  ======================                   =====================
  ==nextType:<Carrier.typeA: 0>
action is Action.getX3Y3
현재 state는: 4415
          X1                    X2               X3
  ==============================================================
Y1||<Carrier.typeV: 3>||<Carrier.typeA: 0>||<Carrier.typeA: 0>||
  ==============================================================
Y2||<Carrier.typeA: 0>||<Carrier.typeB: 1>||<Carrier.typeB: 1>||
  ==============================================================
Y3||<Carrier.typeB: 1>||                  ||<Carrier.typeV: 3>||
  ======================                   =====================
  ==nextType:<Carrier.typeA: 0>
action is Action.getX1
episode: 42   score: 170
현재 state는: 3345
          X1                    X2               X3
  ==============================================================
Y1||<Carrier.typeB: 1>||<Carrier.typeB: 1>||<Carrier.typeB: 1>||
  ==============================================================
Y2||<Carrier.typeV: 3>||<Carrier.typeA: 0>||<Carrier.typeV: 3>||
  ==============================================================
Y3||<Carrier.typeV: 3>||                  ||<Carrier.typeA: 0>||
  ======================                   =====================
  ==nextType:<Carrier.typeA: 0>
action is Action.getX3Y3
episode: 43   score: 200
현재 state는: 1003
          X1                    X2               X3
  ==============================================================
Y1||<Carrier.typeA: 0>||<Carrier.typeB: 1>||<Carrier.typeB: 1>||
  ==============================================================
Y2||<Carrier.typeA: 0>||<Carrier.typeB: 1>||<Carrier.typeA: 0>||
  ==============================================================
Y3||<Carrier.typeB: 1>||                  ||<Carrier.typeB: 1>||
  ======================                   =====================
  ==nextType:<Carrier.typeA: 0>
action is Action.getX3Y3
현재 state는: 1004
          X1                    X2               X3
  ==============================================================
Y1||<Carrier.typeA: 0>||<Carrier.typeB: 1>||<Carrier.typeB: 1>||
  ==============================================================
Y2||<Carrier.typeA: 0>||<Carrier.typeB: 1>||<Carrier.typeA: 0>||
  ==============================================================
Y3||<Carrier.typeB: 1>||                  ||<Carrier.typeV: 3>||
  ======================                   =====================
  ==nextType:<Carrier.typeA: 0>
action is Action.getX1
episode: 44   score: 170
현재 state는: 388
          X1                    X2               X3
  ==============================================================
Y1||<Carrier.typeA: 0>||<Carrier.typeA: 0>||<Carrier.typeB: 1>||
  ==============================================================
Y2||<Carrier.typeB: 1>||<Carrier.typeV: 3>||<Carrier.typeB: 1>||
  ==============================================================
Y3||<Carrier.typeA: 0>||                  ||<Carrier.typeB: 1>||
  ======================                   =====================
  ==nextType:<Carrier.typeA: 0>
action is Action.getX3Y3
현재 state는: 392
          X1                    X2               X3
  ==============================================================
Y1||<Carrier.typeA: 0>||<Carrier.typeA: 0>||<Carrier.typeB: 1>||
  ==============================================================
Y2||<Carrier.typeB: 1>||<Carrier.typeV: 3>||<Carrier.typeB: 1>||
  ==============================================================
Y3||<Carrier.typeB: 1>||                  ||<Carrier.typeV: 3>||
  ======================                   =====================
  ==nextType:<Carrier.typeA: 0>
action is Action.getX1
현재 state는: 4685
          X1                    X2               X3
  ==============================================================
Y1||<Carrier.typeV: 3>||<Carrier.typeA: 0>||<Carrier.typeB: 1>||
  ==============================================================
Y2||<Carrier.typeA: 0>||<Carrier.typeV: 3>||<Carrier.typeB: 1>||
  ==============================================================
Y3||<Carrier.typeB: 1>||                  ||<Carrier.typeV: 3>||
  ======================                   =====================
  ==nextType:<Carrier.typeA: 0>
action is Action.getX1
episode: 45   score: 190
현재 state는: 2539
          X1                    X2               X3
  ==============================================================
Y1||<Carrier.typeB: 1>||<Carrier.typeA: 0>||<Carrier.typeB: 1>||
  ==============================================================
Y2||<Carrier.typeB: 1>||<Carrier.typeB: 1>||<Carrier.typeA: 0>||
  ==============================================================
Y3||<Carrier.typeA: 0>||                  ||<Carrier.typeB: 1>||
  ======================                   =====================
  ==nextType:<Carrier.typeA: 0>
action is Action.getX3Y3
현재 state는: 2543
          X1                    X2               X3
  ==============================================================
Y1||<Carrier.typeB: 1>||<Carrier.typeA: 0>||<Carrier.typeB: 1>||
  ==============================================================
Y2||<Carrier.typeB: 1>||<Carrier.typeB: 1>||<Carrier.typeA: 0>||
  ==============================================================
Y3||<Carrier.typeB: 1>||                  ||<Carrier.typeV: 3>||
  ======================                   =====================
  ==nextType:<Carrier.typeA: 0>
action is Action.getX2
현재 state는: 3974
          X1                    X2               X3
  ==============================================================
Y1||<Carrier.typeB: 1>||<Carrier.typeV: 3>||<Carrier.typeB: 1>||
  ==============================================================
Y2||<Carrier.typeB: 1>||<Carrier.typeA: 0>||<Carrier.typeA: 0>||
  ==============================================================
Y3||<Carrier.typeB: 1>||                  ||<Carrier.typeV: 3>||
  ======================                   =====================
  ==nextType:<Carrier.typeA: 0>
action is Action.getX2
episode: 46   score: 190
현재 state는: 4626
          X1                    X2               X3
  ==============================================================
Y1||<Carrier.typeV: 3>||<Carrier.typeA: 0>||<Carrier.typeB: 1>||
  ==============================================================
Y2||<Carrier.typeA: 0>||<Carrier.typeA: 0>||<Carrier.typeB: 1>||
  ==============================================================
Y3||<Carrier.typeA: 0>||                  ||<Carrier.typeA: 0>||
  ======================                   =====================
  ==nextType:<Carrier.typeA: 0>
action is Action.getX3Y3
episode: 47   score: 200
현재 state는: 1848
          X1                    X2               X3
  ==============================================================
Y1||<Carrier.typeA: 0>||<Carrier.typeV: 3>||<Carrier.typeB: 1>||
  ==============================================================
Y2||<Carrier.typeB: 1>||<Carrier.typeV: 3>||<Carrier.typeB: 1>||
  ==============================================================
Y3||<Carrier.typeB: 1>||                  ||<Carrier.typeA: 0>||
  ======================                   =====================
  ==nextType:<Carrier.typeA: 0>
action is Action.getX3Y3
episode: 48   score: 200
현재 state는: 2860
          X1                    X2               X3
  ==============================================================
Y1||<Carrier.typeB: 1>||<Carrier.typeA: 0>||<Carrier.typeV: 3>||
  ==============================================================
Y2||<Carrier.typeV: 3>||<Carrier.typeA: 0>||<Carrier.typeV: 3>||
  ==============================================================
Y3||<Carrier.typeV: 3>||                  ||<Carrier.typeB: 1>||
  ======================                   =====================
  ==nextType:<Carrier.typeA: 0>
action is Action.getX3Y3
현재 state는: 2858
          X1                    X2               X3
  ==============================================================
Y1||<Carrier.typeB: 1>||<Carrier.typeA: 0>||<Carrier.typeV: 3>||
  ==============================================================
Y2||<Carrier.typeV: 3>||<Carrier.typeA: 0>||<Carrier.typeV: 3>||
  ==============================================================
Y3||<Carrier.typeB: 1>||                  ||<Carrier.typeV: 3>||
  ======================                   =====================
  ==nextType:<Carrier.typeA: 0>
action is Action.getX2
episode: 49   score: 170
현재 state는: 37
          X1                    X2               X3
  ==============================================================
Y1||<Carrier.typeA: 0>||<Carrier.typeA: 0>||<Carrier.typeA: 0>||
  ==============================================================
Y2||<Carrier.typeA: 0>||<Carrier.typeB: 1>||<Carrier.typeB: 1>||
  ==============================================================
Y3||<Carrier.typeA: 0>||                  ||<Carrier.typeB: 1>||
  ======================                   =====================
  ==nextType:<Carrier.typeA: 0>
action is Action.getX3Y3
현재 state는: 41
          X1                    X2               X3
  ==============================================================
Y1||<Carrier.typeA: 0>||<Carrier.typeA: 0>||<Carrier.typeA: 0>||
  ==============================================================
Y2||<Carrier.typeA: 0>||<Carrier.typeB: 1>||<Carrier.typeB: 1>||
  ==============================================================
Y3||<Carrier.typeB: 1>||                  ||<Carrier.typeV: 3>||
  ======================                   =====================
  ==nextType:<Carrier.typeA: 0>
action is Action.getX1
episode: 50   score: 170
현재 state는: 4764
          X1                    X2               X3
  ==============================================================
Y1||<Carrier.typeV: 3>||<Carrier.typeA: 0>||<Carrier.typeB: 1>||
  ==============================================================
Y2||<Carrier.typeB: 1>||<Carrier.typeV: 3>||<Carrier.typeB: 1>||
  ==============================================================
Y3||<Carrier.typeB: 1>||                  ||<Carrier.typeA: 0>||
  ======================                   =====================
  ==nextType:<Carrier.typeA: 0>
action is Action.getX3Y3
episode: 51   score: 200
현재 state는: 6254
          X1                    X2               X3
  ==============================================================
Y1||<Carrier.typeV: 3>||<Carrier.typeV: 3>||<Carrier.typeB: 1>||
  ==============================================================
Y2||<Carrier.typeV: 3>||<Carrier.typeA: 0>||<Carrier.typeB: 1>||
  ==============================================================
Y3||<Carrier.typeV: 3>||                  ||<Carrier.typeV: 3>||
  ======================                   =====================
  ==nextType:<Carrier.typeA: 0>
action is Action.getX2
episode: 52   score: 200
현재 state는: 1258
          X1                    X2               X3
  ==============================================================
Y1||<Carrier.typeA: 0>||<Carrier.typeB: 1>||<Carrier.typeV: 3>||
  ==============================================================
Y2||<Carrier.typeA: 0>||<Carrier.typeB: 1>||<Carrier.typeB: 1>||
  ==============================================================
Y3||<Carrier.typeV: 3>||                  ||<Carrier.typeB: 1>||
  ======================                   =====================
  ==nextType:<Carrier.typeA: 0>
action is Action.getX3Y3
현재 state는: 1256
          X1                    X2               X3
  ==============================================================
Y1||<Carrier.typeA: 0>||<Carrier.typeB: 1>||<Carrier.typeV: 3>||
  ==============================================================
Y2||<Carrier.typeA: 0>||<Carrier.typeB: 1>||<Carrier.typeB: 1>||
  ==============================================================
Y3||<Carrier.typeB: 1>||                  ||<Carrier.typeV: 3>||
  ======================                   =====================
  ==nextType:<Carrier.typeA: 0>
action is Action.getX1
episode: 53   score: 170
현재 state는: 5043
          X1                    X2               X3
  ==============================================================
Y1||<Carrier.typeV: 3>||<Carrier.typeA: 0>||<Carrier.typeV: 3>||
  ==============================================================
Y2||<Carrier.typeV: 3>||<Carrier.typeA: 0>||<Carrier.typeV: 3>||
  ==============================================================
Y3||<Carrier.typeB: 1>||                  ||<Carrier.typeA: 0>||
  ======================                   =====================
  ==nextType:<Carrier.typeA: 0>
action is Action.getX3Y3
episode: 54   score: 200
현재 state는: 4767
          X1                    X2               X3
  ==============================================================
Y1||<Carrier.typeV: 3>||<Carrier.typeA: 0>||<Carrier.typeB: 1>||
  ==============================================================
Y2||<Carrier.typeB: 1>||<Carrier.typeV: 3>||<Carrier.typeB: 1>||
  ==============================================================
Y3||<Carrier.typeV: 3>||                  ||<Carrier.typeA: 0>||
  ======================                   =====================
  ==nextType:<Carrier.typeA: 0>
action is Action.getX3Y3
episode: 55   score: 200
현재 state는: 1363
          X1                    X2               X3
  ==============================================================
Y1||<Carrier.typeA: 0>||<Carrier.typeB: 1>||<Carrier.typeV: 3>||
  ==============================================================
Y2||<Carrier.typeB: 1>||<Carrier.typeV: 3>||<Carrier.typeB: 1>||
  ==============================================================
Y3||<Carrier.typeB: 1>||                  ||<Carrier.typeB: 1>||
  ======================                   =====================
  ==nextType:<Carrier.typeA: 0>
action is Action.getX3Y3
현재 state는: 1364
          X1                    X2               X3
  ==============================================================
Y1||<Carrier.typeA: 0>||<Carrier.typeB: 1>||<Carrier.typeV: 3>||
  ==============================================================
Y2||<Carrier.typeB: 1>||<Carrier.typeV: 3>||<Carrier.typeB: 1>||
  ==============================================================
Y3||<Carrier.typeB: 1>||                  ||<Carrier.typeV: 3>||
  ======================                   =====================
  ==nextType:<Carrier.typeA: 0>
action is Action.getX1
현재 state는: 5657
          X1                    X2               X3
  ==============================================================
Y1||<Carrier.typeV: 3>||<Carrier.typeB: 1>||<Carrier.typeV: 3>||
  ==============================================================
Y2||<Carrier.typeA: 0>||<Carrier.typeV: 3>||<Carrier.typeB: 1>||
  ==============================================================
Y3||<Carrier.typeB: 1>||                  ||<Carrier.typeV: 3>||
  ======================                   =====================
  ==nextType:<Carrier.typeA: 0>
action is Action.getX1
episode: 56   score: 190
현재 state는: 71
          X1                    X2               X3
  ==============================================================
Y1||<Carrier.typeA: 0>||<Carrier.typeA: 0>||<Carrier.typeA: 0>||
  ==============================================================
Y2||<Carrier.typeA: 0>||<Carrier.typeV: 3>||<Carrier.typeB: 1>||
  ==============================================================
Y3||<Carrier.typeV: 3>||                  ||<Carrier.typeV: 3>||
  ======================                   =====================
  ==nextType:<Carrier.typeA: 0>
action is Action.getX1
episode: 57   score: 200
현재 state는: 529
          X1                    X2               X3
  ==============================================================
Y1||<Carrier.typeA: 0>||<Carrier.typeA: 0>||<Carrier.typeV: 3>||
  ==============================================================
Y2||<Carrier.typeA: 0>||<Carrier.typeB: 1>||<Carrier.typeB: 1>||
  ==============================================================
Y3||<Carrier.typeV: 3>||                  ||<Carrier.typeB: 1>||
  ======================                   =====================
  ==nextType:<Carrier.typeA: 0>
action is Action.getX3Y3
현재 state는: 527
          X1                    X2               X3
  ==============================================================
Y1||<Carrier.typeA: 0>||<Carrier.typeA: 0>||<Carrier.typeV: 3>||
  ==============================================================
Y2||<Carrier.typeA: 0>||<Carrier.typeB: 1>||<Carrier.typeB: 1>||
  ==============================================================
Y3||<Carrier.typeB: 1>||                  ||<Carrier.typeV: 3>||
  ======================                   =====================
  ==nextType:<Carrier.typeA: 0>
action is Action.getX1
episode: 58   score: 170
현재 state는: 6133
          X1                    X2               X3
  ==============================================================
Y1||<Carrier.typeV: 3>||<Carrier.typeV: 3>||<Carrier.typeB: 1>||
  ==============================================================
Y2||<Carrier.typeA: 0>||<Carrier.typeV: 3>||<Carrier.typeA: 0>||
  ==============================================================
Y3||<Carrier.typeB: 1>||                  ||<Carrier.typeB: 1>||
  ======================                   =====================
  ==nextType:<Carrier.typeA: 0>
action is Action.getX3Y3
현재 state는: 6134
          X1                    X2               X3
  ==============================================================
Y1||<Carrier.typeV: 3>||<Carrier.typeV: 3>||<Carrier.typeB: 1>||
  ==============================================================
Y2||<Carrier.typeA: 0>||<Carrier.typeV: 3>||<Carrier.typeA: 0>||
  ==============================================================
Y3||<Carrier.typeB: 1>||                  ||<Carrier.typeV: 3>||
  ======================                   =====================
  ==nextType:<Carrier.typeA: 0>
action is Action.getX3
episode: 59   score: 170
현재 state는: 4622
          X1                    X2               X3
  ==============================================================
Y1||<Carrier.typeV: 3>||<Carrier.typeA: 0>||<Carrier.typeB: 1>||
  ==============================================================
Y2||<Carrier.typeA: 0>||<Carrier.typeA: 0>||<Carrier.typeA: 0>||
  ==============================================================
Y3||<Carrier.typeB: 1>||                  ||<Carrier.typeV: 3>||
  ======================                   =====================
  ==nextType:<Carrier.typeA: 0>
action is Action.getX2
episode: 60   score: 200
현재 state는: 717
          X1                    X2               X3
  ==============================================================
Y1||<Carrier.typeA: 0>||<Carrier.typeA: 0>||<Carrier.typeV: 3>||
  ==============================================================
Y2||<Carrier.typeV: 3>||<Carrier.typeV: 3>||<Carrier.typeB: 1>||
  ==============================================================
Y3||<Carrier.typeV: 3>||                  ||<Carrier.typeA: 0>||
  ======================                   =====================
  ==nextType:<Carrier.typeA: 0>
action is Action.getX3Y3
episode: 61   score: 200
현재 state는: 1787
          X1                    X2               X3
  ==============================================================
Y1||<Carrier.typeA: 0>||<Carrier.typeV: 3>||<Carrier.typeB: 1>||
  ==============================================================
Y2||<Carrier.typeB: 1>||<Carrier.typeA: 0>||<Carrier.typeA: 0>||
  ==============================================================
Y3||<Carrier.typeB: 1>||                  ||<Carrier.typeV: 3>||
  ======================                   =====================
  ==nextType:<Carrier.typeA: 0>
action is Action.getX3
episode: 62   score: 200
현재 state는: 1348
          X1                    X2               X3
  ==============================================================
Y1||<Carrier.typeA: 0>||<Carrier.typeB: 1>||<Carrier.typeV: 3>||
  ==============================================================
Y2||<Carrier.typeB: 1>||<Carrier.typeB: 1>||<Carrier.typeV: 3>||
  ==============================================================
Y3||<Carrier.typeV: 3>||                  ||<Carrier.typeB: 1>||
  ======================                   =====================
  ==nextType:<Carrier.typeA: 0>
action is Action.getX3Y3
현재 state는: 1346
          X1                    X2               X3
  ==============================================================
Y1||<Carrier.typeA: 0>||<Carrier.typeB: 1>||<Carrier.typeV: 3>||
  ==============================================================
Y2||<Carrier.typeB: 1>||<Carrier.typeB: 1>||<Carrier.typeV: 3>||
  ==============================================================
Y3||<Carrier.typeB: 1>||                  ||<Carrier.typeV: 3>||
  ======================                   =====================
  ==nextType:<Carrier.typeA: 0>
action is Action.getX1
현재 state는: 5639
          X1                    X2               X3
  ==============================================================
Y1||<Carrier.typeV: 3>||<Carrier.typeB: 1>||<Carrier.typeV: 3>||
  ==============================================================
Y2||<Carrier.typeA: 0>||<Carrier.typeB: 1>||<Carrier.typeV: 3>||
  ==============================================================
Y3||<Carrier.typeB: 1>||                  ||<Carrier.typeV: 3>||
  ======================                   =====================
  ==nextType:<Carrier.typeA: 0>
action is Action.getX1
episode: 63   score: 190
현재 state는: 4146
          X1                    X2               X3
  ==============================================================
Y1||<Carrier.typeB: 1>||<Carrier.typeV: 3>||<Carrier.typeV: 3>||
  ==============================================================
Y2||<Carrier.typeA: 0>||<Carrier.typeA: 0>||<Carrier.typeB: 1>||
  ==============================================================
Y3||<Carrier.typeV: 3>||                  ||<Carrier.typeA: 0>||
  ======================                   =====================
  ==nextType:<Carrier.typeA: 0>
action is Action.getX3Y3
episode: 64   score: 200
현재 state는: 2629
          X1                    X2               X3
  ==============================================================
Y1||<Carrier.typeB: 1>||<Carrier.typeA: 0>||<Carrier.typeB: 1>||
  ==============================================================
Y2||<Carrier.typeV: 3>||<Carrier.typeB: 1>||<Carrier.typeB: 1>||
  ==============================================================
Y3||<Carrier.typeA: 0>||                  ||<Carrier.typeB: 1>||
  ======================                   =====================
  ==nextType:<Carrier.typeA: 0>
action is Action.getX3Y3
현재 state는: 2633
          X1                    X2               X3
  ==============================================================
Y1||<Carrier.typeB: 1>||<Carrier.typeA: 0>||<Carrier.typeB: 1>||
  ==============================================================
Y2||<Carrier.typeV: 3>||<Carrier.typeB: 1>||<Carrier.typeB: 1>||
  ==============================================================
Y3||<Carrier.typeB: 1>||                  ||<Carrier.typeV: 3>||
  ======================                   =====================
  ==nextType:<Carrier.typeA: 0>
action is Action.getX2
현재 state는: 4064
          X1                    X2               X3
  ==============================================================
Y1||<Carrier.typeB: 1>||<Carrier.typeV: 3>||<Carrier.typeB: 1>||
  ==============================================================
Y2||<Carrier.typeV: 3>||<Carrier.typeA: 0>||<Carrier.typeB: 1>||
  ==============================================================
Y3||<Carrier.typeB: 1>||                  ||<Carrier.typeV: 3>||
  ======================                   =====================
  ==nextType:<Carrier.typeA: 0>
action is Action.getX2
episode: 65   score: 190
현재 state는: 6541
          X1                    X2               X3
  ==============================================================
Y1||<Carrier.typeV: 3>||<Carrier.typeV: 3>||<Carrier.typeV: 3>||
  ==============================================================
Y2||<Carrier.typeV: 3>||<Carrier.typeV: 3>||<Carrier.typeA: 0>||
  ==============================================================
Y3||<Carrier.typeV: 3>||                  ||<Carrier.typeB: 1>||
  ======================                   =====================
  ==nextType:<Carrier.typeA: 0>
action is Action.getX3Y3
현재 state는: 6539
          X1                    X2               X3
  ==============================================================
Y1||<Carrier.typeV: 3>||<Carrier.typeV: 3>||<Carrier.typeV: 3>||
  ==============================================================
Y2||<Carrier.typeV: 3>||<Carrier.typeV: 3>||<Carrier.typeA: 0>||
  ==============================================================
Y3||<Carrier.typeB: 1>||                  ||<Carrier.typeV: 3>||
  ======================                   =====================
  ==nextType:<Carrier.typeA: 0>
action is Action.getX3
episode: 66   score: 170
현재 state는: 4447
          X1                    X2               X3
  ==============================================================
Y1||<Carrier.typeV: 3>||<Carrier.typeA: 0>||<Carrier.typeA: 0>||
  ==============================================================
Y2||<Carrier.typeA: 0>||<Carrier.typeV: 3>||<Carrier.typeV: 3>||
  ==============================================================
Y3||<Carrier.typeA: 0>||                  ||<Carrier.typeB: 1>||
  ======================                   =====================
  ==nextType:<Carrier.typeA: 0>
action is Action.getX3Y3
현재 state는: 4451
          X1                    X2               X3
  ==============================================================
Y1||<Carrier.typeV: 3>||<Carrier.typeA: 0>||<Carrier.typeA: 0>||
  ==============================================================
Y2||<Carrier.typeA: 0>||<Carrier.typeV: 3>||<Carrier.typeV: 3>||
  ==============================================================
Y3||<Carrier.typeB: 1>||                  ||<Carrier.typeV: 3>||
  ======================                   =====================
  ==nextType:<Carrier.typeA: 0>
action is Action.getX1
episode: 67   score: 170
현재 state는: 1270
          X1                    X2               X3
  ==============================================================
Y1||<Carrier.typeA: 0>||<Carrier.typeB: 1>||<Carrier.typeV: 3>||
  ==============================================================
Y2||<Carrier.typeA: 0>||<Carrier.typeV: 3>||<Carrier.typeA: 0>||
  ==============================================================
Y3||<Carrier.typeA: 0>||                  ||<Carrier.typeB: 1>||
  ======================                   =====================
  ==nextType:<Carrier.typeA: 0>
action is Action.getX3Y3
현재 state는: 1274
          X1                    X2               X3
  ==============================================================
Y1||<Carrier.typeA: 0>||<Carrier.typeB: 1>||<Carrier.typeV: 3>||
  ==============================================================
Y2||<Carrier.typeA: 0>||<Carrier.typeV: 3>||<Carrier.typeA: 0>||
  ==============================================================
Y3||<Carrier.typeB: 1>||                  ||<Carrier.typeV: 3>||
  ======================                   =====================
  ==nextType:<Carrier.typeA: 0>
action is Action.getX1
episode: 68   score: 170
현재 state는: 168
          X1                    X2               X3
  ==============================================================
Y1||<Carrier.typeA: 0>||<Carrier.typeA: 0>||<Carrier.typeA: 0>||
  ==============================================================
Y2||<Carrier.typeV: 3>||<Carrier.typeA: 0>||<Carrier.typeA: 0>||
  ==============================================================
Y3||<Carrier.typeV: 3>||                  ||<Carrier.typeA: 0>||
  ======================                   =====================
  ==nextType:<Carrier.typeA: 0>
action is Action.getX3Y3
episode: 69   score: 200
현재 state는: 6298
          X1                    X2               X3
  ==============================================================
Y1||<Carrier.typeV: 3>||<Carrier.typeV: 3>||<Carrier.typeB: 1>||
  ==============================================================
Y2||<Carrier.typeV: 3>||<Carrier.typeV: 3>||<Carrier.typeA: 0>||
  ==============================================================
Y3||<Carrier.typeV: 3>||                  ||<Carrier.typeB: 1>||
  ======================                   =====================
  ==nextType:<Carrier.typeA: 0>
action is Action.getX3Y3
현재 state는: 6296
          X1                    X2               X3
  ==============================================================
Y1||<Carrier.typeV: 3>||<Carrier.typeV: 3>||<Carrier.typeB: 1>||
  ==============================================================
Y2||<Carrier.typeV: 3>||<Carrier.typeV: 3>||<Carrier.typeA: 0>||
  ==============================================================
Y3||<Carrier.typeB: 1>||                  ||<Carrier.typeV: 3>||
  ======================                   =====================
  ==nextType:<Carrier.typeA: 0>
action is Action.getX3
episode: 70   score: 170
현재 state는: 2362
          X1                    X2               X3
  ==============================================================
Y1||<Carrier.typeB: 1>||<Carrier.typeA: 0>||<Carrier.typeA: 0>||
  ==============================================================
Y2||<Carrier.typeV: 3>||<Carrier.typeA: 0>||<Carrier.typeB: 1>||
  ==============================================================
Y3||<Carrier.typeB: 1>||                  ||<Carrier.typeB: 1>||
  ======================                   =====================
  ==nextType:<Carrier.typeA: 0>
action is Action.getX3Y3
현재 state는: 2363
          X1                    X2               X3
  ==============================================================
Y1||<Carrier.typeB: 1>||<Carrier.typeA: 0>||<Carrier.typeA: 0>||
  ==============================================================
Y2||<Carrier.typeV: 3>||<Carrier.typeA: 0>||<Carrier.typeB: 1>||
  ==============================================================
Y3||<Carrier.typeB: 1>||                  ||<Carrier.typeV: 3>||
  ======================                   =====================
  ==nextType:<Carrier.typeA: 0>
action is Action.getX2
episode: 71   score: 170
현재 state는: 709
          X1                    X2               X3
  ==============================================================
Y1||<Carrier.typeA: 0>||<Carrier.typeA: 0>||<Carrier.typeV: 3>||
  ==============================================================
Y2||<Carrier.typeV: 3>||<Carrier.typeV: 3>||<Carrier.typeA: 0>||
  ==============================================================
Y3||<Carrier.typeV: 3>||                  ||<Carrier.typeB: 1>||
  ======================                   =====================
  ==nextType:<Carrier.typeA: 0>
action is Action.getX3Y3
현재 state는: 707
          X1                    X2               X3
  ==============================================================
Y1||<Carrier.typeA: 0>||<Carrier.typeA: 0>||<Carrier.typeV: 3>||
  ==============================================================
Y2||<Carrier.typeV: 3>||<Carrier.typeV: 3>||<Carrier.typeA: 0>||
  ==============================================================
Y3||<Carrier.typeB: 1>||                  ||<Carrier.typeV: 3>||
  ======================                   =====================
  ==nextType:<Carrier.typeA: 0>
action is Action.getX3
episode: 72   score: 170
현재 state는: 3446
          X1                    X2               X3
  ==============================================================
Y1||<Carrier.typeB: 1>||<Carrier.typeB: 1>||<Carrier.typeV: 3>||
  ==============================================================
Y2||<Carrier.typeA: 0>||<Carrier.typeB: 1>||<Carrier.typeB: 1>||
  ==============================================================
Y3||<Carrier.typeV: 3>||                  ||<Carrier.typeV: 3>||
  ======================                   =====================
  ==nextType:<Carrier.typeA: 0>
action is Action.getX1
episode: 73   score: 200
현재 state는: 190
          X1                    X2               X3
  ==============================================================
Y1||<Carrier.typeA: 0>||<Carrier.typeA: 0>||<Carrier.typeA: 0>||
  ==============================================================
Y2||<Carrier.typeV: 3>||<Carrier.typeB: 1>||<Carrier.typeA: 0>||
  ==============================================================
Y3||<Carrier.typeA: 0>||                  ||<Carrier.typeB: 1>||
  ======================                   =====================
  ==nextType:<Carrier.typeA: 0>
action is Action.getX3Y3
현재 state는: 194
          X1                    X2               X3
  ==============================================================
Y1||<Carrier.typeA: 0>||<Carrier.typeA: 0>||<Carrier.typeA: 0>||
  ==============================================================
Y2||<Carrier.typeV: 3>||<Carrier.typeB: 1>||<Carrier.typeA: 0>||
  ==============================================================
Y3||<Carrier.typeB: 1>||                  ||<Carrier.typeV: 3>||
  ======================                   =====================
  ==nextType:<Carrier.typeA: 0>
action is Action.getX3
episode: 74   score: 170
현재 state는: 4306
          X1                    X2               X3
  ==============================================================
Y1||<Carrier.typeB: 1>||<Carrier.typeV: 3>||<Carrier.typeV: 3>||
  ==============================================================
Y2||<Carrier.typeV: 3>||<Carrier.typeA: 0>||<Carrier.typeB: 1>||
  ==============================================================
Y3||<Carrier.typeB: 1>||                  ||<Carrier.typeB: 1>||
  ======================                   =====================
  ==nextType:<Carrier.typeA: 0>
action is Action.getX3Y3
현재 state는: 4307
          X1                    X2               X3
  ==============================================================
Y1||<Carrier.typeB: 1>||<Carrier.typeV: 3>||<Carrier.typeV: 3>||
  ==============================================================
Y2||<Carrier.typeV: 3>||<Carrier.typeA: 0>||<Carrier.typeB: 1>||
  ==============================================================
Y3||<Carrier.typeB: 1>||                  ||<Carrier.typeV: 3>||
  ======================                   =====================
  ==nextType:<Carrier.typeA: 0>
action is Action.getX2
episode: 75   score: 170
현재 state는: 5499
          X1                    X2               X3
  ==============================================================
Y1||<Carrier.typeV: 3>||<Carrier.typeB: 1>||<Carrier.typeB: 1>||
  ==============================================================
Y2||<Carrier.typeB: 1>||<Carrier.typeV: 3>||<Carrier.typeV: 3>||
  ==============================================================
Y3||<Carrier.typeA: 0>||                  ||<Carrier.typeA: 0>||
  ======================                   =====================
  ==nextType:<Carrier.typeA: 0>
action is Action.getX3Y3
episode: 76   score: 200
현재 state는: 519
          X1                    X2               X3
  ==============================================================
Y1||<Carrier.typeA: 0>||<Carrier.typeA: 0>||<Carrier.typeV: 3>||
  ==============================================================
Y2||<Carrier.typeA: 0>||<Carrier.typeB: 1>||<Carrier.typeA: 0>||
  ==============================================================
Y3||<Carrier.typeV: 3>||                  ||<Carrier.typeA: 0>||
  ======================                   =====================
  ==nextType:<Carrier.typeA: 0>
action is Action.getX3Y3
episode: 77   score: 200
현재 state는: 1958
          X1                    X2               X3
  ==============================================================
Y1||<Carrier.typeA: 0>||<Carrier.typeV: 3>||<Carrier.typeV: 3>||
  ==============================================================
Y2||<Carrier.typeA: 0>||<Carrier.typeA: 0>||<Carrier.typeB: 1>||
  ==============================================================
Y3||<Carrier.typeB: 1>||                  ||<Carrier.typeV: 3>||
  ======================                   =====================
  ==nextType:<Carrier.typeA: 0>
action is Action.getX1
episode: 78   score: 200
현재 state는: 25
          X1                    X2               X3
  ==============================================================
Y1||<Carrier.typeA: 0>||<Carrier.typeA: 0>||<Carrier.typeA: 0>||
  ==============================================================
Y2||<Carrier.typeA: 0>||<Carrier.typeA: 0>||<Carrier.typeV: 3>||
  ==============================================================
Y3||<Carrier.typeV: 3>||                  ||<Carrier.typeB: 1>||
  ======================                   =====================
  ==nextType:<Carrier.typeA: 0>
action is Action.getX3Y3
현재 state는: 23
          X1                    X2               X3
  ==============================================================
Y1||<Carrier.typeA: 0>||<Carrier.typeA: 0>||<Carrier.typeA: 0>||
  ==============================================================
Y2||<Carrier.typeA: 0>||<Carrier.typeA: 0>||<Carrier.typeV: 3>||
  ==============================================================
Y3||<Carrier.typeB: 1>||                  ||<Carrier.typeV: 3>||
  ======================                   =====================
  ==nextType:<Carrier.typeA: 0>
action is Action.getX1
episode: 79   score: 170
현재 state는: 5428
          X1                    X2               X3
  ==============================================================
Y1||<Carrier.typeV: 3>||<Carrier.typeB: 1>||<Carrier.typeB: 1>||
  ==============================================================
Y2||<Carrier.typeB: 1>||<Carrier.typeA: 0>||<Carrier.typeA: 0>||
  ==============================================================
Y3||<Carrier.typeA: 0>||                  ||<Carrier.typeB: 1>||
  ======================                   =====================
  ==nextType:<Carrier.typeA: 0>
action is Action.getX3Y3
현재 state는: 5432
          X1                    X2               X3
  ==============================================================
Y1||<Carrier.typeV: 3>||<Carrier.typeB: 1>||<Carrier.typeB: 1>||
  ==============================================================
Y2||<Carrier.typeB: 1>||<Carrier.typeA: 0>||<Carrier.typeA: 0>||
  ==============================================================
Y3||<Carrier.typeB: 1>||                  ||<Carrier.typeV: 3>||
  ======================                   =====================
  ==nextType:<Carrier.typeA: 0>
action is Action.getX2
episode: 80   score: 170
현재 state는: 5984
          X1                    X2               X3
  ==============================================================
Y1||<Carrier.typeV: 3>||<Carrier.typeV: 3>||<Carrier.typeA: 0>||
  ==============================================================
Y2||<Carrier.typeB: 1>||<Carrier.typeV: 3>||<Carrier.typeB: 1>||
  ==============================================================
Y3||<Carrier.typeV: 3>||                  ||<Carrier.typeV: 3>||
  ======================                   =====================
  ==nextType:<Carrier.typeA: 0>
action is Action.getX3
현재 state는: 6458
          X1                    X2               X3
  ==============================================================
Y1||<Carrier.typeV: 3>||<Carrier.typeV: 3>||<Carrier.typeV: 3>||
  ==============================================================
Y2||<Carrier.typeB: 1>||<Carrier.typeV: 3>||<Carrier.typeA: 0>||
  ==============================================================
Y3||<Carrier.typeB: 1>||                  ||<Carrier.typeV: 3>||
  ======================                   =====================
  ==nextType:<Carrier.typeA: 0>
action is Action.getX3
episode: 81   score: 220
현재 state는: 3982
          X1                    X2               X3
  ==============================================================
Y1||<Carrier.typeB: 1>||<Carrier.typeV: 3>||<Carrier.typeB: 1>||
  ==============================================================
Y2||<Carrier.typeB: 1>||<Carrier.typeA: 0>||<Carrier.typeB: 1>||
  ==============================================================
Y3||<Carrier.typeB: 1>||                  ||<Carrier.typeB: 1>||
  ======================                   =====================
  ==nextType:<Carrier.typeA: 0>
action is Action.getX3Y3
현재 state는: 3983
          X1                    X2               X3
  ==============================================================
Y1||<Carrier.typeB: 1>||<Carrier.typeV: 3>||<Carrier.typeB: 1>||
  ==============================================================
Y2||<Carrier.typeB: 1>||<Carrier.typeA: 0>||<Carrier.typeB: 1>||
  ==============================================================
Y3||<Carrier.typeB: 1>||                  ||<Carrier.typeV: 3>||
  ======================                   =====================
  ==nextType:<Carrier.typeA: 0>
action is Action.getX2
episode: 82   score: 170
현재 state는: 5007
          X1                    X2               X3
  ==============================================================
Y1||<Carrier.typeV: 3>||<Carrier.typeA: 0>||<Carrier.typeV: 3>||
  ==============================================================
Y2||<Carrier.typeB: 1>||<Carrier.typeV: 3>||<Carrier.typeB: 1>||
  ==============================================================
Y3||<Carrier.typeB: 1>||                  ||<Carrier.typeA: 0>||
  ======================                   =====================
  ==nextType:<Carrier.typeA: 0>
action is Action.getX3Y3
episode: 83   score: 200
현재 state는: 181
          X1                    X2               X3
  ==============================================================
Y1||<Carrier.typeA: 0>||<Carrier.typeA: 0>||<Carrier.typeA: 0>||
  ==============================================================
Y2||<Carrier.typeV: 3>||<Carrier.typeA: 0>||<Carrier.typeV: 3>||
  ==============================================================
Y3||<Carrier.typeA: 0>||                  ||<Carrier.typeB: 1>||
  ======================                   =====================
  ==nextType:<Carrier.typeA: 0>
action is Action.getX3Y3
현재 state는: 185
          X1                    X2               X3
  ==============================================================
Y1||<Carrier.typeA: 0>||<Carrier.typeA: 0>||<Carrier.typeA: 0>||
  ==============================================================
Y2||<Carrier.typeV: 3>||<Carrier.typeA: 0>||<Carrier.typeV: 3>||
  ==============================================================
Y3||<Carrier.typeB: 1>||                  ||<Carrier.typeV: 3>||
  ======================                   =====================
  ==nextType:<Carrier.typeA: 0>
action is Action.getX2
episode: 84   score: 170
현재 state는: 4753
          X1                    X2               X3
  ==============================================================
Y1||<Carrier.typeV: 3>||<Carrier.typeA: 0>||<Carrier.typeB: 1>||
  ==============================================================
Y2||<Carrier.typeB: 1>||<Carrier.typeV: 3>||<Carrier.typeA: 0>||
  ==============================================================
Y3||<Carrier.typeA: 0>||                  ||<Carrier.typeB: 1>||
  ======================                   =====================
  ==nextType:<Carrier.typeA: 0>
action is Action.getX3Y3
현재 state는: 4757
          X1                    X2               X3
  ==============================================================
Y1||<Carrier.typeV: 3>||<Carrier.typeA: 0>||<Carrier.typeB: 1>||
  ==============================================================
Y2||<Carrier.typeB: 1>||<Carrier.typeV: 3>||<Carrier.typeA: 0>||
  ==============================================================
Y3||<Carrier.typeB: 1>||                  ||<Carrier.typeV: 3>||
  ======================                   =====================
  ==nextType:<Carrier.typeA: 0>
action is Action.getX3
episode: 85   score: 170
현재 state는: 4532
          X1                    X2               X3
  ==============================================================
Y1||<Carrier.typeV: 3>||<Carrier.typeA: 0>||<Carrier.typeA: 0>||
  ==============================================================
Y2||<Carrier.typeB: 1>||<Carrier.typeV: 3>||<Carrier.typeV: 3>||
  ==============================================================
Y3||<Carrier.typeB: 1>||                  ||<Carrier.typeV: 3>||
  ======================                   =====================
  ==nextType:<Carrier.typeA: 0>
action is Action.getX2
현재 state는: 5939
          X1                    X2               X3
  ==============================================================
Y1||<Carrier.typeV: 3>||<Carrier.typeV: 3>||<Carrier.typeA: 0>||
  ==============================================================
Y2||<Carrier.typeB: 1>||<Carrier.typeA: 0>||<Carrier.typeV: 3>||
  ==============================================================
Y3||<Carrier.typeV: 3>||                  ||<Carrier.typeV: 3>||
  ======================                   =====================
  ==nextType:<Carrier.typeA: 0>
action is Action.getX2
episode: 86   score: 220
현재 state는: 2544
          X1                    X2               X3
  ==============================================================
Y1||<Carrier.typeB: 1>||<Carrier.typeA: 0>||<Carrier.typeB: 1>||
  ==============================================================
Y2||<Carrier.typeB: 1>||<Carrier.typeB: 1>||<Carrier.typeA: 0>||
  ==============================================================
Y3||<Carrier.typeV: 3>||                  ||<Carrier.typeA: 0>||
  ======================                   =====================
  ==nextType:<Carrier.typeA: 0>
action is Action.getX3Y3
episode: 87   score: 200
현재 state는: 100
          X1                    X2               X3
  ==============================================================
Y1||<Carrier.typeA: 0>||<Carrier.typeA: 0>||<Carrier.typeA: 0>||
  ==============================================================
Y2||<Carrier.typeB: 1>||<Carrier.typeA: 0>||<Carrier.typeV: 3>||
  ==============================================================
Y3||<Carrier.typeA: 0>||                  ||<Carrier.typeB: 1>||
  ======================                   =====================
  ==nextType:<Carrier.typeA: 0>
action is Action.getX3Y3
현재 state는: 104
          X1                    X2               X3
  ==============================================================
Y1||<Carrier.typeA: 0>||<Carrier.typeA: 0>||<Carrier.typeA: 0>||
  ==============================================================
Y2||<Carrier.typeB: 1>||<Carrier.typeA: 0>||<Carrier.typeV: 3>||
  ==============================================================
Y3||<Carrier.typeB: 1>||                  ||<Carrier.typeV: 3>||
  ======================                   =====================
  ==nextType:<Carrier.typeA: 0>
action is Action.getX2
episode: 88   score: 170
현재 state는: 1672
          X1                    X2               X3
  ==============================================================
Y1||<Carrier.typeA: 0>||<Carrier.typeV: 3>||<Carrier.typeA: 0>||
  ==============================================================
Y2||<Carrier.typeV: 3>||<Carrier.typeB: 1>||<Carrier.typeV: 3>||
  ==============================================================
Y3||<Carrier.typeV: 3>||                  ||<Carrier.typeB: 1>||
  ======================                   =====================
  ==nextType:<Carrier.typeA: 0>
action is Action.getX3Y3
현재 state는: 1670
          X1                    X2               X3
  ==============================================================
Y1||<Carrier.typeA: 0>||<Carrier.typeV: 3>||<Carrier.typeA: 0>||
  ==============================================================
Y2||<Carrier.typeV: 3>||<Carrier.typeB: 1>||<Carrier.typeV: 3>||
  ==============================================================
Y3||<Carrier.typeB: 1>||                  ||<Carrier.typeV: 3>||
  ======================                   =====================
  ==nextType:<Carrier.typeA: 0>
action is Action.getX1
현재 state는: 5885
          X1                    X2               X3
  ==============================================================
Y1||<Carrier.typeV: 3>||<Carrier.typeV: 3>||<Carrier.typeA: 0>||
  ==============================================================
Y2||<Carrier.typeA: 0>||<Carrier.typeB: 1>||<Carrier.typeV: 3>||
  ==============================================================
Y3||<Carrier.typeV: 3>||                  ||<Carrier.typeV: 3>||
  ======================                   =====================
  ==nextType:<Carrier.typeA: 0>
action is Action.getX1
episode: 89   score: 190
현재 state는: 687
          X1                    X2               X3
  ==============================================================
Y1||<Carrier.typeA: 0>||<Carrier.typeA: 0>||<Carrier.typeV: 3>||
  ==============================================================
Y2||<Carrier.typeV: 3>||<Carrier.typeB: 1>||<Carrier.typeB: 1>||
  ==============================================================
Y3||<Carrier.typeB: 1>||                  ||<Carrier.typeA: 0>||
  ======================                   =====================
  ==nextType:<Carrier.typeA: 0>
action is Action.getX3Y3
episode: 90   score: 200
현재 state는: 835
          X1                    X2               X3
  ==============================================================
Y1||<Carrier.typeA: 0>||<Carrier.typeB: 1>||<Carrier.typeA: 0>||
  ==============================================================
Y2||<Carrier.typeB: 1>||<Carrier.typeA: 0>||<Carrier.typeV: 3>||
  ==============================================================
Y3||<Carrier.typeV: 3>||                  ||<Carrier.typeB: 1>||
  ======================                   =====================
  ==nextType:<Carrier.typeA: 0>
action is Action.getX3Y3
현재 state는: 833
          X1                    X2               X3
  ==============================================================
Y1||<Carrier.typeA: 0>||<Carrier.typeB: 1>||<Carrier.typeA: 0>||
  ==============================================================
Y2||<Carrier.typeB: 1>||<Carrier.typeA: 0>||<Carrier.typeV: 3>||
  ==============================================================
Y3||<Carrier.typeB: 1>||                  ||<Carrier.typeV: 3>||
  ======================                   =====================
  ==nextType:<Carrier.typeA: 0>
action is Action.getX1
현재 state는: 5126
          X1                    X2               X3
  ==============================================================
Y1||<Carrier.typeV: 3>||<Carrier.typeB: 1>||<Carrier.typeA: 0>||
  ==============================================================
Y2||<Carrier.typeA: 0>||<Carrier.typeA: 0>||<Carrier.typeV: 3>||
  ==============================================================
Y3||<Carrier.typeB: 1>||                  ||<Carrier.typeV: 3>||
  ======================                   =====================
  ==nextType:<Carrier.typeA: 0>
action is Action.getX1
episode: 91   score: 190
현재 state는: 4689
          X1                    X2               X3
  ==============================================================
Y1||<Carrier.typeV: 3>||<Carrier.typeA: 0>||<Carrier.typeB: 1>||
  ==============================================================
Y2||<Carrier.typeA: 0>||<Carrier.typeV: 3>||<Carrier.typeV: 3>||
  ==============================================================
Y3||<Carrier.typeA: 0>||                  ||<Carrier.typeA: 0>||
  ======================                   =====================
  ==nextType:<Carrier.typeA: 0>
action is Action.getX3Y3
episode: 92   score: 200
현재 state는: 827
          X1                    X2               X3
  ==============================================================
Y1||<Carrier.typeA: 0>||<Carrier.typeB: 1>||<Carrier.typeA: 0>||
  ==============================================================
Y2||<Carrier.typeB: 1>||<Carrier.typeA: 0>||<Carrier.typeB: 1>||
  ==============================================================
Y3||<Carrier.typeV: 3>||                  ||<Carrier.typeV: 3>||
  ======================                   =====================
  ==nextType:<Carrier.typeA: 0>
action is Action.getX1
현재 state는: 5117
          X1                    X2               X3
  ==============================================================
Y1||<Carrier.typeV: 3>||<Carrier.typeB: 1>||<Carrier.typeA: 0>||
  ==============================================================
Y2||<Carrier.typeA: 0>||<Carrier.typeA: 0>||<Carrier.typeB: 1>||
  ==============================================================
Y3||<Carrier.typeB: 1>||                  ||<Carrier.typeV: 3>||
  ======================                   =====================
  ==nextType:<Carrier.typeA: 0>
action is Action.getX1
episode: 93   score: 220
현재 state는: 1197
          X1                    X2               X3
  ==============================================================
Y1||<Carrier.typeA: 0>||<Carrier.typeB: 1>||<Carrier.typeB: 1>||
  ==============================================================
Y2||<Carrier.typeV: 3>||<Carrier.typeV: 3>||<Carrier.typeB: 1>||
  ==============================================================
Y3||<Carrier.typeA: 0>||                  ||<Carrier.typeA: 0>||
  ======================                   =====================
  ==nextType:<Carrier.typeA: 0>
action is Action.getX3Y3
episode: 94   score: 200
현재 state는: 4636
          X1                    X2               X3
  ==============================================================
Y1||<Carrier.typeV: 3>||<Carrier.typeA: 0>||<Carrier.typeB: 1>||
  ==============================================================
Y2||<Carrier.typeA: 0>||<Carrier.typeA: 0>||<Carrier.typeV: 3>||
  ==============================================================
Y3||<Carrier.typeA: 0>||                  ||<Carrier.typeB: 1>||
  ======================                   =====================
  ==nextType:<Carrier.typeA: 0>
action is Action.getX3Y3
현재 state는: 4640
          X1                    X2               X3
  ==============================================================
Y1||<Carrier.typeV: 3>||<Carrier.typeA: 0>||<Carrier.typeB: 1>||
  ==============================================================
Y2||<Carrier.typeA: 0>||<Carrier.typeA: 0>||<Carrier.typeV: 3>||
  ==============================================================
Y3||<Carrier.typeB: 1>||                  ||<Carrier.typeV: 3>||
  ======================                   =====================
  ==nextType:<Carrier.typeA: 0>
action is Action.getX2
episode: 95   score: 170
현재 state는: 2352
          X1                    X2               X3
  ==============================================================
Y1||<Carrier.typeB: 1>||<Carrier.typeA: 0>||<Carrier.typeA: 0>||
  ==============================================================
Y2||<Carrier.typeV: 3>||<Carrier.typeA: 0>||<Carrier.typeA: 0>||
  ==============================================================
Y3||<Carrier.typeB: 1>||                  ||<Carrier.typeA: 0>||
  ======================                   =====================
  ==nextType:<Carrier.typeA: 0>
action is Action.getX3Y3
episode: 96   score: 200
현재 state는: 5028
          X1                    X2               X3
  ==============================================================
Y1||<Carrier.typeV: 3>||<Carrier.typeA: 0>||<Carrier.typeV: 3>||
  ==============================================================
Y2||<Carrier.typeV: 3>||<Carrier.typeA: 0>||<Carrier.typeA: 0>||
  ==============================================================
Y3||<Carrier.typeV: 3>||                  ||<Carrier.typeA: 0>||
  ======================                   =====================
  ==nextType:<Carrier.typeA: 0>
action is Action.getX3Y3
episode: 97   score: 200
현재 state는: 4435
          X1                    X2               X3
  ==============================================================
Y1||<Carrier.typeV: 3>||<Carrier.typeA: 0>||<Carrier.typeA: 0>||
  ==============================================================
Y2||<Carrier.typeA: 0>||<Carrier.typeV: 3>||<Carrier.typeA: 0>||
  ==============================================================
Y3||<Carrier.typeV: 3>||                  ||<Carrier.typeB: 1>||
  ======================                   =====================
  ==nextType:<Carrier.typeA: 0>
action is Action.getX3Y3
현재 state는: 4433
          X1                    X2               X3
  ==============================================================
Y1||<Carrier.typeV: 3>||<Carrier.typeA: 0>||<Carrier.typeA: 0>||
  ==============================================================
Y2||<Carrier.typeA: 0>||<Carrier.typeV: 3>||<Carrier.typeA: 0>||
  ==============================================================
Y3||<Carrier.typeB: 1>||                  ||<Carrier.typeV: 3>||
  ======================                   =====================
  ==nextType:<Carrier.typeA: 0>
action is Action.getX3
episode: 98   score: 170
현재 state는: 4676
          X1                    X2               X3
  ==============================================================
Y1||<Carrier.typeV: 3>||<Carrier.typeA: 0>||<Carrier.typeB: 1>||
  ==============================================================
Y2||<Carrier.typeA: 0>||<Carrier.typeV: 3>||<Carrier.typeA: 0>||
  ==============================================================
Y3||<Carrier.typeB: 1>||                  ||<Carrier.typeV: 3>||
  ======================                   =====================
  ==nextType:<Carrier.typeA: 0>
action is Action.getX1
episode: 99   score: 200

코멘트

댓글 남기기

이 사이트는 Akismet을 사용하여 스팸을 줄입니다. 댓글 데이터가 어떻게 처리되는지 알아보세요.