diff --git a/test/expect/TestJit.test_fusion_distribute_cuda.expect b/test/expect/TestJit.test_fusion_distribute_cuda.expect
index 4cd475eab9da0..0a2a2b1bfdd83 100644
--- a/test/expect/TestJit.test_fusion_distribute_cuda.expect
+++ b/test/expect/TestJit.test_fusion_distribute_cuda.expect
@@ -3,7 +3,7 @@ graph(%0 : Float(*, *)
   %2 : Dynamic[] = prim::ListConstruct(%0, %1)
   %3 : Dynamic[] = aten::broadcast_tensors(%2)
   %4 : Dynamic, %5 : Dynamic = prim::ListUnpack(%3)
-  %6 : Float(*, *) = prim::FusionGroup_0[device=0](%4, %5)
+  %6 : Float(*, *) = prim::FusionGroup_0[device=0](%5, %4)
   return (%6);
 }
 with prim::FusionGroup_0 = graph(%0 : Dynamic
@@ -11,9 +11,9 @@ with prim::FusionGroup_0 = graph(%0 : Dynamic
   %2 : Float(*, *), %3 : Float(*, *) = prim::ConstantChunk[chunks=2, dim=1](%1)
   %4 : Float(*, *), %5 : Float(*, *) = prim::ConstantChunk[chunks=2, dim=1](%0)
   %6 : int = prim::Constant[value=1]()
-  %7 : Float(*, *) = aten::add(%5, %3, %6)
+  %7 : Float(*, *) = aten::add(%2, %4, %6)
   %8 : int = prim::Constant[value=1]()
-  %9 : Float(*, *) = aten::add(%4, %2, %8)
-  %10 : Float(*, *) = aten::mul(%9, %7)
+  %9 : Float(*, *) = aten::add(%3, %5, %8)
+  %10 : Float(*, *) = aten::mul(%7, %9)
   return (%10);
 }
diff --git a/test/expect/TestJit.test_lstm_fusion_concat_cuda.expect b/test/expect/TestJit.test_lstm_fusion_concat_cuda.expect
index 78eb85e247244..790bee4954834 100644
--- a/test/expect/TestJit.test_lstm_fusion_concat_cuda.expect
+++ b/test/expect/TestJit.test_lstm_fusion_concat_cuda.expect
@@ -15,7 +15,7 @@ graph(%0 : Float(*, *)
   %14 : Dynamic[] = prim::ListConstruct(%10, %13)
   %15 : Dynamic[] = aten::broadcast_tensors(%14)
   %16 : Dynamic, %17 : Dynamic = prim::ListUnpack(%15)
-  %18 : Float(*, *) = prim::FusionGroup_0[device=0](%2, %16, %17)
+  %18 : Float(*, *) = prim::FusionGroup_0[device=0](%2, %17, %16)
   return (%18);
 }
 with prim::FusionGroup_0 = graph(%0 : Float(*, *)
@@ -24,13 +24,13 @@ with prim::FusionGroup_0 = graph(%0 : Float(*, *)
   %3 : Float(*, *), %4 : Float(*, *), %5 : Float(*, *), %6 : Float(*, *) = prim::ConstantChunk[chunks=4, dim=1](%2)
   %7 : Float(*, *), %8 : Float(*, *), %9 : Float(*, *), %10 : Float(*, *) = prim::ConstantChunk[chunks=4, dim=1](%1)
   %11 : int = prim::Constant[value=1]()
-  %12 : Float(*, *) = aten::add(%7, %3, %11)
+  %12 : Float(*, *) = aten::add(%3, %7, %11)
   %13 : int = prim::Constant[value=1]()
-  %14 : Float(*, *) = aten::add(%8, %4, %13)
+  %14 : Float(*, *) = aten::add(%4, %8, %13)
   %15 : int = prim::Constant[value=1]()
-  %16 : Float(*, *) = aten::add(%9, %5, %15)
+  %16 : Float(*, *) = aten::add(%5, %9, %15)
   %17 : int = prim::Constant[value=1]()
-  %18 : Float(*, *) = aten::add(%10, %6, %17)
+  %18 : Float(*, *) = aten::add(%6, %10, %17)
   %19 : Float(*, *) = aten::sigmoid(%12)
   %20 : Float(*, *) = aten::sigmoid(%14)
   %21 : Float(*, *) = aten::tanh(%16)
diff --git a/test/expect/TestJit.test_lstm_fusion_cuda.expect b/test/expect/TestJit.test_lstm_fusion_cuda.expect
index bc3660650cb16..42a82b940bf8a 100644
--- a/test/expect/TestJit.test_lstm_fusion_cuda.expect
+++ b/test/expect/TestJit.test_lstm_fusion_cuda.expect
@@ -15,7 +15,7 @@ graph(%0 : Float(*, *)
   %14 : Dynamic[] = prim::ListConstruct(%10, %13)
   %15 : Dynamic[] = aten::broadcast_tensors(%14)
   %16 : Dynamic, %17 : Dynamic = prim::ListUnpack(%15)
-  %18 : Float(*, *), %19 : Float(*, *) = prim::FusionGroup_0[device=0](%2, %16, %17)
+  %18 : Float(*, *), %19 : Float(*, *) = prim::FusionGroup_0[device=0](%2, %17, %16)
   return (%18, %19);
 }
 with prim::FusionGroup_0 = graph(%0 : Float(*, *)
@@ -24,13 +24,13 @@ with prim::FusionGroup_0 = graph(%0 : Float(*, *)
   %3 : Float(*, *), %4 : Float(*, *), %5 : Float(*, *), %6 : Float(*, *) = prim::ConstantChunk[chunks=4, dim=1](%2)
   %7 : Float(*, *), %8 : Float(*, *), %9 : Float(*, *), %10 : Float(*, *) = prim::ConstantChunk[chunks=4, dim=1](%1)
   %11 : int = prim::Constant[value=1]()
-  %12 : Float(*, *) = aten::add(%7, %3, %11)
+  %12 : Float(*, *) = aten::add(%3, %7, %11)
   %13 : int = prim::Constant[value=1]()
-  %14 : Float(*, *) = aten::add(%8, %4, %13)
+  %14 : Float(*, *) = aten::add(%4, %8, %13)
   %15 : int = prim::Constant[value=1]()
-  %16 : Float(*, *) = aten::add(%9, %5, %15)
+  %16 : Float(*, *) = aten::add(%5, %9, %15)
   %17 : int = prim::Constant[value=1]()
-  %18 : Float(*, *) = aten::add(%10, %6, %17)
+  %18 : Float(*, *) = aten::add(%6, %10, %17)
   %19 : Float(*, *) = aten::sigmoid(%12)
   %20 : Float(*, *) = aten::sigmoid(%14)
   %21 : Float(*, *) = aten::tanh(%16)
diff --git a/test/expect/TestScript.test_lstm_fusion_cuda-forward.expect b/test/expect/TestScript.test_lstm_fusion_cuda-forward.expect
index 943f30ba2d15d..f01b60cd4e35c 100644
--- a/test/expect/TestScript.test_lstm_fusion_cuda-forward.expect
+++ b/test/expect/TestScript.test_lstm_fusion_cuda-forward.expect
@@ -24,7 +24,7 @@ with prim::DifferentiableGraph_0 = graph(%0 : Float(*, *)
   %13 : Dynamic[] = prim::ListConstruct(%12, %5)
   %14 : Dynamic[] = aten::broadcast_tensors(%13)
   %15 : Dynamic, %16 : Dynamic = prim::ListUnpack(%14)
-  %hy : Float(*, *), %18 : Float(*, *), %cy : Float(*, *), %outgate.1 : Float(*, *), %cellgate.1 : Float(*, *), %forgetgate.1 : Float(*, *), %ingate.1 : Float(*, *) = prim::FusionGroup_1[device=0](%6, %15, %16)
+  %hy : Float(*, *), %18 : Float(*, *), %cy : Float(*, *), %outgate.1 : Float(*, *), %cellgate.1 : Float(*, *), %forgetgate.1 : Float(*, *), %ingate.1 : Float(*, *) = prim::FusionGroup_1[device=0](%6, %16, %15)
   return (%cy, %hy, %7, %9, %ingate.1, %forgetgate.1, %cellgate.1, %outgate.1, %18);
 }
 with prim::FusionGroup_0 = graph(%0 : Float(*)
@@ -42,13 +42,13 @@ with prim::FusionGroup_1 = graph(%0 : Float(*, *)
   %3 : Float(*, *), %4 : Float(*, *), %5 : Float(*, *), %6 : Float(*, *) = prim::ConstantChunk[chunks=4, dim=1](%2)
   %7 : Float(*, *), %8 : Float(*, *), %9 : Float(*, *), %10 : Float(*, *) = prim::ConstantChunk[chunks=4, dim=1](%1)
   %11 : int = prim::Constant[value=1]()
-  %12 : Float(*, *) = aten::add(%7, %3, %11)
+  %12 : Float(*, *) = aten::add(%3, %7, %11)
   %13 : int = prim::Constant[value=1]()
-  %14 : Float(*, *) = aten::add(%8, %4, %13)
+  %14 : Float(*, *) = aten::add(%4, %8, %13)
   %15 : int = prim::Constant[value=1]()
-  %16 : Float(*, *) = aten::add(%9, %5, %15)
+  %16 : Float(*, *) = aten::add(%5, %9, %15)
   %17 : int = prim::Constant[value=1]()
-  %18 : Float(*, *) = aten::add(%10, %6, %17)
+  %18 : Float(*, *) = aten::add(%6, %10, %17)
   %ingate.1 : Float(*, *) = aten::sigmoid(%12)
   %forgetgate.1 : Float(*, *) = aten::sigmoid(%14)
   %cellgate.1 : Float(*, *) = aten::tanh(%16)
diff --git a/test/expect/TestScript.test_milstm_fusion_cuda-forward.expect b/test/expect/TestScript.test_milstm_fusion_cuda-forward.expect
index b9ab84ced12c7..2387baed28fab 100644
--- a/test/expect/TestScript.test_milstm_fusion_cuda-forward.expect
+++ b/test/expect/TestScript.test_milstm_fusion_cuda-forward.expect
@@ -28,7 +28,7 @@ with prim::DifferentiableGraph_0 = graph(%0 : Float(*, *)
   %16 : Dynamic[] = prim::ListConstruct(%14, %7)
   %17 : Dynamic[] = aten::broadcast_tensors(%16)
   %18 : Dynamic, %19 : Dynamic = prim::ListUnpack(%17)
-  %hy : Float(*, *), %21 : Float(*, *), %cy : Float(*, *), %outgate.1 : Float(*, *), %cellgate.1 : Float(*, *), %forgetgate.1 : Float(*, *), %ingate.1 : Float(*, *) = prim::FusionGroup_1[device=0](%8, %18, %19)
+  %hy : Float(*, *), %21 : Float(*, *), %cy : Float(*, *), %outgate.1 : Float(*, *), %cellgate.1 : Float(*, *), %forgetgate.1 : Float(*, *), %ingate.1 : Float(*, *) = prim::FusionGroup_1[device=0](%8, %19, %18)
   return (%cy, %hy, %9, %Wx.1, %11, %Uz.1, %15, %ingate.1, %forgetgate.1, %cellgate.1, %outgate.1, %21);
 }
 with prim::FusionGroup_0 = graph(%0 : Float(*)
@@ -52,13 +52,13 @@ with prim::FusionGroup_1 = graph(%0 : Float(*, *)
   %3 : Float(*, *), %4 : Float(*, *), %5 : Float(*, *), %6 : Float(*, *) = prim::ConstantChunk[chunks=4, dim=1](%2)
   %7 : Float(*, *), %8 : Float(*, *), %9 : Float(*, *), %10 : Float(*, *) = prim::ConstantChunk[chunks=4, dim=1](%1)
   %11 : int = prim::Constant[value=1]()
-  %12 : Float(*, *) = aten::add(%7, %3, %11)
+  %12 : Float(*, *) = aten::add(%3, %7, %11)
   %13 : int = prim::Constant[value=1]()
-  %14 : Float(*, *) = aten::add(%8, %4, %13)
+  %14 : Float(*, *) = aten::add(%4, %8, %13)
   %15 : int = prim::Constant[value=1]()
-  %16 : Float(*, *) = aten::add(%9, %5, %15)
+  %16 : Float(*, *) = aten::add(%5, %9, %15)
   %17 : int = prim::Constant[value=1]()
-  %18 : Float(*, *) = aten::add(%10, %6, %17)
+  %18 : Float(*, *) = aten::add(%6, %10, %17)
   %ingate.1 : Float(*, *) = aten::sigmoid(%12)
   %forgetgate.1 : Float(*, *) = aten::sigmoid(%14)
   %cellgate.1 : Float(*, *) = aten::tanh(%16)