甲市农业银行违规高息揽储，甲市银监分局对其作出了责令停业整顿的行政处罚。该农业银行由A省银监局批准设立，则该处罚决定应由哪个部门实施（）.

A . 甲市人民政府

B . 甲市银监分局

C . A省银监局

D . 人民银行