成年後見人等に不正な行為、著しく不行跡その他後見の任務に適さない事由があるときには、家庭裁判所が解任することがあります。また、これとは別に、不正な行為によって本人に損害を与えた場合には、その損害を賠償しなければなりません。更に悪質な場合には、業務上横領罪等の刑事責任を問われることがあります。