Возможно ли лишение родительских прав отца в данном случае?

Буду благодарна за помощь. Ситуация такая.

У меня есть сын 5 лет. Имеется у него отец, отцовство установлено. В браке мы не состояли. За все годы от него, учитывая что мы жили вместе, практически никакой денежной помощи. Я все тянула сама. Он загнал меня в долги (кредитные в том числе), сам ранее отбывал наказание по ст. 131.2. На данный момент условное по наркотикам. Ребенка из детского сада забирал 2 раза, после моих слез что я в пробке и не успеваю, а воспитатели постоянно ругаются. Стоит на учёте в наркологический клинике, даже проходил лечение 2 раза. ( Наркоман со стажем более 5 лет). Не работает нигде. То челюсть, то ключицу себе сломает когда подерется напившись. Говорит что все из за меня. В итоге мы с ребенком уехали в другой город, далеко. Я встретила другого мужчину, живем все вместе. Собираемся узаконить отношения. С ребенком у них отношения очень хорошие. Отец ребенка когда звонит - возмущается, что увезла сына. Что ему нужно несколько лет, и все будет хорошо ( почти 10 лет это слышу от него). То что ребенку нужно кушать и одеваться, платить за детский сад - его не беспокоит. Живёт у мамы в общежитии с братьями и сестрами. Хочу лишить его родительских прав. Смогу ли я это сделать, есть ли смысл?