Кот боится момента, когда к нему подходишь

Здравствуйте, в декабре взяли котенка примерно полутора месяцев, до этого он жил на заводе, куда его подкинули. И мы сразу заметили, что котенок ведет себя испуганно(выгибает спину, иногда шипит, смотрит из подлобья), когда заходишь в комнату или проходишь мимо него. Но стоит сесть на колени и начать мягким тоном ему что-то говорить он сразу успокаивается. Иногда мы просто подходим и начинаем гладить, что тоже помогает. Мы подумали, что он еще не привык к новому дому и тому, что это не завод с кучей опасностей. Но сейчас ему 5 месяцев, а ничего не поменялось. И такая реакция у него на всех, новые люди, знакомые ему люди, хозяева. На всех. Мы пытались предупреждать его, что мы где-то рядом, начиная говорить за некоторое время до вхождения в комнату. Но бесполезно. Я понимаю, что он испытывает стресс, раз так реагирует, но и ходить по дому на коленях тоже невозможно. Что делать? Котика все любят, кормят, обожают, даже голос ни разу никто не повысил на него, детей, которые могли бы его таскать и тискать тоже нет