"Много лет" - это не оправдание.
Правильно вам указали, что это хамство с вашей стороны и с таким человеком неприятно общаться. Тыкайте в своей семье, среди друзей и близких родственников. А с чужими людьми держитесь в рамках этикета общения.
- - - - - Добавлено - - - - -
При обращении к одному человеку может использоваться как «Вы», так и «вы», и выбор большой буквы является обязательным только в следующих случаях:
- в письмах ДЕЛОВОГО, ОФИЦИАЛЬНОГО характера, а также в документации: «Уважаемый Иван Иванович, сообщаем Вам, что...»;
- в анкетах, рекламных листовках (при вежливом обращении к одному неконкретному лицу): «Где Вы проживали раньше? Состав Вашей семьи»;
- при записи титулов: «Ваше Величество», «Ваше Высочество».