Мужчина не рассказывает о наших отношениях

Добрый день.С мужчиной в отношениях более 4 лет. Живём на некотором расстоянии друг от друга.Когда мы начинали встречаться он был женат ,в данный момент разведен,живёт один.В основном он приезжает ко мне,бывает и я приезжаю к нему. Но меня
напрягает то, что он не хочет особо афишировать наши отношения несмотря на то что сейчас свободен.Нет, не то что он прячется, просто своим знакомым и коллегам он обо мне не рассказывает, аргументируя тем, что ему достаточно того, что обо мне знают самые близкие.Он имеет в виду свою мать, которая с самого начала знала обо мне и я с ней в очень хороших отношениях, мы с ней вместе ездим к нему периодически, а живёт она в моем городе и когда он приезжает, то останавливается у нее, и я, соответственно тоже там.Но что касается остальных, то он любит выражаться, что счастье любит тишину и что сейчас якобы такие люди, что только обсудят с ног до головы.Один пример- когда я к нему приезжаю в сельскую местность, то он не особо хочет, чтобы его сосед меня видел и что то у него потом выспрашивал. То есть, он не настроен никому распространяться о наших отношениях, аргументируя тем, что это не их дело.Могу ли я это расценивать, что он несерьёзно воспринимает меня и наши отношения?