Вводите VIP-номера
Они принадлежат людям, которые, с вашей точки зрения, имеют право постоянного доступа.
Родственники? Значимые клиенты? Ваш руководитель? Особо доверенное лицо?
Кого туда включать, решать вам. Есть модели телефонов (и стационарные, и мобильные), позволяющие определить это, и есть специалисты, которые помогут вам их выбрать и настроить, в том числе используя автоответчик.
Или внесите все VIP-номера в отдельный телефон. С людьми, не попавшими в список, вы поговорите тогда, когда посчитаете это удобным для себя.