[__sa__nya]

Решил вопрос следующим образом.
1. Меняю политику по умолчанию в цепочке INPUT с ACCEPT на DROP: iptables --policy INPUT DROP
2. Делаю правило разрешения соединений с состояниями established, related: iptables -A INPUT -m state --state ESTABLISHED,RELATED -j ACCEPT
3. Для каждого неработающего исходящего подключения, делаю разрешающее правило входящего подключения. Например, для успешного получения компом ДНС-запросов делаю:

Iptables -A INPUT -p tcp --dport 53 -j ACCEPT
Iptables -A INPUT -p udp --dport 53 -j ACCEPT
И т.д. по другим соединениям. Исходящие http и https например работают сразу.
4. Сохраняю правила.
Apt install iptables-persistent
Service netfilter-persistent save

После этой настройки все на сервере работает как мне надо.