Lyckades till slut lösa det.
Det visade sig att amavis inte var riktigt korrekt konfigurerad i master.cf, plus att min inställning för extra port för SMTP krockade med något. Så jag stängde av skräppost och viruskollen i SA, raderade motsvarande konfiguration i master.cf och startade sen Postfix. Efter det fungerade SMTP både in och ut från servern.
Så jag slog igång skräppostfiltret, och den fortsatte fungera. Men viruskollen gjorde att den dog igen. Så nu får viruskollen fortsätta vara avstängd tills vidare.
Jag såg även att 10.6 kommer förinstallerad med greylistning, vilket gjorde att jag slog av min egen installation av det. Kan vara så att det också hade viss inverkan.
När allt väl rullade så gjorde jag återigen en inställning i master.cf för att kunna ansluta och skicka brev via servern oavsett om den uppkoppling jag råkar ha har spärrat port 25. Vad jag kan se så är enda skillnaden mot den tidigare inställningen var jag lade den i konfigurationsfilen. Nu ligger den sist av direktiven, och tidigare låg den först. Har svårt att tro att det skulle ha någon egentlig inverkan, men det fungerar nu och jag är glad.