Du har helt rätt, både teoretiskt och praktiskt, att vissa vektorfiler blir större än motsvarande i pixelformat.
Det du kan göra är att prova göra en egen komprimeringsinställning i Acrobat där du kryssar i varenda kryssruta med alternativ som minskar filstorleken, komprimerar hela filen, väljer ett högt PDF-format etc.
Det kan ändå vara så att pixelgrafiken blir mindre, men det är värt att prova hur långt Acrobats komprimering räcker, för Acrobat är faktiskt överjävligt på att skapa små filer.