为留住人才或者避免人力资本投资损失，用人单位往往会与劳动者约定服务期，即约定劳动者在一定期限内不得离职，否则，就要向用人单位支付违约金。那么，身背“服务期”的劳动者，在主动离职或被辞退时是否都要支付违约金呢？是否得按协议约定的违约金数额如数支付呢？