営業時間外のみ自動返信メールを送信できますか？

はい、可能です。
事前に「営業時間の設定」、「休日の設定」を行ってから、「条件付き自動返信の設定」にて設定してください。
設定方法は以下マニュアルをご参考ください。

　　12. 営業時間の設定
　　　　https://support.maildealer.jp/config/detail/　　

　　 5. 自動返信メール ＞　5.3. 特定条件を満たすメールへの自動返信設定
　　　　https://support.maildealer.jp/config/detail/

※注意※
営業時間設定は、営業時間と休日の設定が両方完了した状態で有効になります。
休日未設定の状態では、営業時間を判別できませんので、ご注意ください。