根据平台规定，直播间发的礼物红包退回到背包一般需要等待一定的时间。具体退回时间根据不同平台而异，通常为24小时。如果礼物红包未能在规定时间内退回到背包中，用户可以向平台客服提交申诉。同时，用户也需要注意确保账号安全，避免因为账号被盗或操作不当而导致红包丢失。