衡水市在1996年建市之前，历史悠久，名字也有不同变迁。早在春秋战国时期就有人居住在这片土地上，当时称为“衡山”；汉代时期，这里成为了祠阳县治所，因为北面有新河从中流过，所以也称为“新河县”；唐代时期，因为衡山为千年古刹名山，这里就更名为“衡水县”。到清代，衡水成为了重要的商业中心，名声渐渐传扬。直到1996年3月，经国务院批准，衡水正式建市，成为河北省辖区的一个地级市。