浮式起重机一般由下部浮船和装在浮船甲板上的上部建筑两大部分组成。其中浮船用来支持起重机的自重和起吊的重量，再通过自身的船壳把它们传递给水面，使得浮式起重机能够独立地浮在水面上工作。
此外，浮船还可以使起重机沿着水道从一个工作地点航行到另外一个工作地点，或者在同一个工作地点内做起升移动，以满足起重机对准装卸点或完成货物水平移动的要求等。
上部建筑是浮式起重机的起重装置部分，用来装卸或吊装货物。