Die Küstenformen der Ostsee sind ein Resultat eiszeitlicher Gletscherbewegungen und nach-eiszeitlicher Geländehebung im nördlichen und -absenkung im südlichen Bereich der Ostsee, die bis heute andauern. Beeinflusst werden die Küsten außerdem durch die Lage in der Westwindzone, wodurch von Westen her beständig Sedimente angeschwemmt werden. Unterschieden werden folgende Erscheinungsformen:
Fjordküste
Auch an der Ostsee finden sich Fjorde: Sie kommen vor allem an den Küsten des Kattegats, das heißt in Dänemark und im südwestlichen Schweden vor. Im Unterschied zu den norwegischen Fjorden sind sie weniger tief eingegraben, weil die Eisdecke hier nicht so mächtig war.
Schärenküste
Die schwedisch-finnische Küste in der Zentralen, Nördlichen und Östlichen Ostsee ist fast ausschließlich eine Schärenküste; ab und zu findet man noch vereinzelte Fjorde („Fjord-Schären-Küste“). Schären sind der Küste vorgelagerte, kleine und kleinste felsige Inseln, die durch den Abschleifeffekt der Gletscher eine charakteristische Kuppenform aufweisen. Weil die Ostsee nur geringe Gezeiten aufweist, sind sie über die letzten Jahrtausende praktisch unverändert geblieben. Das flach abfallende Gelände wurde beim Abschmelzen des Eispanzers überflutet und die Kuppen ragten fortan als Inseln heraus; durch die Geländehebung sind mit der Zeit weitere, vorgelagerte Schären entstanden.
Kliffküste
In einigen Fällen, zum Beispiel auf Gotland oder Bornholm, haben sich Kliffküsten gebildet. Diese ragen als Steilküsten schroff hervor und markieren Geländebrüche im geologischen Untergrund. Kliffkanten finden sich auch unterhalb des Meeresspiegels. Auch die Nordküste Estlands zum Finnischen Meerbusen hin ist durch solch eine Bruchlinie geprägt. Von West nach Ost rückt dieses Kliff immer näher an die aktuelle Küstenlinie heran und erreicht bei Sillamäe immerhin knapp 60 m Höhe. Eine bekannte Steilküste befindet sich auf der Insel Rügen. Die weißen Kreidefelsen des Königsstuhls auf Rügen bezeichnet man auch als totes Kliff, da sie nicht ständig von der Brandung erreicht werden.
Fördenküste
In Schleswig-Holstein, etwa von Flensburg bis Lübeck, ist der Küstenabschnitt durch Förden gekennzeichnet. Förden sind die Flensburger Förde, die Schlei, die Eckernförder Bucht und die Kieler Förde. Diese sind bei der Entstehung der Ostsee durch den Anstieg des Meeresspiegels vollgelaufene ehemalige Gletschertäler. Der Unterschied zu Fjorden besteht darin, dass die Gletscher sich nicht vom Land zur See bewegten, sondern umgekehrt der Eispanzer über der heutigen ‘‘Ostsee’’ Gletscher vorantrieb, die nach dem Abschmelzen eine Rinne übrig ließen, die sich mit Seewasser füllte. Die Schleswig-Holsteinischen Förden werden von den Landschaften Angeln, Schwansen und Dänischer Wohld getrennt. Zwischen der Kieler Förde und der ihr vorgelagerten Kieler Bucht einerseits und der Lübecker Bucht als Teil der Mecklenburger Bucht andererseits liegt die Probstei und die Halbinsel Wagrien mit der Insel Fehmarn. Der Hemmelsdorfer See bei Timmendorfer Strand ist ebenfalls eine alte Förde. Er ist wesentlich tiefer als die durch eine eiszeitliche Landbarriere abgeschnittene, davorliegende Lübecker Bucht.
Boddenküste
Die vorpommersche Küste ist durch Boddenlandschaften geprägt. Bodden sind dadurch entstanden, dass vormalige Inseln durch stetige Zuführung von Material, hauptsächlich Sand, durch schmale Brücken miteinander verbunden worden sind. Die rückwärtigen Gewässer, die Bodden, sind dadurch größtenteils von der Ostsee abgetrennt worden und mit ihr nur noch durch Rinnen verbunden.
Ausgleichsküste
Die Ausgleichsküste bestimmt die Küstenlinie Polens von Stettin bis kurz vor Danzig und die lettische Küste. Hier sind die typischen reich gegliederten glazialen Küstenformen durch die Anströmung und den Sedimenttransport von Westen her ausgeglichen worden, so dass der Verlauf fast gerade ist. Dies ist möglich geworden, weil die von der Nordsee hereinströmenden Wassermassen auf eine Küstenlinie treffen, die von Südwest nach Nordost verläuft und dadurch Transportmaterial anlagert.
Haffküste
Die Haff– oder Nehrungsküste ist im Küstenabschnitt zwischen Danzig und Klaipėda entstanden. Außerdem wird das Stettiner Haff ebenfalls hinzu gezählt. Haffs entstehen vor Flussmündungen als Brackwasserreservoire, die durch schmale Landzungen, die Nehrungen, von der übrigen Ostsee größtenteils abgetrennt wurden. Durch die ständige Zufuhr von Flusswasser schließen sich die Nehrungen nicht, sondern bleiben als langgestreckte Halbinseln bestehen, die eine Rinne zum Meer offen lassen.
Die bekanntesten Haffe sind das Kurische und das Frische Haff. Eine (unvollständige) Nehrung bildet auch der Haken von Hela bei Zoppot.
Zuflüsse
Die größten Flüsse, die in die Ostsee münden, sind: Oder (Deutschland, Polen), Weichsel (Polen), Memel (Litauen), Düna (Lettland), Torneälven (Schweden) und Newa (Russland).