Summer Pockets berlatar di sebuah pulau terpencil, pedesaan, dan damai di Laut Pedalaman Seto yang disebut Torishirojima, dengan populasi sekitar 2.000 orang. Karakter utama, Hairi Takahara, tumbuh besar di lingkungan perkotaan, tetapi setelah sebuah kejadian yang tidak menyenangkan, ia memakai kematian neneknya baru-baru ini sebagai alasan untuk datang ke pulau itu guna mengurus penjualan tanah miliknya.

Sesampainya di sana, ia berkenalan dengan empat gadis yang menjadi fokus cerita: Shiroha Naruse, yang lupa akan liburan musim panasnya; Ao Sorakado, yang mengejar legenda pulau; Kamome Kushima, seorang gadis kelas atas yang mencari kapal bajak laut; dan Tsumugi Wenders, seorang gadis yang lebih muda yang berusaha menemukan jati dirinya.