Bối cảnh Summer Pocket được đặt vào mùa hè trên hòn đảo Torishirojima. Nhân vật chính của chúng ta, Takahara Hairi sống ở thành thị, nhưng vì một sự việc xảy ra nên anh mượn cớ cái chết gần đây của bà ngoại để đến hòn đảo này với lí do phụ giúp người dì dọn dẹp đồ cổ của người bà quá cố. Ở đây, anh gặp 4 nữ chính, mỗi người có một câu chuyện riêng: Naruse Shiroha: Người đã quên kì nghỉ hè của mình. Sorakado Ao: Người đang theo đuổi truyền thuyết của hòn đảo. Kushima Kamome: Người đang đi tìm chiếc tàu hài tặc. Tsumugi Wenders: Người đang đi tìm chính mình.