015のone point English です！
時間がかかる は It takes ～ と言いますが、これは、何かが自分から時間を奪うという意味の表現なので、主語は it です。
人を主語にして I take my time ～ というと「時間をかけて～をする」という意味になります。時間を取られるか、取るか、ということですね。「ゆっくり～する」という日本語にあたります。ゆっくりお風呂に入るとか、ご飯を食べるとか、本を読むとか。このゆっくりは、slowly とはちょっと違います。
その後は、不定詞でも動名詞でもいいようですよ。
I take my time to have (having) breakfast on weekends.
