סימן קלז סעיף ג

נָכוֹן שֶׁיַחֲלֹץ אֶת הַתְּפִלִּין קֹדֶם נְטִילַת לוּלָב. וּלְכָל הַפָּחוֹת יָסִיר אֶת הָרְצוּעָה מֵעַל יָדוֹ, שֶׁלֹא תְהֵא חֲצִיצָה. גַּם נָכוֹן לְהָסִיר הַטַּבָּעוֹת שֶׁבְּאֶצְבְּעוֹתָיו.

It is proper to take off the tefillin before taking the lulav in hand, or at least remove the strap from your hand, so that nothing intervenes between [your hand and the esrog.] It is also proper to remove the rings from your fingers.

תנא דבי אליהו כל השונה הלכות בכל יום מובטח לו שהוא בן העולם הבא שנאמר הליכות עולם לו אל תקרי הליכות אלא הלכות (נדה ע"ג.)