时间不是线性流逝的，你认为线性流逝还是处于牛顿经典力学的绝对时间，认为宇宙中存在在一个均匀流逝的时间度量。
但实际上从相对论之后，时间就不是绝对的，随着参考系的变化，时间和空间都会发生膨胀和收缩。
不仅如此相对论展示的时空观，同时是相对的，如果空间尺度足够大，变化速度后相对应的时空切片的“现在平面”也会变化，也就是说你随便换个方向运动，相对于你的100亿光年的某个星球的现在，可以从未来100年变换到过去100年。
在爱因斯坦的时空理论中，时间不再是绝对的 而是和空间融为一体形成一个四维的时空，时间和空间方向的和速度为光速。
关于时间线性流逝，物理学一般认为的解释有几种，除了心理学的含义，其余还有1️⃣熵增的方向，根据热力学第二定律规定了时间的方向，2️⃣量子力学的波函数坍塌，有明确的方向性3️⃣宇宙大爆炸空间尺度的膨胀，规定了方向性。以此设定为基础，刘慈欣小说《宇宙坍缩》就是讲的宇宙开始坍缩后时间考试逆流。
然后基于物理学角度，一般不认为存在时间机器的存在，霍金的时序保护原理就否定了一堆不合物理的时间旅行。
当然基普索恩提出一种利用虫洞来单向回到过去的物理猜想，这个猜想也应用到《星际穿越》的剧情构造中，当然前提是能够制造人为的稳定虫洞

然后对于星际穿越这类时间闭环作品，你不应该以时间线的思维方式 而是要以世界线的思维方式去考虑问题。既然都默认了时间穿越了 那么就不要按照存在确定的绝对时间来考量事件，而是根据事件本身的固有时，也就是物体自身经历的时间去考虑问题

至于回到过去影响过去的自己。
物理学方面是两种解释，一种是诺维科夫自洽性原理， 一种是艾弗雷德的多世界诠释。
当然具体那种解释是对的 或者都不对 时间旅行就不可能成立，这物理学是没法定论的，只能是思想实验阶段