论文笔记
论文笔记 此篇博文用于记录阅读一些论文之后所得。 Computation Offloading in Multi-access Edge Computing using Deep Sequential Model based on Reinforcement Learning 一、论文解决了什么问题? 由于MEC卸载问题是NP-hard的,现有的卸载策略研究大多都基于启发式算法,但随着MEC应用和无线网络体系结构的日益复杂,任何启发式的卸载策略都很难完全适应MEC中的各种场景。为了解决任务依赖性和适应动态场景的挑战,文中提出了一种新的基于DRL的卸载框架。提出的解决方案可以自动发现各种应用程序背后的通用模式,从而在不同的场景中推断出最优的卸载策略。提出的方案的目标是最小化服务的总体延时。 二、怎么解决的? 在文中用了深度强化学习来解决问题,将状态空间表示为已编码的DAG和卸载计划的组合,S=(G,A1:i),G表示DAG,A1:i表示前i个任务的卸载计划的向量。将动作空间定义为A={1,0},1表示卸载,0表示在本地执行。将奖励定义为做出决定后的延迟估计负增量。 三、有什么亮点? 虽然目前已经有基于DRL的卸载方法,但是它们都假定任务是独立的,在文中考虑了一般任务的依赖关系,并将其建模为有向无环图。这是首次在考虑一般任务的情况下解决MEC中的卸载问题。受以往旅行商问题的启发