Self-organizing maps for storage and transfer of knowledge in reinforcement learning

Abstract:
The idea of reusing or transferring information from previously learned tasks (source tasks) for the learning of new tasks (target tasks) has the potential to significantly improve the sample efficiency of a reinforcement learning agent. In this work, we describe a novel approach for reusing previously acquired knowledge by using it to guide the exploration of an agent while it learns new tasks. In order to do so, we employ a variant of the growing self-organizing map algorithm, which is trained using a measure of similarity that is defined directly in the space of the vectorized representations of the value functions. In addition to enabling transfer across tasks, the resulting map is simultaneously used to enable the efficient storage of previously acquired task knowledge in an adaptive and scalable manner. We empirically validate our approach in a simulated navigation environment and also demonstrate its utility through simple experiments using a mobile micro-robotics platform. In addition, we demonstrate the scalability of this approach and analytically examine its relation to the proposed network growth mechanism. Furthermore, we briefly discuss some of the possible improvements and extensions to this approach, as well as its relevance to real-world scenarios in the context of continual learning.
Author Listing: Thommen George Karimpanal;Roland Bouffanais
Volume: 27
Pages: 111 - 126
DOI: 10.1177/1059712318818568
Language: English
Journal: Adaptive Behavior

ADAPTIVE BEHAVIOR

ADAPT BEHAV

影响因子:1.2 是否综述期刊:否 是否OA:否 是否预警:不在预警名单内 发行时间:1992 ISSN:1059-7123 发刊频率:Bimonthly 收录数据库:SCIE/Scopus收录 出版国家/地区:ENGLAND 出版社:SAGE Publications Ltd

期刊介绍

_Adaptive Behavior_ publishes articles on adaptive behaviour in living organisms and autonomous artificial systems. The official journal of the _International Society of Adaptive Behavior_, _Adaptive Behavior_, addresses topics such as perception and motor control, embodied cognition, learning and evolution, neural mechanisms, artificial intelligence, behavioral sequences, motivation and emotion, characterization of environments, decision making, collective and social behavior, navigation, foraging, communication and signalling.Print ISSN: 1059-7123

_Adaptive Behavior_发表关于生物体和自主人工系统中的适应行为的文章。国际适应性行为学会的官方期刊《适应性行为》涉及的主题包括感知和运动控制、具身认知、学习和进化、神经机制、人工智能、行为序列、动机和情感、环境特征、决策制定、集体和社会行为、导航、觅食、交流和信号。打印ISSN:1059-7123

年发文量 34
国人发稿量 1
国人发文占比 2.94%
自引率 25.0%
平均录取率 容易
平均审稿周期 >12周,或约稿
版面费 US$3750
偏重研究方向 工程技术-计算机:人工智能
期刊官网 https://journals.sagepub.com/home/adb
投稿链接 -

质量指标占比

研究类文章占比 OA被引用占比 撤稿占比 出版后修正文章占比
94.12% 25.22% 0.00% 1.82%

相关指数

{{ relationActiveLabel }}
{{ item.label }}

期刊预警不是论文评价,更不是否定预警期刊发表的每项成果。《国际期刊预警名单(试行)》旨在提醒科研人员审慎选择成果发表平台、提示出版机构强化期刊质量管理。

预警期刊的识别采用定性与定量相结合的方法。通过专家咨询确立分析维度及评价指标,而后基于指标客观数据产生具体名单。

具体而言,就是通过综合评判期刊载文量、作者国际化程度、拒稿率、论文处理费(APC)、期刊超越指数、自引率、撤稿信息等,找出那些具备风险特征、具有潜在质量问题的学术期刊。最后,依据各刊数据差异,将预警级别分为高、中、低三档,风险指数依次减弱。

《国际期刊预警名单(试行)》确定原则是客观、审慎、开放。期刊分区表团队期待与科研界、学术出版机构一起,夯实科学精神,打造气正风清的学术诚信环境!真诚欢迎各界就预警名单的分析维度、使用方案、值得关切的期刊等提出建议!

预警情况 查看说明

时间 预警情况
2024年02月发布的2024版 不在预警名单中
2023年01月发布的2023版 不在预警名单中
2021年12月发布的2021版 不在预警名单中
2020年12月发布的2020版 不在预警名单中

JCR分区 WOS分区等级:Q3区

版本 按学科 分区
WOS期刊SCI分区
WOS期刊SCI分区是指SCI官方(Web of Science)为每个学科内的期刊按照IF数值排 序,将期刊按照四等分的方法划分的Q1-Q4等级,Q1代表质量最高,即常说的1区期刊。
(2021-2022年最新版)
PSYCHOLOGY, EXPERIMENTAL Q4
SOCIAL SCIENCES, INTERDISCIPLINARY Q3
COMPUTER SCIENCE, ARTIFICIAL INTELLIGENCE Q3

关于2019年中科院分区升级版(试行)

分区表升级版(试行)旨在解决期刊学科体系划分与学科发展以及融合趋势的不相容问题。由于学科交叉在当代科研活动的趋势愈发显著,学科体系构建容易引发争议。为了打破学科体系给期刊评价带来的桎梏,“升级版方案”首先构建了论文层级的主题体系,然后分别计算每篇论文在所属主题的影响力,最后汇总各期刊每篇论文分值,得到“期刊超越指数”,作为分区依据。

分区表升级版(试行)的优势:一是论文层级的主题体系既能体现学科交叉特点,又可以精准揭示期刊载文的多学科性;二是采用“期刊超越指数”替代影响因子指标,解决了影响因子数学性质缺陷对评价结果的干扰。整体而言,分区表升级版(试行)突破了期刊评价中学科体系构建、评价指标选择等瓶颈问题,能够更为全面地揭示学术期刊的影响力,为科研评价“去四唯”提供解决思路。相关研究成果经过国际同行的认可,已经发表在科学计量学领域国际重要期刊。

《2019年中国科学院文献情报中心期刊分区表升级版(试行)》首次将社会科学引文数据库(SSCI)期刊纳入到分区评估中。升级版分区表(试行)设置了包括自然科学和社会科学在内的18个大类学科。基础版和升级版(试行)将过渡共存三年时间,推测在此期间各大高校和科研院所仍可能会以基础版为考核参考标准。 提示:中科院分区官方微信公众号“fenqubiao”仅提供基础版数据查询,暂无升级版数据,请注意区分。

中科院分区 查看说明

版本 大类学科 小类学科 Top期刊 综述期刊
计算机科学
4区
PSYCHOLOGY, EXPERIMENTAL
心理学:实验
4区
SOCIAL SCIENCES, INTERDISCIPLINARY
社会科学:跨领域
4区
COMPUTER SCIENCE, ARTIFICIAL INTELLIGENCE
计算机:人工智能
4区
2021年12月
基础版
工程技术
4区
COMPUTER SCIENCE, ARTIFICIAL INTELLIGENCE
计算机:人工智能
4区
2021年12月
升级版
计算机科学
4区
PSYCHOLOGY, EXPERIMENTAL
心理学:实验
4区
SOCIAL SCIENCES, INTERDISCIPLINARY
社会科学:跨领域
4区
COMPUTER SCIENCE, ARTIFICIAL INTELLIGENCE
计算机:人工智能
4区
2020年12月
旧的升级版
计算机科学
4区
PSYCHOLOGY, EXPERIMENTAL
心理学:实验
4区
SOCIAL SCIENCES, INTERDISCIPLINARY
社会科学:跨领域
4区
COMPUTER SCIENCE, ARTIFICIAL INTELLIGENCE
计算机:人工智能
4区
2022年12月
最新升级版
计算机科学
4区
PSYCHOLOGY, EXPERIMENTAL
心理学:实验
4区
SOCIAL SCIENCES, INTERDISCIPLINARY
社会科学:跨领域
4区
COMPUTER SCIENCE, ARTIFICIAL INTELLIGENCE
计算机:人工智能
4区