人工知能学会全国大会にて発表した論文

ReNom | 研究活動

GRIDは電気通信大学と「量子アルゴリズム」、「最適化研究」、「深層強化学習」などの分野で共同研究を行い、毎年人工知能学会全国大会にて論文発表をしています。

 

2019年人工知能学会全国大会にて発表した論文

■量子コンピューティングにおける最適解の全量子探索

内容

量子コンピューターと古典的コンピューターを交互に計算することによって大規模固有値問題を解く量子変分固有値ソルバー(VQE)が考案された。固有値を最適化する方法としては、主にNelder-Mead法が用いられます。しかしながら、大域的最適解を常に探索できるとは限らないという欠点がある。本論文では、二種類の最適化法、粒子群最適化(PSO)と量子挙動粒子群最適化(QPSO)を代替法として用いた。その結果、VQEアルゴリズムにおける固有値最適化法ではPSOとQPSOの性能がNelder-Mead法よりも優れていることがわかった。さらに、QPSOを使用したときの相対誤差は、3つの最適化方法の中で最小であることがわかりました。一方、量子回路のみを用いた固有値探索アルゴリズムの実現を目指し、量子ビット粒子群最適化(QBPSO)をVQEアルゴリズムの固有値最適化手法に取り入れています。

 

■量子シミュレーターを用いた畳み込み型量子自己符号化器の開発 

内容
量子ゲート型量子コンピュータは汎用性が高く、近い将来実用化されることが期待される。しかし、量子ゲート型量子計算機の量子ビットは外部干渉に対して非常に弱く、量子状態を長期間維持することは困難である。したがって、現在開発されている量子コンピュータでは、量子ビット数が限られており、大規模かつ高次元のデータを計算することは困難である。本論文では、この問題の解決策として、機械学習で用いられる手法の一つである畳み込みフィルタを量子計算に適用する計算手法を提案する。さらに、この手法を量子オートエンコーダに適用した結果、98%の自動符号化精度で数百キュビット以上のデータに数キュビット構成のたたみ込みフィルタを適用することにより有効性が得られた。

 

■アテンションとマスキング技術で拡張した強化学習による電力エネルギーシステム最適化研究

内容
ゲームおよびロボット制御において前例のない成功を示した最近のディープニューラルネットワークベースの強化学習(DRL)方法は、組み合わせ最適化問題を解決するために徐々に注目を集めている。しかしながら、スマートグリッドシステムにおける効果的な運用は、電力需要 – 供給関係、電池電力の下限と上限、市場価格などのような様々な制約を受けなければならない。これらの制約のため、DRLアルゴリズムは最適化結果を得るのに効率的ではない。 。本稿では、この問題を解決するために、アテンションマスキング拡張したディープQネットワーク(AME-DQN)強化学習アルゴリズムを開発した。さまざまな気象条件と需要プロファイルを考慮して、訓練されたAME-DQNモデルの予測能力に特に焦点を当てました。これらの結果はさらにMILPの結果と比較され、MILPの出力結果がほとんどの場合条件を満たさなかったがAME-DQNがすべての制約を満たす最適化された行動を予測できることを実証した。

 

■連続行動空間上での決定型方策勾配を用いた深層強化学習によるマルチキャリアエネルギーハブ管理

内容
マルチキャリアエネルギーハブは、エネルギー管理システムの柔軟性を高めました。その一方で、エネルギーハブのエネルギー管理における異なるエネルギーキャリアの相互影響により、より困難になります。エネルギー管理の目的では、数学的最適化ツールが使用されますが、リアルタイムの最適化は最適な管理に挑戦します。一方、エネルギーの需要と供給は非常に変わりやすいため、最適化の目的は異なる場合があります。リアルタイム管理のために、環境の変化と多目的オプションのAIが目的とされています。この作業では、マルチキャリアエネルギーハブ最適化の操作は、ディープ決定論的ポリシーグラジエント(DDPG)アルゴリズムを含むマルチエージェントAIアルゴリズムを実行することによって解決されています。研究マルチエージェントシミュレーション結果は、AIエージェントがエネルギーハブコストを最適化するために需要と供給の間のバランス、貯蔵剤の適切な充放電を管理できることを示した。また、AIを使用した価格決定方法についても説明します。これは、市場の需要と供給管理の目的に適しています。

 

■アルファゼロ型強化学習アルゴリズムを用いた最適制御手法の開発

内容
ディープラーニングと強化ラーニングは近年急速に発展しています。ゲームやロボット制御などの分野にディープラーニングを適用する多くの研究が大きな成功を収めています。本論文では、強化学習アルゴリズムであるAlphaZeroをゲームAIのためのこれまでにないレベルの多用途性を最適制御問題に適用する可能性を検証する。従来の制御メカニズムを使用することによって処理することが困難であると考えられているノイズの多い環境下で動作を制御するその能力についての洞察を得ることを目指している。

 

■密度球を用いたGraphCNN深層学習手法による渋滞予測

内容
本論文では、多数のサンプルと特徴を持つ交通データセットのための密度球に基づく高次元空間におけるデータクラスタリングを研究し、密度球GraphCNNで特徴から距離行列を作成することによって交通渋滞を予測する。密度球は、高次元空間でデータをクラスタリングするための基準となる密度を表し、データの相関と距離の両方を考慮することでデータの関係を調べることができます。渋滞を再現し、密度球の体積を変えて予測精度を比較する交通シミュレーションモデルを組み合わせて渋滞度を予測した結果に基づいて、高精度な渋滞予測を実現するための仕組みを検討する。

 

■汎化ゴールにおける連続動作型ロボットアームの深層強化学習手法の開発

内容
多目的強化学習では、状態だけでなく入力に対しても目標をとるユニバーサルバリュー関数近似(UVFA)が使用されます。我々は7DOFロボットアームのエンドエフェクタをUVFAベースの多目的強化学習を使用して目標に到達させることによってタスクを設計した。一方、我々は目標の数を変更することによって同等のタスクを実行した。 UVFAを用いて目標到達可能度をマッピングすることで優れた予測能力を確認した。

2018年人工知能学会全国大会にて発表した論文

GRIDは電気通信大学と、「離散および連続的動作空間における深層強化学習を用いたスマートエネルギーシステムの最適化」「ハイブリッド方策勾配型深層強化学習手法の開発」「特徴グラフを用いた汎用型CNN深層学習手法の開発」「量子自己符号器の開発」などの共同研究活動を行い、2018年人工知能学会全国大会にて論文として発表しました。

離散および連続的動作空間における深層強化学習を用いたスマートエネルギーシステムの最適化
Tomah Sogabe*, Dinesh Bahadur Malla, Shota Takayama, Shinji Yokogawa, Katsuyoshi Sakamoto, Koichi Yamaguchi, Thakur Praveen Singh, Masaru Sogabe

[summary]:
Energy optimization in smart grid has gradually shifted to agent-based machine learning method represented by the state of art deep learning and deep reinforcement learning. Especially deep neural network based reinforcement learning methods are emerging and gain popularity to for smart grid application. In this work, we have applied the applied two deep reinforcement learning algorithms designed for both discrete and continuous action space. These algorithms were well embedded in a rigorous physical model using Simscape Power SystemsTM (Matlab/SimulinkTM Environment) for smart grid optimization. The results showed that the agent successfully captured the energy demand and supply feature in the training data and learnt to choose behavior leading to maximize its reward.

https://confit.atlas.jp/guide/event-img/jsai2018/3Pin1-30/public/pdf?type=in

ハイブリッド方策勾配型深層強化学習手法の開発
Thakur Praveen Singh1, Masaru Sogabe1, Katsuyoshi Sakamoto2, Koichi Yamaguchi2, Dinesh Bahadur Malla2, Shinji Yokogawa2, Tomah Sogabe*1,2
1 GRID Inc. 2 i-PERC, The University of Electro-communications

[summary]:
We propose an alternative way of updating the actor in Deep Deterministic Policy Gradient (DDPG) algorithm. In our proposed Hybrid-DDPG (shortly H-DDPG), policy parameters are moved based on TD-error of critic. Once among 5 trial runs on PendulumSwingup-v1-environment, reward obtained at the early stage of training in H-DDPG is higher than DDPG. This results in 1) higher reward than DDPG 2) pushes the policy parameters to move in a direction such that the actions with higher reward likely to occur more than the other. This implies if the policy explores at early stages good rewards, the policy may converge quickly otherwise vice versa.

https://confit.atlas.jp/guide/event-img/jsai2018/3Pin1-30/public/pdf?type=in

特徴グラフを用いた汎用型CNN深層学習手法の開発
高橋彗, 沼尻 匠, 曽我部 完, 坂本克好, 山口浩一, 横川慎二, 曽我部東馬*

[summary]:
we propose a method of applying Convolutional Neural Networks (CNN) to non – image data. CNN has been successful in many fields such as image processing and speech recognition. On the other hand, it was difficult to adapt CNN to non-image data such as a csv file. The sequence of the data of the low dimensional grid structure such as the image has a meaning, and the CNN recognizes the order as the feature of the image and processes it. Therefore, CNN could not perform feature recognition on non-image data whose structure can be changed. We focused on a method to make CNN applicable by giving meaning to the sequence of non – image data, and demonstrated by adding improvements.

https://confit.atlas.jp/guide/event-img/jsai2018/4Pin1-01/public/pdf?type=in

量子自己符号器の開発
黄川田優太, 坂本克好, 山口浩一, Thakur Praveen Singh, 曽我部完, 横川慎二,曽我部東馬*

[summary]:
Classical Autoencoder is used for feature extraction of the image data and take characteristics, called prior learning. Here we propose quantum Autoencoder using quantum annealing. Quantum annealing is optimization technique by adding a wide magnetic field to spin system expressed in Ising model. In order to solve the optimization problem using quantum annealing, it is necessary to convert the problem into a combination problem of two values(±1) as direction of the spin(up spin:+1, down spin:-1 ). In this paper, we explain feature extraction learning method from the image using quantum Autoencoder. We showed the successful featuring extraction in terms of the coupling coefficient J_ij from the original image data . Finally, we applied the extracted and learnt J_ij to the original data added with unknown noise and successfully removed the noise by the transfer learning process.

https://confit.atlas.jp/guide/event-img/jsai2018/4Pin1-13/public/pdf?type=in

 

 

Page top