人工知能の安全性とセキュリティに関する研究協議会

Open Research Discussion Group on AI Safety & Security

お知らせ / What's News

2022/01/25 SCIS2022 暗号と情報セキュリティシンポジウムにて発表しました。

　2022/01/25 : Presentation at SCIS2022 Symposium on Cryptography and Information Security.

2021/11/05 ホームページを開設しました。

　2021/11/05 : Website opened on Nov. 10, 2021.

2021/11/05 2021年度人工知能学会合同研究会において「萌芽研究会セッション」に採択されました。

　2021/11/05 : Adopted as a "Budding Study Group Session" at the 2021 joint meeting of The Japanese Society for Artificial Intelligence.

発足の趣旨 / Objective of establishment

　近年、AI技術を利用した多くの製品やサービスが出現し、その長所ばかりが注目される一方、人が介在しないシステム主導の自律型意思決定の短所も浮き彫りになってきました。その短所解消に向けた技術的解決策の検討に加え、AIの安全性・公平性・信頼性という観点での論証技術が、社会的な信頼を得るためにも非常に重要な課題となっています。

　These days, many products and services are utilizing AI technology. While its advantages are always being focused, the disadvantages of autonomous decision-making led by the system without human intervention are recognized more and more. In addition to considering technical solutions to address these disadvantages, how to demonstrate safety, fairness and reliability of AI is becoming very important for social acceptance.

　特に、安全性に影響を与えうる意思決定を担うAI技術利用のシステムもあり、その意思決定が引き起こす機能不全や、意思決定に対するサイバー攻撃の危険性も考慮しなければなりません。

　Especially, for the systems utilizing AI technology and making decisions which impact on safety, possible malfunctions caused by decision-making and risks of cyberattacks against such decision-making must be considered.

　ISO/IEC ガイド51:2014においても、「安全」を「許容できないリスクが無いこと」と定義しており、潜在的な故障の存在を認めた上で、故障による事故の発生やその影響を最小化する取り組みをすることとしています。

　According to the ISO/IEC Guide 51:2014, “safety” is defined as “freedom from risk which is not tolerable”. For safety, it is necessary to recognize potential failures and address these in order to minimize the probability of the accident or impact caused by the accident.

　例えば、自律運転車両などではAI技術の積極的な利用が想定される一方、従来までの伝統的な「フェールセーフ設計」、「開発プロセスや設計原則」、「故障率定量評価」等を軸とした「安全性論証アプローチ」では課題が多く、AI専門家の知見を生かした新たな「安全性論証」が必要となります。また、AI技術が意思決定を行うための入力情報やその経路、及び判断プログラムなどは、特にコネクテッド化が進む車両においてはサイバー攻撃の脅威にさらされており、セキュリティの脅威から安全性を担保するためにも、AI専門家の知見が必要となります。

　For example, AI technology is expected to be used widely for autonomous vehicles, on the other hand, there are many issues with the “safety argumentation approach” based on conventional “fail-safe design”, “development process and design principle”, or “failure rate quantitative evaluation”, and new “safety argumentation” utilizing knowledge of AI experts is necessary. Also, input information, its path, and decision program for AI technology to make decisions, especially for advanced connected vehicles, are exposed to the risk of cyberattack. In order to ensure safety, form the security threat point of view, the knowledge of AI experts is needed.

　従って、これらを探求することは、「AI技術を利用した製品・サービスの最終的な安全性の担保」という観点で、AI技術の社会実装、社会受容性の向上において極めて重要な要素になります。

　Therefore, to explore these areas, in terms of “ensuring safety of products and services using AI technology”, is a very important element for AI technology to be widely implemented and accepted in society.

　このような背景のもと、産学の垣根を超え、これらの分野に関連する研究者・技術者間における幅広い意見交換を通じて、より充実したAI技術利用システムの安全性論証の議論を進めるため、AIとセキュリティを積極的・明示的に扱う研究協議会を設立致します。

　Thus, beyond industry-university borders, in order to discuss ‘safety argumentation’ for the systems using AI technology, exchanging a wide range of ideas between researchers and engineers engaged in these areas, we will establish a research council dealing with AI and security actively and explicitly.


代表：九州大学大学院システム情報科学研究院 情報学部門 教授　櫻井 幸一

Committee chairperson : Professor Kouichi Sakurai

(Faculty of Information Science and Electrical Engineering, Kyushu University)

主幹事：DNV ビジネス・アシュアランス・ジャパン株式会社　溝口 誠一郎

Chief secretary : Mizoguchi Seiichiro

(DNV Business Assurance Japan K.K.)

研究課題の範囲 / Scope of research subject

研究会立ち上げ時には「知識の体系化」に注力し活動を進めていき、「知識の体系化」が図られた後に、各々についてオープンな議論を進めることとします。

　When starting up the research group, we focus on “systematization of knowledge”, and after that, we will openly discuss each topic.

知識の体系化

Systematization of knowledge

社会課題の解決を支える技術としてAIへの期待は高まっており、AI技術に対する様々な研究がなされています。ただ、社会実装においてはまだ議論が不十分であり、社会的受容性の醸成も技術領域のイノベーションと並行して議論がされなければならず、利用者のAIに対する理解が不足していることも社会的受容性の醸成を妨げる一因と考えており、AIに関する共通認識を作り上げることが優先的な課題であると考えています。

　AI is highly expected as a technology to support solving social issues, and various studies have been conducted for AI. However, not enough discussion have been done for its implementation in society. Discussions regarding how to nurture a sense of social acceptance as well as technological innovation are needed. The lack of users’ understanding of AI is one of the factors which hinders creating a sense of acceptance in society, therefore, establishing common understanding on AI is regarded as one of the high priority items.

Safety and Security

日本語ではどちらも安全性と訳されることもありますが、Safetyは、事故・故障・災害などに、意図しない事象に対する安全性であり、Securityは、サイバー攻撃に代表される悪意ある攻撃に対する安全性として使われています。

　In Japanese, both words can be translated as safety, but Safety is used against unintended events such as accidents/failures/disasters, and Security is against malicious attack such as cyberattacks.


また、本研究範囲におけるSafetyとSecurityの関係性は、「安全性論証」に深くかかわっており、それぞれ似たような意味を持つ言葉ではありますが、「AI技術を利用した自律型システムの安全性に影響を与えうる意思決定」においては、先に述べた通り「許容できないリスクが無いこと」が安全(Safety)の定義であり、「許容できないリスク」の発生を最小化させるための対策の一つとしてSecurityの技術面やプロセス面における対策があると考えています。

　Safety and Security in this research scope are strongly related to “safety argumentation”. Although both words have similar meanings, regarding “decision-making which may impact on safety of autonomous system using AI technology”, as mentioned before, “freedom from risk which is not tolerable” is defined as “Safety”. And one of the measures to minimize probability of occurrence of “risk which is not tolerable” is security measures on the technical and process sides.


つまり、本コンテキストにおいて、Securityを考慮しない場合、「許容できないリスク」の発生を最小化させるためには不十分であり、Securityは安全(Safety)を確保するために必要な要素の一部であります。

　Therefore, in this context, it is not sufficient to minimize probability of occurrence of “risk which is not tolerable”, if Security is not considered, and Security is an inevitable part of the elements to ensure Safety.

Privacy and Trust

セキュリティと並んでプライバシーやトラストもAIと論じられています。本研究会では、あえてprivacyを冠していなが、排除する/対象外、とするものではありません。ただし、プライバシーはGDPRなど国境をまたがった規制に影響する面が強く、技術を超えた社会制度の観点からの議論も必要になります。

　Privacy and trust, as well as Security, are often discussed together with AI. Although privacy is not addressed in this group, it doesn’t mean that it is excluded from or out of scope of our discussions. As privacy strongly affects cross-border regulations such as GDPR, discussions from the viewpoint of social systems beyond technology are needed.


AIプライバシーに関しては、社会システムや制度を扱う他の研究会とのリエゾンや、情報処理学会SPT研究会などと共催しての合同集会などでAI safety/Securityに加えて、privacy AIを討議する形を考えています。

　As for AI privacy, we are considering to liaison with other study groups addressing social systems and regulations, also to organize a joint meeting with The Information Processing Society of Japan, SPT, to have discussions on AI privacy as well safety/security.

活動計画 / Activity plan

研究会の開催 / Workshop Plan

  • 年３回程度の開催とし、各回毎に参加者を募る形とする。初回の研究会は2021年末を予定している。

  • Workshop to be held about 3 times a year, and participants are required to register each time. The first workshop will be held in the first quarter (Jan.– Mar.)in 2022. Annual plan for the activities will be discussed in this workshop.


カンファレンスなどの開催 / Conference Plan

  • 年1回程度の開催とし、研究で得られた知見をオープンな形で共有するものとし、情報発信と研究コミュニティの活性化を促進することとする。

  • Conference to be held once a year. The aim of the conference is to openly share knowledge gained through the research activities, and to promote information exchange and vitalization of the research community.

運営委員 / Member of the Steering committee

代表：九州大学大学院システム情報科学研究院 情報学部門 教授　櫻井 幸一

Committee chairperson : Professor Kouichi Sakurai (Faculty of Information Science and Electrical Engineering, Kyushu University)


  • 略歴:

1988年：九州大学大学院 工学研究科修士課程修了

1988年：三菱電機(株)情報電子研究所勤務 暗号理論の研究に従事

1993年：博士(工学)の学位取得(九州大学)

1995年：九州大学工学部情報工学科助教授就任

1997年：(一年間)米国コロンビア大学計算機科学科 訪問研究員

2002年：九州大学大学院システム情報科学研究院情報工学部門教授

現在 ：九州大学大学院システム情報科学研究院情報部門教授 (兼) 九州大学 サイバーセキュリティーセンター

  • 主な授賞

2005年 第一回IPA(情報処理推進機構)賞/情報セキュリティ部門

ISO/IEC国際会議を通じての暗号技術の標準化活動への貢献

2012年 第26回 独創性を拓く先端技術大賞経済産業大臣賞（企業・産学部門最優秀賞）

「超高速ストリーム暗号KCipher-2の研究開発」

2020年 SCATテレコム先端研究支援技術センター会長賞

「超高速ストリーム暗号KCipher-2の研究開発」

2021年 IEEE Transactions on Evolutionary Computation Outstanding 2022 Paper賞

“One Pixel Attack for Fooling Deep Neural Networks”, Jiawei Su, Danilo Vasconcellos Vargas, Kouichi Sakurai, IEEE Transactions on Evolutionary Computation, Vol.23, No.5, pp.828-841, October 2019

  • 社会・国際連携:

  • 2004年4月より、(財)九州システム情報技術研究所第2研究室(2008年4月より、九州先端科学技術研究所 情報セキィリティ研究室)室長を兼務し、「社会システムにおける情報セキュリティ」の確保をテーマに、産学官の研究交流を促進。

  • 2005-06年度、情報通信研究機構より採択された日韓国際共同研究プロジェクトのリーダーとしてセキュリティ技術に関する日中韓の産学官連携を推進。

  • 2006年5月インド暗号学会(The Cryptology Research Society of India,(CRSI)事務局長ビマル クマール ロイ(Bimal Kumar Roy)教授)との間で、情報セキュリティ分野での研究協定覚書(MOU) の締結を日本の研究機関としてはじめて実現。

  • 研究論文(2021年11月現在)：400件以上

  • 研究提言：2020年IEEEメンバーとして、サイバー社会暗号技術の先端課題

  • 所属学会：人工知能学会、電子情報通信学会、情報処理学会、日本数学会、応用数理学会、ACM、IEEE、IACR

　Kouichi Sakurai received the B.S. degree in mathematics from the Faculty of Science, Kyushu University in 1986. He received the M.S. degree in applied science in 1988, and the Doctorate in engineering in 1993 from the Faculty of Engineering, Kyushu University. He was engaged in research and development on cryptography and information security at the Computer and Information Systems Laboratory at Mitsubishi Electric Corporation from 1988 to 1994.

　From 1994, he worked for the Dept. of Computer Science of Kyushu University in the capacity of associate professor, and became a full professor there in 2002. He is concurrently working also with the Institute of Systems & Information Technologies and Nanotechnologies, as the chief of Information Security laboratory, for promoting research co-operations among the industry, university and government under the theme "Enhancing IT-security in social systems".

　He has been successful in generating such co-operation between Japan, China and Korea for security technologies as the leader of a Cooperative International Research Project supported by the National Institute of Information and Communications Technology (NICT) during 2005-2006. Moreover, in March 2006, he established research co-operations under a Memorandum of Understanding in the field of information security with Professor Bimal Kumar Roy, the first time Japan has partnered with The Cryptology Research Society of India (CRSI). Professor Sakurai has published more than 250 academic papers around cryptography and information security (See:http://www.informatik.uni-trier.de/~ley/db/indices/a-tree/s/Sakurai:Kouichi.html)


主幹事：DNV ビジネス・アシュアランス・ジャパン株式会社　溝口 誠一郎

Chief secretary : Mizoguchi Seiichiro (DNV Business Assurance Japan K.K.)


　前職のKDDI総合研究所では、ネットワークや車載セキュリティの研究開発に従事し、現在は、DNVビジネス・アシュアランス・ジャパンのサイバーセキュリティラボにおいて、専門家としてセーフティとセキュリティに関する国内顧客支援をはじめ、セミナー活動を行っている。今回は、DNVビジネス・アシュアランス・ジャパンの支援を受け、サービスプロバイダー代表側の立場で、ユーザー産業界からの課題を、本研究会に提起し、議論の活性化を担う。

　In his former work at KDDI Research, Inc., he engaged in R & D of network, in-vehicle security. Currently he is working for the cyber security lab of DNV Business Assurance Japan, supporting domestic customers for safety and security, also conducting seminar activities, as an expert. In this initiative, with the support from DNV Business Assurance Japan, he will present issues raised from the user industry to the group, as a representative of the service provider, in order to stimulate the discussions.

海外連携アドバイザー / overseas Advisors

その他 / Other

お問い合わせは下記事務局までお願い致します。
・Open RDG-AI/SS事務局 <reg-app@googlegroups.com>

For inquiries, please contact the secretariat below.

・Open RDG-AI/SS <reg-app@googlegroups.com>


当研究協議会は下記の企業のご協力をいただいております。

・DNV ビジネス・アシュアランス・ジャパン株式会社

The Open RDG-AI/SS is supported by :

・ DNV Business Assurance Japan K.K.