2022年

2022年12月

• Decentralized Matrix Factorization with Heterogeneous Differential Privacy

  • 従来の差分プライベートな行列分解による推薦は，推薦者を信頼できると仮定するか，一様に信頼できないレベルに合わせるかの2択であったが，ユーザごとに強度を変えられるHeterogeneousなDP行列分解を提案した．https://arxiv.org/abs/2212.00306

• On the Risks of Collecting Multidimensional Data Under Local Differential Privacy

  • 複数属性の頻度推定を行えるLocal差分プライバシーメカニズムに対して，再識別攻撃や属性推論攻撃の脅威を実験的に評価．特定して脅威に対する実用性と堅牢性の両方を向上させる対策も提案．https://arxiv.org/abs/2209.01684

• Bernoulli honeywords

  • パスワード流出の検知に用いられるhoneywordは，本当にユーザが使用している確率が高く，偽検知を避けるため推測が難しい必要がある．これらの発見的な生成は難しいが，ベルヌーイ過程として単語選択をするBernoulli honeywordの既存のシステムデザインへの統合手法を示した．https://arxiv.org/abs/2212.12759

• Packing Privacy Budget Efficiently

  • 複数のMLモデルを学習させる場合，差分プライバシーの予算は新しいタイプの計算資源と考えることができる．配分を最適化するプライバシーのスケジューリングを提案．privacy knapsackという新しい最適化問題を提案し，問題がNP困難だと証明．それを近似的に解くDPKを開発．https://arxiv.org/abs/2212.13228

• Differentially Private Learning with Per-Sample Adaptive Clipping

  • DP-SGDにてclipingの代わりに正規化を用いるNSGDやAuto-Sは，単調な重み関数に依存するため，小さな勾配サンプルに過剰な重みを与えてしまう．適応的重み関数に従うDP Per-Sample Adaptive Clippingアルゴリズムを提案．同程度の収束率では，既存のものより良い勾配を保証．https://arxiv.org/abs/2212.00328

• On Differentially Private Counting on Trees

  • 差分プライベートな木構造データの度数集計に対して，新しい誤差尺度を提案．(ε,δ)-DPに関して従来より有用性の高いメカニズムを提案．https://arxiv.org/abs/2212.11967

• Redactor: A Data-centric and Individualized Defense Against Inference Attacks

  • データのラベリング，トレーニングまで第三者がやってくれる機械学習プロセスの場合に，良いラベルなしサンプルを提供し，自身への属性推論攻撃のリスクを低減する手法の提案．ラベラーの代理を作成し，ターゲットデータを異なる推論結果に導くようなラベルなしデータを生成．https://arxiv.org/abs/2202.02902

2022年11月

• Vertical Federated Learning: Concepts, Advances and Challenges

  • Verticalな設定でのFLの包括的なサーベイ．効果，効率，プライバシー，通信などの観点の制約を考慮したVFLowというフレームワークを提案．https://arxiv.org/abs/2211.12814

• Private Ad Modeling with DP-SGD

  • 画像やテキストのタスクでよく用いられているDP-SGDを，広告のデータを用いた分析に適用．クリックスルーやコンバージョンなどを予測するモデルを作成し，実験評価を行った．https://arxiv.org/abs/2211.11896

• A Survey on Differential Privacy with Machine Learning and Future Outlook

  • 差分プライベートな機械学習モデルの簡単なサーベイ．深層学習モデルと非深層学習モデルという二軸でいろいろなノイズの加え方を紹介．今後の研究の方向性に関する感想を列挙．https://arxiv.org/abs/2211.10708．メモ：入門にFig.1が使えそう．

• Backdoor Cleansing with Unlabeled Data

  • 外部に学習プロセスを委託したDNNモデルは潜在的にBackdoor攻撃のリスクがあるが，委託をする側はラベル付きデータを持っているとは限らない．そのため，ラベルなしデータのみでも行えるBackdoor除去を提案．層ごとに重み再初期化と知識蒸留を用いてうかがわしい挙動を除去．https://arxiv.org/abs/2211.12044

• Forgeability and Membership Inference Attacks

  • 特定の個人を抜いたデータセットからも同じ学習パラメータを得られる（データセットの偽造可能性と呼んでいる）というunlearningの知見を活かし，メンバーシップ推論攻撃の結果を否認する方法を提案．ゲーム形式で定式化し，実験により効率的に否認証明を構築できると実証．https://dl.acm.org/doi/abs/10.1145/3560830.3563731

• Enhanced Membership Inference Attacks against Machine Learning Models

  • [CCS2022] 機械学習モデルから漏れるプライバシー測定のためにメンバーシップ推論を用いることあるが，偽陽性率を固定した際の真陽性率を測り，既存のものを一貫して評価できる包括的なフレームワークを提案．異なる攻撃が異なる性能を発揮する原因を探求．測定ツールは公開．https://arxiv.org/abs/2111.09679

• Are Attribute Inference Attacks Just Imputation?

  • 属性推論攻撃と統計のdata imputationを比較．(1)従来の攻撃は同分布に従う別データからの推論と変わらない，(2)blackbox設定では対象モデルからの情報はほぼない，(3)提案したwhitebox攻撃は対象モデルなしでは推論できない機微情報を推論可能．DPなどでは軽減不可と証明．https://arxiv.org/abs/2209.01292

• Fisher Information as a Utility Metric for Frequency Estimation under Local Differential Privacy

  • Local差分プライバシーの文脈で，データ集計者が有限集合上の分布を推定する際の新しいutility metricを提案．Fisher情報量に基づいており，相互情報量や推定誤差など他の指標との関係性も示す．このmetricを用いるとεに対し漸近的に最適なプロトコルを近似できると示した．https://dl.acm.org/doi/abs/10.1145/3559613.3563194

• Widespread Underestimation of Sensitivity in Differentially Private Libraries and How to Fix It

  • [CCS2022] 差分プライベートメカニズムは，理想的な演算と実装上の演算の不一致により，実はsensitivityが計算上のものよりはるかに大きくなることが知られている．既存のライブラリはほぼすべてこれに起因する脆弱性が存在することを示し，いくつかの修正方法を提示した．https://arxiv.org/abs/2207.10635

• Frequency Estimation in the Shuffle Model with Almost a Single Message

  • [CCS2022] 差分プライベートに頻度推定をするシャッフルモデルで各ユーザの期待通信数が1 + o(1)となる手法を提案．また，期待誤差は多項式で抑えられている．https://arxiv.org/abs/2111.06833

• Finding MNEMON: Reviving Memories of Node Embeddings

  • [CCS2022] 埋め込まれたグラフノードの情報のみから，元グラフのグラフ構造を復元する攻撃の提案．まず，グラフの平均次数を推定，その次にグラフ上の距離関数を推定，最後にGraph AutoEncoderを用いてグラフ構造を推定する．https://arxiv.org/abs/2204.06963

• Perception-Aware Attack: Creating Adversarial Music via Reverse-Engineering Human Perception

  • [CCS2022] human studyの知見を用いて，音声認識に対して音楽の楽しみを損ねないperception-awareな敵対的ノイズ作成フレームワークを提案．実際に人間に元の音楽とノイズ入りの音楽を聞かせ知覚の差を定量評価．YouTubeの著作権検出器に対する現実的な敵対的音楽攻撃を設計．https://arxiv.org/abs/2207.13192

• Shifted Inverse: A General Mechanism for Monotonic Functions under User Differential Privacy

  • [CSS2022] ユーザー差分プライバシー（user-DP）の下で任意の単調関数を最適にuser-DP化する方法を提案．一般的なメカニズムはsuper-polynomialな時間で実行可能だが，よく使われる具体的な関数（sum, maximum frequencyなど）に対しては多項式時間で可能な近似を提示．https://www.cse.ust.hk/~yike/ShiftedInverse.pdf

• Differentially Private Triangle and 4-Cycle Counting in the Shuffle Model

  • [CCS2022] シャッフルモデルを用いて，グラフのサブグラフカウントの精度を劣化さないlocal DPの枠組みを提案．wedge（2-hopで結べる関係）情報を小さなノイズで送信するwedge shufflingを提案．3, 4-cycleの数え上げに適用．また，アルゴリズムの推定誤差も理論的に評価．https://arxiv.org/abs/2205.01429

• LPGNet: Link Private Graph Networks for Node Classification

  • [CCS2022] グラフ畳み込みネットワーク（GCN）に対するリンク推論攻撃があるが，この対策としてエッジに対して差分プライバシー性を保証したLPGNetというネットワークを提案．既存の攻撃を弱めつつ，エッジ情報を用いないMLPよりは高い精度で推論が可能．https://arxiv.org/abs/2205.03105

• DPIS: An Enhanced Mechanism for Differentially Private SGD with Importance Sampling

  • [CCS2022] 差分プライベート深層学習は様々な学習プロセスのDP化が進んできたが，コアとなるDP-SGDは提案以来変わっておらず性能向上の障壁になっている．SGDにおけるミニバッチ選択に重要度サンプリングを入れたDP Importance sampling（DPIS）を提案し，性能を向上させた．https://arxiv.org/abs/2210.09634

• Federated Boosted Decision Trees with Differential Privacy

  • [CCS2022]  表形式データにはDNNよりも決定木ベースの性能が良いことがあるが，既存の差分プライベートな決定木を拡張し，差分プライベートなGradient Boosted Decision Treeを提案．特にFL向けに作成されており，ハイパーパラメータや実装の設定を細やかに工夫．https://arxiv.org/abs/2210.02910

• Auditing Membership Leakages of Multi-Exit Networks

  • [CCS2022] モデルの計算時間やエネルギーを節約するために早期出口を用意したmulti-exit networksに対するMembership推論の脅威を評価．既存攻撃の単純適用には耐性があったが，出口情報を利用した攻撃は従来より強力になることを確認．一方でその対策となるTimeGuardも提案．https://arxiv.org/abs/2208.11180

• Graph Unlearning

  • [CCS2022] 訓練済みモデルから特定のサンプルを忘れさせるunlearningの中でもSISAというアルゴリズムが最新だが，これをGNNに適用すると訓練データを分割するためグラフ構造が大きく失われてしまう．グラフ分割を工夫したGraphEraserというグラフ用のunlearning法を提案．https://arxiv.org/abs/2103.14991

• SSLGuard: A Watermarking Scheme for Self-supervised Learning Pre-trained Encoders

  • [CCS2022] 自己教師あり学習で事前学習されたエンコーダに対する電子透かしの埋め込み．訓練済みエンコーダを入力とし，電子透かしの入ったエンコーダを出力する．電子透かしは知識蒸留やノイズ注入，モデルの刈込などにも頑健であることを確認．https://arxiv.org/abs/2201.11692

• Post-breach Recovery: Protection against White-box Adversarial Examples for Leaked DNN Models

  • [CCS2022] サーべーへの攻撃により一回流出してしまったDNNモデルを更新する際，流出してしまったモデルに対する敵対的サンプルをフィルタリングできるように更新するNeoというフレームワークを提案．繰り返し流出した場合の適応的な攻撃にも対応できている．https://arxiv.org/abs/2205.10686

• LoneNeuron: A Highly-Effective Feature-Domain Neural Trojan Using Invisible and Polymorphic Watermarks

  • [CCS2022] サプライチェーンの途中にいるものがDNNモデルのパラメータやアーキテクチャをいじくることで行うBackdoor攻撃．実験では主要タスクの性能を落とすことなく攻撃成功率100%となった．提案手法の特性によりトリガーをいくつかに分解でき，既存検知を回避できた．https://www.ittc.ku.edu/~bluo/download/liu2022ccs.pdf

• Truth Serum: Poisoning Machine Learning Models to Reveal Their Secrets

  • [CCS2022] Poisoningによってプライバシー攻撃を強化する手法の提案．所属推論や属性推論，データ復元などに適用可能．実験でPoisoningによる推論精度の上昇を確認．特にデータの50%を攻撃者が操作できる場合は，推論精度が8倍に．他者間でモデルを開発する際の脅威を表す．https://arxiv.org/abs/2204.00032?tpcc=nleyeonai

• Amplifying Membership Exposure via Data Poisoning

  • Poisoning攻撃によってMembership推論の威力を高めるgeneric dirty-label attackを提案．この攻撃では，人間のラベル修正を避けるため正しいラベルを付けたサンプルでPoisoningを行う．実験では精度劣化を抑えつつmembership推論を大幅に強化できたことを確認．対策も検討．https://arxiv.org/abs/2211.00463

• Differential Privacy has Bounded Impact on Fairness in Classification

  • 2値分類モデルの差分プライベート学習が公平性に与える影響の研究．モデルの公平性を評価する一般的な関数はモデルパラメータに対してLipschitz連続であることを示し，訓練データが十分にあれば，高い確率でプライベートなものと通常のモデルパラメータは近づけられると証明．https://arxiv.org/abs/2210.16242

2022年10月

• Differentially Private Optimization on Large Model at Small Cost

  • DP-SGDは勾配のサンプルごとのクリッピング処理のために計算が重くなることで有名である．これに対して，計算コストを大幅に改善した新しいBook-Keeping技術を提案した．実験では提案手法が通常の学習と同等の効率あることを確認できた．https://arxiv.org/abs/2210.00038

• CryptoGCN: Fast and Scalable Homomorphically Encrypted Graph Convolutional Network Inference

  • 準同型暗号によるグラフ畳み込みネットワーク（GCN）の秘匿推論CryptoGCNを提案．GCN推論における行列演算のスパース性を効果的に利用し，計算のオーバーヘッドを大幅に削減した．実験では，1-1.5%の小さな精度損失で，3.1倍の高速化と77.4%の準同型演算の削減が確認できた．https://arxiv.org/abs/2209.11904

• Differentially private partitioned variational inference

  • FL設定において通信ラウンド数を最小化し，データ対象者に差分プライバシーを保証しながら，ベイズ事後分布の変分近似を学習するDP分割変分推論法を提案した．https://arxiv.org/abs/2209.11595

• L-SRR: Local Differential Privacy for Location-Based Services with Staircase Randomized Response

  • 位置情報サービスにおける新しいLDPメカニズム，Staircase Randomized Response（SRR)を提案．交通における密度推定やk近傍法の有用性を向上させることを目的としていて，実際に大幅に有効であることを4つのデータセットで確認した．https://arxiv.org/abs/2209.15091

• No Free Lunch in "Privacy for Free: How does Dataset Condensation Help Privacy"

  • ICML2022でOutstanding Paper Awardに選ばれたdataset condensationを用いたプライバシー保護手法について，その実験評価と理論的分析における主要な欠陥を報告した．統計的に有意な根拠を提示できておらず，また既知のDP-SGDを用いた手法の方が性能が良いことを示した．https://arxiv.org/abs/2209.14987

2022年9月

• Sparse Vicious Attacks on Graph Neural Networks

  • リンク予測をするGNNに対して，悪意のあるノードが与えられたターゲットの推奨ノードリストに表示されるようにする攻撃，SAVAGEを提案．攻撃者は他のいくつかのノードを操れるとし，操れるノードの数と攻撃の精度のバランスを最適化問題にした．https://arxiv.org/abs/2209.09688

• Membership Inference Attacks and Generalization: A Causal Perspective

  • Membership推論攻撃成功率と被害モデルの汎化性能の関係を定量的に評価するための因果グラフを用いた手法を提案．いくつかの定量的でない先行研究は，根本的な原因を単純化しすぎて，この関係を過大評価していると報告．MI攻撃と汎化性能の共通のcausal factorを発見．https://arxiv.org/abs/2209.08615

• In Differential Privacy, There is Truth: On Vote Leakage in Ensemble Private Learning

  • 複数のモデルでアンサンブルして差分プライベートな推論を行うPATEに対して，一つのモデルが学習したヒストグラムを推定する攻撃を提案．加えて，PATEの仕様上，ノイズをむしろ増やすことで推定がしやすくなることを実験で確認した．https://arxiv.org/abs/2209.10732

• Improving Utility for Privacy-Preserving Analysis of Correlated Columns using Pufferfish Privacy

  • 不完全な相関を持つ高次元統計のため設計されたプライバシー保護メカニズムTabular DDPメカニズムを提案．これはPufferfish privacyの一種であるdependent差分プライバシーを満たす．データの相関に合わせノイズ量を調整．Laplaceメカニズムと比べて精度向上を実験で確認．https://arxiv.org/abs/2209.10908

• Model Inversion Attacks against Graph Neural Networks

  • GNNに対するModel Inversion攻撃の提案．モデルがホワイトボックスの場合はグラフオートエンコーダなどを用いた攻撃，APIクエリのみのブラックボックスの場合は，勾配推定は強化学習を利用した攻撃を提案した．https://arxiv.org/abs/2209.07807

• M^4I: Multi-modal Models Membership Inference

  • マルチモーダルなモデルに対するメンバーシップ推論攻撃を提案．画像キャプションをつけるモデルに対して，メトリックベースの攻撃と特徴量ベースの攻撃を提案して実験を行った．過学習対策や差分プライバシーなどの対策も検討して実験的に確かめた．https://arxiv.org/abs/2209.06997

• Differentially Private Estimation of Hawkes Process

  • 点過程モデルに対する差分プライベートな推論を提案．具体的にはHawkes過程の離散的な表現に基づくevent stream dataに対する差分プライバシーを定義し，2つの設定下で差分プライベートな推論をする方法を提案した．https://arxiv.org/abs/2209.07303

• SEEK: model extraction attack against hybrid secure inference protocols

  • モデルの推論を秘匿する有望なソリューションの一つに線形層を準同型暗号，非線形層をマルチパーティで行うハイブリット方式があるが，非線形層担当が攻撃者のとき，線形層の重みを探索するモデル抽出攻撃SEEKを提案した．https://arxiv.org/abs/2209.06373

• Data Privacy and Trustworthy Machine Learning

  • 機械学習におけるプライバシー保護は大事だが，公平性，ロバスト性，説明可能性など他のTrustworthy MLとのトレードオフがあるため，それらを調査した．https://arxiv.org/abs/2209.06529

• Asymmetric Differential Privacy

  • 差分プライベートなメカニズムは基本的にはtwo-side errorを確率的に許すものであるが，これが意思決定に好ましくないような場合もある．このよう場合を想定して，one-side errorを実現しつつ，合理的にプライバシー保護を保証するAsymmetric差分プライバシーを提案．https://arxiv.org/abs/2103.00996

• Group Property Inference Attacks Against Graph Neural Networks

  • GNNに対するグループレベルでのノードやリンクの特性を推論するGroup Property Inference Attackを提案した．グループは人種や性別などのdemographicな情報をもとに作り，その中にどういう性質のノードが多いかやどういう性質のエッジが多いかを推定する攻撃．https://arxiv.org/abs/2209.01100

• CASU: Compromise Avoidance via Secure Update for Low-end Embedded Systems

  • 組込みシステムソフトウェアのランタイム完全性を保証するためRemote Attestation（RA）が注目されているが，これらはproverが攻撃されたとき検証者がそれを知るのは次のRA時になる．こうした問題に対応したhardware/software co-designなCASUというフレームワークを提案．https://arxiv.org/abs/2209.00813

• Efficient ML Models for Practical Secure Inference

  • 秘匿推論フレームワークのCrypTFlow2（2者間秘密計算NN推論）は通信コストが大きく実用的でない．ボトルネックは大きな線形層であり，モデル選択と専用の演算子で最適化できることを示した．効率的な演算子を提案し，乗算を増やすアルゴリズムを採用し通信コストを減らした．https://arxiv.org/abs/2209.00411

• Membership Inference Attacks by Exploiting Loss Trajectory

  • 既存のメンバーシップ推論攻撃は対象モデルの出力（損失）を用いるが，モデルが汎化していると行いにくい．そのため，攻撃者が対象の蒸留モデルを作り，その学習過程の成長（損失軌跡）を観察して行う攻撃を提案．低い偽陽性率で従来より6倍高い真陽性率を達成．https://arxiv.org/abs/2208.14933

2022年8月

• SplitGuard: Detecting and Mitigating Training-Hijacking Attacks in Split Learning

  • split learningにおいて，悪意あるサーバーが不正な情報をクライアントに送り，クライアントの情報を盗み見るハイジャック攻撃を防いだり検知するSplitGuardの提案．https://arxiv.org/abs/2108.09052

• UnSplit: Data-Oblivious Model Inversion, Model Stealing, and Label Inference Attacks Against Split Learning

  • Split learning frameworkに対する攻撃の提案．一部のモデルをサーバー側，一部のモデルをクライアント側で学習させながら，モデルを作成したりするが，honest-but-curiousなサーバーが，クライアント側のデータを復元し，類似のモデルを復元できたりすることなどを示した．https://arxiv.org/abs/2108.09033

2022年7月

• Composition Theorems for Interactive Differential Privacy

  • 差分プライベートな対話的メカニズムの合成定理はsequentialな設定で示されることが多かったが，concurrentな設定でpureDPの最適な合成定理を示した先行研究を，(ε, δ)-DPや，RDP，zCDPに拡張した．https://arxiv.org/abs/2207.09397

• Differentially Private Graph Learning via Sensitivity-Bounded Personalized PageRank

  • 差分プライベートな近似的Personalized PageRankを提案．入力エッジに対するランキングベクトルのsensitivityを評価．グラフの次数が大きい場合，非プライベートな手法と同等精度を達成できることも示した．https://arxiv.org/abs/2207.06944

• RelaxLoss: Defending Membership Inference Attacks without Losing Utility

  • Membership推論攻撃は学習損失分布とテスト損失分布を用いて行われることが多い．Lossの値が小さいときにLossに細工をするRelaxLossという手法を提案し，汎化ギャップの縮小とプライバシー漏洩の低減を実現した．https://arxiv.org/abs/2207.05801

• dpart: Differentially Private Autoregressive Tabular, a General Framework for Synthetic Data Generation

  • 表形式のデータに対する差分プライベートな合成データ生成のオープンソースPythonライブラリ"dpart"を提案．ナイーブな手法，PrivBayesに加えて，synthpopという合成手法をDP化した手法が取り入れられている．PrivBayesの構造学習の一部を既存実装より20倍高速化した．https://arxiv.org/abs/2207.05810

• (Nearly) Optimal Private Linear Regression via Adaptive Clipping

  • 入力データがsub-Gaussian型の分布に従う場合に対して，差分プライベートな線形回帰の研究．DP-AMBSSGDという学習方法を提案．ノイズの分散を動的に決める．ほぼ最適な誤差の上界を導出．https://arxiv.org/abs/2207.04686

• Private Matrix Approximation and Geometry of Unitary Orbits

  • Unitary Orbit Optimization（エルミート行列A，対角行列Λについて Tr(A* UΛU*)を最大化する）で解となるUΛU*を差分プライベートに出力するアルゴリズムを提案．近似誤差の上限・下限も導出．この結果はrank-k PCAや rank-k approximationに転用できる．https://arxiv.org/abs/2207.02794

• Connect the Dots: Tighter Discrete Approximations of Privacy Loss Distributions

  • 差分プライベートなメカニズムを特徴づけるPrivacy Loss Distributionを任意の離散的なサポート上で近似するため，hockey-stick divergenceを利用した近似手法を提案．過小評価・過大評価する2通りの近似は先行研究のPrivacy Bucketより精度がよかった．https://arxiv.org/abs/2207.04380

• Cactus Mechanisms: Optimal Differential Privacy Mechanisms in the Large-Composition Regime

  • 合成回数が多い場合（近似的に大数の法則を使える場合）の最適な差分プライベートメカニズムの研究．異なる入力に対する出力間のKL-divを最小化するよう問題を定式化・量子化．最適なメカニズムにいくらでも近づけるサボテンのような確率分布を用いたcactusメカニズムを得た．https://arxiv.org/abs/2207.00420

• Shuffle Gaussian Mechanism for Differential Privacy

  • ShuffleモデルにおけるガウシアンメカニズムのLocal DP性をRényi-差分プライバシーの枠組みで評価し，order λに対するεの上界を導出した．また，(ε,δ)-DPと比べ合成定理を用いた際の結果がよいことを実証．FLの設定で実験し有効性を確認．https://arxiv.org/abs/2206.09569

• Private Graph Extraction via Feature Explanations

  • グラフニューラルネットワークに説明をつけた際，グラフ再構築攻撃の精度がどのくらい上がるか検討．勾配ベース，摂動ベース，代替モデルベースの説明それぞれに攻撃し，特に後者2つは精度が上がると確認．また，randomized responseによる防御を提案し攻撃の成功率を下げた．https://arxiv.org/abs/2206.14724

2022年6月

• Self-Supervised Pretraining for Differentially Private Learning

  • 差分プライベートな深層学習の有用性向上にはself-supervised pretrainingがスケーラブルな解決案になると主張した論文．公開データセットがなくても，たった1枚の画像でSSPすることで，合計が同じプライバシー予算の下，有用性を大きく上げた例があることも示した．https://arxiv.org/abs/2206.07125

• Reconstructing Training Data from Trained Neural Networks

  • 訓練済みモデル（2値分類器）から訓練データの大部分のデータを復元できたという結果．ある制約の下，2値クロスエントロピーで学習されたNNのパラメータはあるmargin-maximization problemの定常点に収束するという理論から得られるデータとパラメータの関係式を利用した．https://arxiv.org/abs/2206.07758

• Membership Inference via Backdooring

  • GDPRなどで忘れられる（学習に使われても要求があれば戻す）権利などが議論されているが，学習済みモデルに自分のデータが使われたか否かを推定する際に，自分の提供データに特殊なトリガを仕込んでおけば推定精度を上げられると示した（BackdoorでMI攻撃を強力にした）．https://arxiv.org/abs/2206.04823

• BlindFL: Vertical Federated Machine Learning without Peeking into Your Data

  • Verticalな設定でのFLの既存結果は入力の特徴量が制限されたり，処理途中のプライバシー漏洩といった課題があった．federated source layerという幅広い特徴量をサポートする層を提案し，また処理途中のセキュリティ要件を定式化したBlindFLというフレームワークを提案した．https://arxiv.org/abs/2206.07975

• On Private Online Convex Optimization: Optimal Algorithms in ℓp-Geometry and High Dimensional Contextual Bandits

  • ストリーミングデータを対象にした差分プライベートな確率的凸最適化（DP-SCO）の研究．ℓpノルム設定で差分プライベートなOnline Frank-Wolfアルゴリズムを提案した．https://arxiv.org/abs/2206.08111

• Unlearning Protected User Attributes in Recommendations with Adversarial Training

  • 協調フィルタリングなどによる推薦システムに対して，性能は維持しつつ，ユーザーの特定属性情報の影響を軽減させるAdv-MultVAEという学習手法を提案． MovieLensなどのデータセットでの実験で，モデルの性能劣化はわずかにしつつ，バイアスが軽減されたことを確認．https://arxiv.org/abs/2206.04500

• Differentially Private Shapley Values for Data Evaluation

  • 差分プライベートなShapley値を計算するために，Layered Shapley Algorithmという近似アルゴリズムを提案．これは確率的に精度を保証されていおり，差分プライベート化がしやすいものになっている．https://arxiv.org/abs/2206.00511

• Impact of Sampling on Locally Differentially Private Data Collection

  • Local差分プライバシー（特にpure LDP protocol）で頻度推定を行う際に，通信量削減のためにノードをランダムサンプリングすると，推定量の不偏性を保てなくなることを示した．サンプリングの確率が決まっている設定で新たな不偏推定量を提案．実験で推定量の精度を分析．https://arxiv.org/abs/2206.01028

2022年5月

• Differentially private Riemannian optimization

  • パラメータ空間がリーマン多様体で記述される際の差分プライベートな経験損失最小化問題の研究．sensitivityが通常の空間の意味ではなくリーマン計量の意味で測られている．勾配降下法におけるプライバシー保護性や，凸性など損失関数のいくつかの設定下で有用性を評価した．https://arxiv.org/abs/2205.09494

• Diffusion Models for Adversarial Purification

  • Adversarial Exampleの対策の一つに，ノイズを除去するAdversarial Purification（浄化？）というが知られているが，Diffusionモデルを用いてより性能を高めた．AEに対して，まず順方向の拡散で敵対的なノイズを生成し，逆方向の生成でノイズのないもとの画像を復元する．https://arxiv.org/abs/2205.07460

• On the Difficulty of Defending Self-Supervised Learning against Model Extraction

  • MLaaSプロバイダが自己教師あり学習（SSL）で得た特徴量抽出器の推論APIを公開した設定下で，そのモデルのモデル抽出を提案．SSLモデルの出力（特徴量）は通常の識別器と違い非常に高次元であるが，いくつかの攻撃設定を検討した結果，直接出力を使うのがよいと明らかにした．https://arxiv.org/abs/2205.07890

• Pre-trained Perceptual Features Improve Differentially Private Image Generation

  • DP-SGDを用いた生成モデルの学習は現実的な安全性の下で十分な品質のものができない．公開データで特徴量抽出NNを作成し，私有データを特徴量にした後，カーネルを用いた損失関数の最大平均差異を差分プライベートに最小化する学習手法を提案．ε=2程度でcifar10を学習できた．https://arxiv.org/abs/2205.12900

• Misleading Deep-Fake Detection with GAN Fingerprints

  • GANが生成する画像は，転置畳み込み層の処理などが影響してGAN手法ごと特有の模様・パターンが生じている（これをGAN fingerprintと呼ぶ）．Deep Fake検知はこのGAN fingerprintなども手掛かりとしているため，これを除去すると検知を回避できることを明らかにした．https://arxiv.org/abs/2205.12543

• How to Combine Membership-Inference Attacks on Multiple Updated Models

  • モデルの更新情報を利用したMembership Inference攻撃の提案．更新前後の複数のモデルの情報の使い方や，調整の仕方などを提案している．同じクエリを投げた時の損失関数の変化などを観察して行う．https://arxiv.org/abs/2205.06369

• SafeNet: The Unreasonable Effectiveness of Ensembles in Private Collaborative Learning

  • 秘密分散による機械学習はPoisoning攻撃を検知しにくい．いくつかのプライベートMPC機械学習はBackdoor攻撃やtarget型Poisoningの影響を受けやすいこと示し，MPC下でアンサンブルモデルを構築するためのSafeNetを提案．理論的に安全性も保証し，学習速度や通信効率も向上．https://arxiv.org/abs/2205.09986

• Generating Semantic Adversarial Examples via Feature Manipulation

  • AutoEncoderなどを用いてサンプルを潜在空間に落とし，そこで意味論的に構造化されたノイズ（MNISTなら線を太くするなど）を付加し，Adversarial Exampleを作成する手法の提案．https://arxiv.org/abs/2001.02297

• Differential Privacy: What is all the noise about?

  • 差分プライバシーのサーベイ論文．基本的な性質とメカニズムを簡潔に紹介して，機械学習の差分プライベート化（DP-SGDとPATE）について紹介．local差分プライバシーとFLについても簡単にまとめてある．https://arxiv.org/abs/2205.09453

• l-Leaks: Membership Inference Attacks with Logits

  • logitを利用したMembership推論攻撃，ℓ-Leaksを提案した．logitを利用することでシャドーモデルがターゲットモデルにより似るため，MI攻撃がより行いやすくなった．https://arxiv.org/abs/2205.06469

• DualCF: Efficient Model Extraction Attack from Counterfactual Explanations

  • 反実仮想的な説明可能なAIの説明を利用したモデル抽出攻撃で既存のものより効率的なものを提案．説明として提示されたサンプルを再びクエリし，そのラベルを得たうえでクローンモデルを学習させる．https://arxiv.org/abs/2205.06504

• MIRROR: Model Inversion for Deep Learning Network with High Fidelity

  • [NDSS2022] 公開データで学習したStyleGANを用いて，訓練済み顔認識モデルの訓練データサンプルを復元するModel Inversion攻撃を提案．復元されたサンプルは人間の目でも認識できる顔で，被害モデルには正しいラベルに分類された．https://www.ndss-symposium.org/wp-content/uploads/2022-335-paper.pdf

• Property Inference Attacks Against GANs

  • [NDSS2022] GANに対して，使用された訓練データのサンプルの割合を推論するProperty Inference攻撃を提案．また，推論した内容を用いることでMembership推論攻撃の性能を向上できることを確認した．https://www.ndss-symposium.org/wp-content/uploads/2022-19-paper.pdf

• VPN: Verification of Poisoning in Neural Networks

  • NNに対して，Backdoor攻撃で埋め込まれているトリガーを検出する技術．既存のNN検証ツール（入力の集合に対して，出力が指定したレンジに入っているかなどを検証する），Marabouとnnenumを用いて，トリガーを検出できるフレームワークを提案した．https://arxiv.org/abs/2205.03894

• Robust Optimization for Local Differential Privacy

  • ロバストlocal差分プライバシー（RLDP）という枠組みにおいて最適なデータ開示プロトコルを求める問題を，凸最適化問題として定式化した．https://arxiv.org/abs/2205.05015

• The Limits of Word Level Differential Privacy

  • 単語単位（埋め込んだベクトル）に摂動を加えるテキストベースのプライバシー保護の理論上の欠点，出力文の品質の観点からの欠点などを指摘し，深層学習ベースではない指数メカニズムベースの保護を提案した．https://arxiv.org/abs/2205.02130

• Logically Consistent Adversarial Attacks for Soft Theorem Provers

  • 自然言語モデルを用いた弱い定理証明器（soft theorem prover）に対するAdversarial Exampleの作成．通常の摂動を加えるだけではそもそも入力例の真のラベル（意味）も変えてしまうため，そこは維持し（論理的一貫性を持たせ）つつ，証明器をだますような摂動を作成した．https://arxiv.org/abs/2205.00047

• Differentially Private Triangle and 4-Cycle Counting in the Shuffle Model

  • グラフ分析の基本操作であるsubgraph countingをLocal差分プライベート化する際，shuffle modelを導入し，1ラウンドのノイズ量を削減した手法を提案．具体的にはedgeのシャッフルを提案していて，それに基づいて3-cycleなどのsubgraph countingの推定誤差の上界も計算した．https://arxiv.org/abs/2205.01429

• Wild Patterns Reloaded: A Survey of Machine Learning Security against Training Data Poisoning

  • Poisoning攻撃とその防御のサーベイ論文．過去15年間にこの分野で発表された200以上の論文をレビューし，包括的な体系化を行った．また，Poisoning攻撃の攻撃と防御の実装を提供するライブラリや，今後の課題を紹介した．https://arxiv.org/abs/2205.01992

• A Review of zk-SNARKs

  • zk-SNARKとは，証明者が検証者に対し，ある個人所有の情報についての記述が真であることを，その情報自体を明かさず証明できるプロトコルで，ブロックチェーンのスループットを安全に拡大する用途で，多くの関心を集めている．zk-SNARKの技術的基礎，応用について解説した．https://arxiv.org/abs/2202.06877

• Toward Robust Spiking Neural Network Against Adversarial Perturbation

  • Spiking Neural Network（SNN）に対するAdversarial Exampleによる攻撃の対策．AE攻撃の対策としてcertified trainingがあるが，その中でもsotaのCROWN-IBPという手法をSNN向けに設計し，SNNへAE対策を提案した．https://arxiv.org/abs/2205.01625

• Federated Stochastic Primal-dual Learning with Differential Privacy

  • 差分プライバシーを満たすfederated stochastic primal-dual algorithm，FedSPD-DPを提案．通信効率やstraggler効果に対応するために，local SGDや部分クライアント参加法などを取り入れている．https://arxiv.org/abs/2204.12284

• Data-Efficient Backdoor Attacks

  • 従来のDNNに対するBackdoor攻撃は良性セットからクリーンなデータをランダムにとりそれにトリガをつけていたが，クリーンデータ選択から戦略的に行うことを最適化問題として定式化し，それを解くための戦略を提案した．攻撃で用いたサンプル量を47%～75%程度へと削減した．https://arxiv.org/abs/2204.12281

• Towards Data-Free Model Stealing in a Hard Label Setting

  • ハードラベル（top 1ラベル）設定下でのGANベースのデータフリーモデル抽出攻撃の提案．関係ない公開データを代理データとして，従来のフレームワークにはなかった識別器も導入し，生成器を事前学習することで攻撃を効率化した．cifar100など100クラスで行った初めての結果．https://arxiv.org/abs/2204.11022

• A Tale of Two Models: Constructing Evasive Attacks on Edge Models

  • Full-precisionのDNNは一般に大きいため，Edgeデバイスに入れる際，量子化や枝刈りで軽量化される．そこに注目し，元モデルとエッジモデルの差を最大化するようなAdversarial Exampleを作成．元モデルをチェックしても気づかないが，エッジモデルでは有効になる攻撃が可能に．https://arxiv.org/abs/2204.10933

• Stability and Generalization of Differentially Private Minimax Problems

  • 差分プライバシー設定下のminimax最適化を考察する．安定性に関する理論を用いて，強凸-強凹条件下での差分プライベートなminimax最適化の汎化性能を理論的に解析した．https://arxiv.org/abs/2204.04858

• Variational quantum solutions to the Shortest Vector Problem

  • Noisy Intermediate Scale Quantum (NISQ) deviceを用いて，SVPをどれだけ効率的に解けるかを検討．Hamiltonianの基底状態を求める問題に変換して解いているが，いくつかの工夫点により，量子エミュレーションにおいて28次元までのSVPを解くことができた．https://arxiv.org/abs/2202.06757

• A general framework for the composition of quantum homomorphic encryption \& quantum error correction

  • 量子力学の法則の従う安全性を持ったクラウド型量子計算機は，量子準同型暗号と量子誤り訂正という二つの重要な構成要素がある．これらは別々に扱われてきたが，二つを組み合わせるためにgroup-theoreticな要件を設定し，一般的なフレームワークを提案した．https://arxiv.org/abs/2204.10471

2022年4月

• Indiscriminate Data Poisoning Attacks on Neural Networks

  • 既存のIndiscriminateなPoisoning攻撃（無差別型）をsequential Stackelberg gameを解くアルゴリズムと結び付け，より効果的なPoisioning攻撃を提案．また，汚染データをpytorchを用いて効率的に作成する実装も提案．https://arxiv.org/abs/2204.09092

• Backdooring Explainable Machine Learning

  • 説明可能なDNNへのBackdoor攻撃の研究．攻撃により分類結果をいじくるだけでなく，勾配系の説明画像を自由に操作することもできるが，特に，説明をもっともらしいものに維持しつつ，分類結果のみを変える攻撃（Full Disguise設定）のものも実証した．https://arxiv.org/abs/2204.09498

• Optimal Membership Inference Bounds for Adaptive Composition of Sampled Gaussian Mechanisms

  • Membership推論攻撃の対策として学習への差分プライバシー適用があげられるが，経験的に得られる攻撃の性能と理論保証される安全性にはギャップがある．これらに対し，total variationなどを用いてMIの性能を評価する指標を提案した．実験ではかなりタイトに評価できていた．https://arxiv.org/abs/2204.06106

• Robust Fingerprint of Location Trajectories Under Differential Privacy

  • 差分プライバシーのもとでユーザーの位置情報を保護し、同時に不正な電子指紋にて再配布を防止するシステムを提案．また，保護済みのデータに対して，有用性を向上させる事後処理も実装した．https://arxiv.org/abs/2204.04792

• Differentially Private Set Union

  • 複数のユーザーが持つデータセットの和集合を出す操作を差分プライベートにした方式の研究．既存手法ではユーザーのデータの和集合を集計し，ノイズ入りで閾値を越した場合のみ公開する手法だったが，sensitivityを低下させるポリシーを各ユーザーが採用した場合を検討した．https://arxiv.org/abs/2002.09745

• Network Shuffling: Privacy Amplification via Random Walks

  • local差分プライバシーはshufflingでその安全性を増幅することができるが，信頼できるshufflerの存在という仮定を緩和するために，ネットワーク上でユーザがRandom walk方式でデータを交換する方式を提案．それでも一様シャフリングなどと同程度の増幅率であることを示した．https://arxiv.org/abs/2204.03919

• Preventing Distillation-based Attacks on Neural Network IP

  • ハードウェアに実装されたDNNの知的財産は論理ロックなどで保護しようとしても，蒸留ベースのモデル抽出は防げない．これの対策として，ポイゾニングで防ぐ手法を提案した．ソフトマックス前の値に量子化したノイズを加えている．https://arxiv.org/abs/2204.00292

• Geographic Spines in the 2020 Census Disclosure Avoidance System

  • 米国センサス局が国勢調査で用いたTopDown Algorithmは行政区分などに階層的にノイズを加えていくが，この階層（geographic spine）の作り方を3通り紹介する．特にoptimized spineという方法は全体のプライバシーロス予算が効率的に用いられるよう予算の割り当てを変更する．https://arxiv.org/abs/2203.16654

2022年3月

• PublicCheck: Public Integrity Verification for Services of Run-time Deep Models

  • 公開検証可能な機械学習モデルの電子透かしを提案．電子指紋を作るためのモデルの内部情報は不要で，検証時はブラックボックス問合わせで行えるという特徴がある．入力例を変形などし，モデルの決定境界を覆う，限られた数のencysted電子指紋を生成する．https://arxiv.org/abs/2203.10902

• Photonic Differential Privacy with Direct Feedback Alignment

  • 光演算処理装置（Optical Processing Unit, OPU）は，誤差逆伝搬に代わるDirect Feedback Alignment (DFA)という手法とともに深層学習への応用が期待されているが，optical random projectionに内在するランダム性を利用して，差分プライベートな学習を行えるDFAを構築した．https://arxiv.org/abs/2106.03645

• Adversarial Parameter Attack on Deep Neural Networks

  • DNNのパラメータに摂動を加え，精度は維持しつつAdversarial Exampleなどに対する頑健性を低下させる攻撃の提案．ある制約を満たすパラメータ集合に対しては，深さが十分あるとき，任意のDNNに対して，同じ精度だが，頑健性をいくらでも低下させたDNNが存在することを示した．https://arxiv.org/abs/2203.10502

• Message recovery attack to NTRU using a lattice independent from the public key

  • 格子理論とBabai's Nearest Plane Algorithmを用いたNTRU-HPS cryptosystemに対する攻撃を提案．NTRUに対する従来のCVP攻撃を，公開鍵で構成される古典的な格子に対してではなく，新たに定めた格子に対して行う．https://arxiv.org/abs/2203.09620

• Stochastic and Private Nonconvex Outlier-Robust PCA

  • 外れ値にロバストな理論保証付きの確率的主成分分析を提案．新しい収束分析を考案し，グラスマニアン上の確率的測地線降下法を含む手法が，基礎となる部分空間を与えることを示した．応用として，ガウシアンメカニズムによる差分プライベートな外れ値ロバストPCAなどがある．https://arxiv.org/abs/2203.09276

• Bayesian Framework for Gradient Leakage

  • FLにおける勾配漏洩問題を，攻撃者は入力と勾配の分布に関する仮定を持ったものであると考え，ベイズ最適化の枠組みで定式化した．実験では攻撃者がそれらのunderlyingな分布を持っている場合に攻撃が有効であることを確認した．https://arxiv.org/abs/2111.04706

• SoK: Differential Privacy on Graph-Structured Data

  • グラフにかかわるデータの統計量開示や，GNNによる学習に対する差分プライバシーの定式化について議論する．特にグラフデータに対しては隣接性の定義などが乱立しているため，先行研究を整理し，GNNの領域を含む課題と有望なアプリケーションについて議論する．https://arxiv.org/abs/2203.09205

• Attacking deep networks with surrogate-based adversarial black-box methods is easy

  • 代理モデルを使う転移ベースのAdversarial Example作成とクエリベースの作成を適切に組み合わせたGFCS（Gradient First, Coimage Second）という攻撃を提案．ResNet-152を代理モデルとしてVGG-16に対するuntargetedなAE攻撃は中央値6回のクエリで成功率99.9%であった．https://arxiv.org/abs/2203.08725

• Privacy-Aware Compression for Federated Data Analysis

  • 分散した低帯域幅のユーザーデバイス群から受けたノイジーな応答をサーバーが集約するFederated Data Analyticsでは，プライバシのための圧縮と低帯域制約よる圧縮があったが，これらを組み合わせ，任意の通信予算で機能するプライバシを考慮した圧縮メカニズムを設計した．https://arxiv.org/abs/2203.08134

• Generating Privacy-Preserving Process Data with Deep Generative Models

  • Transformerネットワークによる生成器，識別器を用いたプロセスデータ生成のためのGAN（ProcessGAN）を提案．実験により提案手法は識別器をGRUやLSTM，autoregressive Transformerなどにしたものよりも品質のいいデータが生成できた．https://arxiv.org/abs/2203.07949

• Label-only Model Inversion Attack: The Attack that Requires the Least Information

  • 攻撃対象のモデルが分類結果のラベルしか出力しない場合のModel Inversion攻撃を提案．データレコードからモデル決定境界までの距離の中央値を算出し，その値から出力の確信度を復元し，通常のModel Inversionを行う．https://arxiv.org/abs/2203.06555

• Fully Adaptive Composition in Differential Privacy

  • 合成則は差分プライバシーの重要な性質であるが，Rogersによって提案された完全適応型合成定理の改良を行う．既存の定理のフィルタに制約がかかるところや，大きい定数項が存在する問題を克服した．time-uniform martingale concentrationを用いた．https://arxiv.org/abs/2203.05481

• Protecting Facial Privacy: Generating Adversarial Identity Masks via Style-robust Makeup Transfer

  • SNSなどで拡散した顔画像を不正な顔認識システムに推論されるのを防ぐために，Adversarial Exampleを用いた回避が提案されているが，whitebox設定であったり，画像が不自然なものが多い．blackbox設定で視覚的品質を保ったadversarial makeup transfer GANという対策を提案．https://arxiv.org/abs/2203.03121

• The Impact of Differential Privacy on Group Disparity Mitigation

  • 公平性を高めるとデータセット内の少数派の情報が増幅されるため，プライバシー漏洩の危険性がある言われている．これをうけ，差分プライベートな学習はグループ間性の差を大きくすると確かめた．一方でロバストな設定だと逆にDPが性能差を小さくするよう働くことを発見した．https://arxiv.org/abs/2203.02745

• Membership Privacy Protection for Image Translation Models via Adversarial Knowledge Distillation

  • イラストなどを写真っぽく変換したりできる画像変換モデルに対するMembership推論攻撃の対策として，敵対的知識蒸留による方法を提案．知識蒸留で汎化性を上げ，わずかな性能劣化（指標はKID）に対して，攻撃性能を38.9%ほど低減した．https://arxiv.org/abs/2203.05212

• Cosine Model Watermarking Against Ensemble Distillation

  • モデル抽出に対する電子透かしはアンサンブル蒸留で除去できてしまうという課題がある．アンサンブル蒸留に強いCosWMという電子透かしを提案．教師モデルの出力にコサイン信号を埋め込み，良い精度を出す生徒モデルにはこの信号の影響が強く反映することを示した．https://arxiv.org/abs/2203.02777

• Targeted Data Poisoning Attack on News Recommendation System by Content Perturbation

  • ニュース推薦システムへのPoisoning攻撃．閲覧されたニュースの中身を摂動により改ざんすることで，目的のニュースのランキングを操作する．改ざんがばれないかというリスク指標を作り，限られたリスク予算の中でランク操作を最大化する強化学習フレームワークTDP-CPを提案．https://arxiv.org/abs/2203.03560

• User-Level Membership Inference Attack against Metric Embedding Learning

  • 攻撃者が正確なトレーニングサンプルを入手できない場合でも，ターゲットユーザからのサンプルが訓練に使用されたかを見分けるUser-levelのMembership Inference攻撃の提案．攻撃にはmetric embedding learningを取り入れた．https://arxiv.org/abs/2203.02077

• Private Frequency Estimation via Projective Geometry

  • local差分プライベートな頻度推定方法ProjectiveGeometryResponseを提案．データを有限体上の射影空間の点と考え，ある超平面に一定の確率でとどまるようなランダム置換による保護方法．既存のものより計算コストや消費メモリが優れており，誤差も良いものと同等レベル．https://arxiv.org/abs/2203.00194

• An Empirical Study on the Intrinsic Privacy of SGD

  • SGDが元々持っているランダム性のプライバシー保護性を評価．4つのデータセット，凸と非凸の目的関数に対して12万以上のモデルを訓練し，ランダムシードが個々の訓練例よりもモデルパラメータに大きな影響を与えることを実証した．実験評価の結果εがだいぶ小さくなった．https://arxiv.org/abs/1912.02919

• Projective Ranking-based GNN Evasion Attacks

  • GNNへのAdversarial Exampleを用いた攻撃には，勾配ベースのものの他に強化学習ベースのものがあるが，攻撃予算が変更された場合，学習された攻撃戦略を移行できないことがある．それに対応した評価フレームワークと射影型ランキング法を提案した．https://arxiv.org/abs/2202.12993

• Differentially Private Speaker Anonymization

  • 音声サービスにおける話者のプライバシー保護は一般に，話者埋め込みで音声を再合成することで行われる．しかし，これらが不完全なことを示し，それに対してオートエンコーダと自動音声認識器をベースとする差分プライベートな特徴抽出器を提案した．https://arxiv.org/abs/2202.11823

2022年2月

• Evaluation of Open-source Tools for Differential Privacy

  • 差分プライバシーを実現するツールのレビュー．機械学習のための3つ，統計的クエリのための2つ，合成データ生成のための4つの性能を検討．連続データとカテゴリデータそれぞれについても定量評価を行った．評価結果からツール選択のpreliminary guidelineを提供．https://arxiv.org/abs/2202.09587

• Fingerprinting Deep Neural Networks Globally via Universal Adversarial Perturbations

  • モデル抽出攻撃によって盗まれたモデルに対してモデルの所有性を電子指紋で示す手法を提案．DNNモデルの決定境界はUAP(Universal Adversarial Perturbation)で特徴づけられると示し，UAPを用いた電子透かしを提案．20個の電子指紋で、99.99%以上の信頼度で検出できた．https://arxiv.org/abs/2202.08602

• Local Differential Privacy for Belief Functions

  • belief function（信念関数）を用いたlocal差分プライバシーを2種類定義した．1つがShafer's semanticsに基づくもので，もう1つが不正確である確率に基づくものである．どちらも合成則や事後処理則を満たす．これらの定義を用いて仮説検定をするフレームワークを提案．https://arxiv.org/abs/2202.08576

• Quantum Differential Privacy: An Information Theory Perspective

  • 量子コンピューターでの計算で本質的に生じるノイズを差分プライバシーに用いる手法の検討．量子差分プライバシーをquantum divergenceを用いて定義し，情報理論的に議論する．量子回路や量子機械学習などに適用できる．https://arxiv.org/abs/2202.10717

• Deduplicating Training Data Mitigates Privacy Risks in Language Models

  • 大規模な言語モデルは学習データのsequenceを出力してしまうことがありプライバシー攻撃をうける恐れがある．モデルが学習sequenceを再生成する速度は，学習データ内のsequence数にsuperlinearであることを示し，元データの重複を排除すると攻撃に安全になることを示した．https://arxiv.org/abs/2202.06539

• SecGNN: Privacy-Preserving Graph Neural Network Training and Inference as a Cloud Service

  • プライバシーを保護したままクラウド上でGNNの学習や推論をするサービスを提供するSecGNNの提案．秘密分散を用いて学習を行う．スパースな隣接行列の適切な暗号化や収束判定が安全にできるなどの工夫点がある．実験で通常の平文学習と同等精度が出ることを実証した．https://arxiv.org/abs/2202.07835

• The Adversarial Security Mitigations of mmWave Beamforming Prediction Models using Defensive Distillation and Adversarial Retraining

  • 5G、6Gなどの次世代ワイヤレスネットワークにおいて，ビームフォーミング予測を多出力回帰問題として扱う深層学習へのAdversarial Exampleによる攻撃とその対策の研究．敵対的訓練と防御的蒸留という2種類の防御を提案し，それぞれ有効であることを実験で確かめた．https://arxiv.org/abs/2202.08185

• Defending against Reconstruction Attacks with Rényi Differential Privacy

  • 訓練済み言語モデルにアクセスし，データサンプルを再構成する攻撃（RA）がある．RAに対しては，差分プライバシーによる既存の評価よりも，優れた安全性保証を与えられることを示した．大きいεの下ではMembership推論は防げないが希少なデータのRAは防げることを示した．https://arxiv.org/abs/2202.07623

• OLIVE: Oblivious Federated Learning on Trusted Execution Environment against the risk of sparsification

  • TEEを活用しcentralなDPとlocalなDPの良いところを両立するFLフレームワーク，OLIVEを提案．TEEに対する脅威として，メモリアクセスパターンの漏洩を解析しFLでよくみられるスパースな勾配にリスクがあることを明らかにした．その対策として忘却的だが効率的な方式を提案．https://arxiv.org/abs/2202.07165

• Recent Advances in Reliable Deep Graph Learning: Inherent Noise, Distribution Shift, and Adversarial Attack

  • GNNに基づくディープグラフラーニングの信頼性向上のための包括的なレビューをしたサーベイ論文．Adversarial Examlpeによる攻撃に加えて，内在的なノイズや分布シフト（訓練データとテストデータの分布が違う）などの問題も取り上げた．https://arxiv.org/abs/2202.07114

• Privacy-preserving Generative Framework Against Membership Inference Attacks

  • Membership推論攻撃に耐性のあるモデルを学習できるような訓練データをVAEで生成する手法の提案．差分プライバシーを拡張したGeneralized Privacyという指標が基準．VAEによって潜在空間に落とされた情報にノイズを付与．実験評価では有用性が高く耐性も強いものができた．https://arxiv.org/abs/2202.05469

• Information Design for Differential Privacy

  • 差分プライバシーメカニズムの出力価値を最大する問題が制約付き情報設計問題と等価であることと示し，その解を特徴付けた．優加法的なペイオフを持つデータ分析者には，幾何メカニズムが最適であることを示した．https://arxiv.org/abs/2202.05452

• FAAG: Fast Adversarial Audio Generation through Interactive Attack Optimisation

  • 自動音声認識サービス（ASRs）に対するAdversarial Exampleを高速で生成する手法，FAAGの提案．音声の冒頭部分にノイズを加える．平均85%の成功を維持しながら，GPUで約10秒でノイズを作成した．一方で怪しい例には良性の音声を付加することで攻撃を防げることも示した．https://arxiv.org/abs/2202.05416

• Rainbow Differential Privacy

  • データセットをノード，隣接していればエッジを与えるグラフ構造ととらえて，データセットの色付けに対応する二値関数を差分プライベート化した結果を多値（3値？）関数に拡張した．https://arxiv.org/abs/2202.03974

• NFT Wash Trading: Quantifying suspicious behaviour in NFT markets

  • Ethereum blockchain上のスマートコントラクトに基づくNFTの仮装売買による不正取引の調査．4年弱分のデータの主要なものをグラフ分析し，サンプル内の3.93%のアドレスが不正の疑いあると推測．調査結果はEthereum内のNFT仮装売買のlower boundと考えることができる．https://arxiv.org/abs/2202.03866

• Practical Challenges in Differentially-Private Federated Survival Analysis of Medical Data

  • 複数の医療機関が少量のデータを持ち寄って，差分プライベートなFederated Learningにて生存時間分析を行う設定の研究．既存手法に加えて，各クライアントが正規化した勾配を提出するようにしたDPFed-postを提案．既存手法よりモデル性能が向上した．https://arxiv.org/abs/2202.03758

• Backdoor Defense via Decoupling the Training Process

  • DNNへのBackdoor攻撃対策．まず学習済みモデルにラベルなしデータを用いてself-supervised学習を行う．次に特徴量抽出部を固定しFC層を付け通常の教師あり学習を行う．その結果確信度が低いサンプルのラベルをなくし，最後にsemi-supervisedなfine-tuningを行い影響を除去．https://arxiv.org/abs/2202.03423

• Improved Certified Defenses against Data Poisoning with (Deterministic) Finite Aggregation

  • Poisoning攻撃の対策の集約ベースの認証済み防御Deep Partition Aggregationは，学習データをdisjointに分割しそれぞれで学習させた分類器の精度を見て汚染状況を見るが，小さくdisjointに分けたのをいくつか組み合わせて同様のことをする手法を提案．同精度で認証率を向上．https://arxiv.org/abs/2202.02628

• Training Differentially Private Models with Secure Multiparty Computation

  • 差分プライバシーとセキュアマルチパーティ計算を組み合わせて一般化線形モデルを学習させる方法の提案．秘密計算的にノイズを生成し，秘匿したいモデルに足し合わせることでDPを達成．データが水平にあっても，垂直にあっても適用可能．https://arxiv.org/abs/2202.02625

• A Survey on Poisoning Attacks Against Supervised Machine Learning

  • 教師ありモデルに対する既存Poisoning攻撃の方法の整理と要約を行ったサーベイ論文．いくつかの論文に関してその手法と限界を示し，最後に防御手法をまとめる．https://arxiv.org/abs/2202.02510

• Differentially Private Graph Classification with GNNs

  • グラフ分類するGNNに差分プライバシーを適用した．DP-SGDで学習することで実現．複数アーキテクチャで実験．GNNExplainerという説明可能なAIを用いて，DP化してもちゃんと学習できているかを確かめた．https://arxiv.org/abs/2202.02575

• Answering Count Queries for Genomic Data with Perfect Privacy

  • perfect privacyという制約のもと，ゲノムデータにカウントクエリを行う研究．予め定めたsensitiveな遺伝子型については完全に情報を漏らすことなく，クエリの絶対誤差を最小にすることを目指す．提案手法をDPベース機構とも比較したが，あるεの下ではエラー確率が下回った．https://arxiv.org/abs/2202.01806

• Dikaios: Privacy Auditing of Algorithmic Fairness via Attribute Inference Attacks

  • 属性推論攻撃の考え方を用いて，モデルが各クラスに対して公平に学習できているかを監査するフレームワーク，Dikaiosを提案した．https://arxiv.org/abs/2202.02242

• Differentially Private Community Detection for Stochastic Block Models

  • グラフ上のコミュニティ検出を個々の接続（エッジ）のプライバシー（エッジ差分プライバシー）を守りながら行う方式の提案．推定器の安定度を摂動する方法，サンプリングによる方法，グラフを摂動する方法について理論的なトレードオフを計算．https://arxiv.org/abs/2202.00636

• Exact Privacy Analysis of the Gaussian Sparse Histogram Mechanism

  • スパースなヒストグラム開示において，既存の閾値メカニズム的なもののノイズが正規分布に従う場合の正確なイプシロン-デルタの関係を導出した．https://arxiv.org/abs/2202.01100

• An Eye for an Eye: Defending against Gradient-based Attacks with Gradients

  • 勾配系のAdversarial Example作成方法に対して，同様に勾配を用いて防御するTwo-stream Restoration Network (TRN) という方式を提案．AEと勾配を入力として，敵対的なノイズ（勾配）を推定する．モデルの精度をほとんど落とすことなく防御できた．https://arxiv.org/abs/2202.01117

• Asymptotically Calabi metrics and weak Fano manifolds

  • 任意のALH^∗重力インスタントン（なんかいくつかの条件を満たすハイパーケーラーな4-manifold）は，weak del Pezzo曲面から反標準的な楕円曲線を引いたものに，Tian-Yau constructionを適用することで得られることを示した．https://arxiv.org/abs/2111.09287

• Bounding Training Data Reconstruction in Private (Deep) Learning

  • 差分プライバシーはMembership推論攻撃に焦点を当てており攻撃者の能力を過大評価しがち．訓練データ再構築攻撃に対するDPメカニズムの保証する安全性をで初めて導出した．この攻撃に対してはRenyi DPとFisher情報漏洩が強いsemantic protectionを与えることを明らかにした．https://arxiv.org/abs/2201.12383

• Private Boosted Decision Trees via Smooth Re-Weighting

  • 差分プライベートを満たす実用的なboosted決定木を提案し，検証する．Bunら[2020]のスムースブースティングと深さ1の決定木（切り株）を組み合わせた．他のアンサンブル分類器よりも優れたモデルスパース性（モデル解釈性？）と精度が出た．https://arxiv.org/abs/2201.12648

• A Joint Exponential Mechanism For Differentially Private Top- k

  • d個の選択肢があるドメインから，特に頻度の多いk個を選ぶメカニズムを差分プライベートに実現するJoint指数メカニズムを提案．時間計算量O(dklog(k)+dlog(d))，出力空間の空間計算量O(dk)で動く．ちょうどよい感じのkなら既存のものより良い．https://arxiv.org/abs/2201.12333

• Backdoors Stuck At The Frontdoor: Multi-Agent Backdoor Attacks That Backfire

  • 一つの機械学習モデルに複数の攻撃者がBackdoor攻撃を仕掛けるシナリオを考察した．いろいろな設定化で複数の攻撃がかぶると逆効果になることを示し，均衡攻撃成功率の下限を示した．https://arxiv.org/abs/2201.12211

• Transfer Learning In Differential Privacy's Hybrid-Model

  • n人が信頼したCuratorにデータを預け，それとは別のN人がLocal DPにてデータを保護するハイブリット型の機械学習の研究．特にcurator側とlocal DP側が異なる分布に従う場合のSubsample-Test-Reweighスキームを提案している．https://arxiv.org/abs/2201.12018

2022年1月

• Report: State of the Art Solutions for Privacy Preserving Machine Learning in the Medical Context

  • 医療分野のビックデータ活用では電子カルテなど，複数の病院が持つデータを持ち寄ることがありプライバシーの問題がある．準同型暗号，秘密分散，TEEなど既存のプライバシーを保護したまま行えるデータ分析がどういう場合，用いられるか整理した．https://arxiv.org/abs/2201.11406

• Biometric Template Protection for Neural-Network-based Face Recognition Systems: A Survey of Methods and Evaluation Techniques

  • ニューラルネットワークを用いた顔認識のシステムにおいて，face templates（顔画像もしくはその特徴ベクトル）を保護する手法，Biometric Template Protection (BTP) のサーベイ．特徴量抽出した後はNN以外を用いてBTPを行う手法とNNを用いる手法を比較．https://arxiv.org/abs/2110.05044

• Plume: Differential Privacy at Scale

  • 差分プライバシーを満たす分析は多く提案されているが実用的なシステムの運用では，1ユーザが複数レコードに関わっている，ドメインのレンジが未知，データが膨大など論文では考慮されていない状況に直面することがある．これらに対応したPlumeというシステムを提案．https://arxiv.org/abs/2201.11603

• Variational Model Inversion Attacks

  • 訓練済みモデルから訓練データを復元するModel Inversion攻撃を確率の言葉で定式化し，変分推論の枠組みで最適化を行う攻撃を提案．ターゲットデータセットと類似の公開データセットを用いて生成モデルを学習させている．https://arxiv.org/abs/2201.10787

• Backdoor Defense with Machine Unlearning

  • DNNに対するBackdoor攻撃の対策，BAERASEの提案．トリガーパターン復元は未知の分布の学習とみなせるので生成モデルを用いて行う．復元したトリガーパターンを用いてこれらを消去するようなunlearningを行う．この手法は元訓練データがいらない上に精度も既存のものより良い．https://arxiv.org/abs/2201.09538

• Increasing the Cost of Model Extraction with Calibrated Proof of Work

  • 既存のModel Extraction対策は出力の改変や検知などに焦点を当てるため，正当なユーザには堅牢性と有用性のトレードオフがあった．ユーザがモデルの予測を見るために，Proof-of-Workを完了することを要求することで不正なユーザの攻撃を阻害するフレームワークを提案した．https://arxiv.org/abs/2201.09243

• Are Your Sensitive Attributes Private? Novel Model Inversion Attribute Inference Attacks on Classification Models

  • 攻撃者が学習データの各レコードの一部属性を知っており，未知の属性を推測するModel Inversion攻撃の新手法を提案．正しい属性を入力した際は分類の確信度が上がるという現象をキーアイデアとして，モデル出力が確信度も出す場合とラベルのみを返す場合をそれぞれ検証した．https://arxiv.org/abs/2201.09370

• Differentially Private SGDA for Minimax Problems

  • GANの学習などで用いられるMinimax最適化問題のためのSGDA (Stochastic Gradient Descent Ascent)を差分プライベートにしたDP-SGDAを提案．Convex-Concaveな場合とNonconvex-Strongly-Concaveな場合の理論的な収束性も評価．https://arxiv.org/abs/2201.09046

• Post-Training Detection of Backdoor Attacks for Two-Class and Multi-Attack Scenarios

  • DNNモデルへのBackdoor攻撃で仕込まれるトリガをリバースエンジニアリングする防御は2値や複数パターンの攻撃には対応できてなかった．Expected Transferability統計量を既存手法に組み込んだ手法を提案し，実験で有効性を示した．https://arxiv.org/abs/2201.08474

• Graph Neural Network-based Android Malware Classification with Jumping Knowledge

  • Jumping Knowledgeを利用したGNNに基づくAndroidのマルウェア検知方法の提案．Androidの関数コールグラフ（FCG）をGNNで学習させるが，over-smoothing problem対策のためにジャンピングナレッジ手法を利用した．https://arxiv.org/abs/2201.07537

• StolenEncoder: Stealing Pre-trained Encoders in Self-supervised Learning

  • 訓練済みエンコーダは下流タスクに大きな影響を与える貴重なモデルであり，それを用いたサービス（EaaS）もある．訓練済みエンコーダを盗む攻撃，StolenEncoderを提案．GoogleやOpenAI，Clarifaiのエンコーダに実際に実験を行い，同等精度のエンコーダを盗むことができた．https://arxiv.org/abs/2201.05889

• MetaV: A Meta-Verifier Approach to Task-Agnostic Model Fingerprinting

  • 既存の電子指紋は分類問題に特化したものが提案されてきた，それをうけてタスクに依存しない（回帰や生成モデルにも適用できる）機械学習モデルへの電子指紋フレームワーク，UTAFを提案した．適応的な電子指紋と同時に，メタ検証器を学習させて疑わしいモデルか予測する．https://arxiv.org/abs/2201.07391

• GhostKnight: Breaching Data Integrity via Speculative Execution

  • 既存の投機的実行への攻撃はいわゆるspectre型で，マイクロアーキテクチャのバッファの変化を利用したデータの機密性への攻撃であった．投機的実行でDRAMへのアクセスが頻繁におきる場合の構造の変化（GhostKnightと呼ぶ）を利用したデータの完全性に対する攻撃を提案．https://arxiv.org/abs/2002.00524

• Interpretable and Effective Reinforcement Learning for Attacking against Graph-based Rumor Detection

  • 噂を検知するグラフベースの機械学習モデル，グラフ構造やランキングに起因する脆弱性が指摘されている．こういった脆弱性を可視化するために，解釈可能で効率的な強化学習ベースの検知器への攻撃を提案した．https://arxiv.org/abs/2201.05819

• Differentially Private Generative Adversarial Networks with Model Inversion

  • GANへの差分プライバシーの適用は精度低下を招くため，一度生データを低次元潜在空間に落とし，そこで，DP-GANを適用し，最後に元に戻すDP Model Inversionというデータ合成の方式を提案．いくつかのデータセットで通常のDP-GANより精度が良いことを示した．https://arxiv.org/abs/2201.03139

• Fast Gradient Non-sign Methods

  • Adversarial Exampleを作るアルゴリズムFast Gradient Sign Method(FGSM)は符号しか見ない分，正確に目指したい勾配の方向にノイズを生成できるとは限らないので，Taylor展開的にノイズを生成するFast Gradient Non-sign Method(FGNM)を提案し，実験により有効性を実証した．https://arxiv.org/abs/2110.12734

• Generating synthetic mobility data for a realistic population with RNNs to improve utility and privacy

  • 実際の位置情報を用いて学習させたRNNを用いてモビリティデータの合成データを生成した．差分プライバシーやplausible deniabilityとは異なる，最小距離によるプライバシー指標に基づいて，ある種のプライバシーを保護したモビリティデータができた．https://arxiv.org/abs/2201.01139

• Differential Privacy Made Easy

  • ユーザーにとっていじくるパラメータが最小になるような差分プライバシーライブラリ，GRAM-DPを提案．また，3つの既存ライブラリ「diffprivlib」「Smartnoise」「PyDP」を比較するフレームワークも提案．https://arxiv.org/abs/2201.00099

• Few-shot Backdoor Defense Using Shapley Estimation

  • DNNに埋め込まれたBackdoorを発見する方法，ShapPruningを提案．クラスあたり1画像、あるいはデータがないといった特にデータが少ない場合，Shapley値を用いてトリガーとなるニューロンを特定する．いくつかの高速化のアイデアも出した．https://arxiv.org/abs/2112.14889

• GenShare: Sharing Accurate Differentially-Private Statistics for Genomic Datasets with Dependent Tuples

  • 家族関係のような遺伝的傾向を含むゲノムデータセットに対するプライバシー保護機能付きの問合せメカニズム，GenShareを提案．ベースはラプラスメカニズム．cohort discovery，minor allele頻度，カイ二乗検定などのクエリなどに焦点を当てて実験した．https://arxiv.org/abs/2112.15109