2023年12月
Practical considerations on using private sampling for synthetic data
差分プライベートな合成データ生成において最もシンプルなのはプライベートサンプリングによる実現である．しかし，こうした手法を現実のデータに適用するには非現実的な制約がある．これに対して，具体的な実装を行い，実用的なケースにおける実現性について議論した．https://arxiv.org/abs/2312.07139
Diffence: Fencing Membership Privacy With Diffusion Models
メンバーシップ推論の対策は「訓練時」か「推論"出力後」のどちらかがメインであったが，その間の「推論"入力前"」で行う対策の提案．入力を拡散モデルで拡散したのち再構成することで，攻撃者が見るLossの値を曖昧にする（ラベルは変えないようにするため精度は保たれる）．https://arxiv.org/abs/2312.04692
PCDP-SGD: Improving the Convergence of Differentially Private SGD via Projection in Advance
Clippingの前に勾配を射影して圧縮するProjected Clipping DP-SGD，PCDP-SGDを提案．提案手法がDP-SGDの収束性を向上させることを示し，実験でも通常のDP-SGDより性能が高くなることを確認．https://arxiv.org/abs/2312.03792
Dr. Jekyll and Mr. Hyde: Two Faces of LLMs
ChatGPTなどは不適切な応答を防ぐための安全装置がつけられているが，敵対的なペルソナを作成することでこれらを回避し，有害な情報を引き出せることを実証．https://arxiv.org/abs/2312.03853
DPSUR: Accelerating Differentially Private Stochastic Gradient Descent Using Selective Update and Release
DP-SGDの有用性が低い課題に対して，選択的にモデル更新を行うDPSURという手法を提案．クリッピングの工夫や閾値メカニズムを用いることで，更新すべき勾配を選択．いくつかのデータセットを用いた実験で収束が早くなっていることを確認．https://arxiv.org/abs/2311.14056
2023年11月
Adversarial Examples Exist in Two-Layer ReLU Networks for Low Dimensional Linear Subspaces
2層のReLUネットワークで，データが低次元線形部分空間になっているものに対し，Adversarial Exampleの挙動を理論的に解析．通常の学習だとデータ部分空間の直交方向に勾配が大きくなり，敵対的なL2ノイズ生成に弱くなる．初期パラメータを小さくしたり，正則化で対策になる．https://arxiv.org/abs/2303.00783
SynDiffix: More accurate synthetic structured data
合成データ生成手法SynDiffixの提案．深層学習などの手法ではなく，集計やノイズ付加，削除などでデータの過学習を抑えた安全な合成データを生成する．CTGANより性能が2倍以上よく，GretelやMostlyAIなどの既存製品に対しても同等以上の結果になった．https://arxiv.org/abs/2311.09628
Security in Drones
ドローンに関するセキュリティの脅威を列挙．利活用事例を整理し，脅威を大きく2つ提示．1つはハッキングなどで攻撃者に操作されてしまうことで，もう1つはドローンが収集したデータを盗み見られることによる機密情報や個人情報の流出である．https://arxiv.org/abs/2311.07894
Practical Membership Inference Attacks against Fine-tuned Large Language Models via Self-prompt Calibration
LLMに対する既存のメンバーシップ推論攻撃は，overfittingに基づき，正則化などで対策ができる．また，既存の参照モデルベースの攻撃も現実的な設定でない．これに対し，memorizationの際に起きる確率の変動に注目した現実的な参照モデルベースのメンバーシップ推論を提案．https://arxiv.org/abs/2311.06062
Perfectly Accurate Membership Inference by a Dishonest Central Server in Federated Learning
FLにおいて，サーバーがdishonestである場合のメンバーシップ推論の脅威を評価．被害モデルの活性化関数がReLUと仮定し，微小な値の変化を見て確実にメンバーシップ推論を行う方法を提案．5層くらいのNNでの実験で，100%の攻撃精度を確認．https://arxiv.org/abs/2203.16463
Differentially Private Topological Data Analysis
persistence diagram(PD)を生成する差分プライベートな位相的データ解析を提案．ボトルネック距離に関するČech複体で定義されたPDはsensitivityがデータ数nに従って減衰しない．L1-DTMを用いて定義されるPDのsensitivityがO(1/n)であることを示し，それによるDPなPDを生成．https://arxiv.org/abs/2305.03609
2023年10月
FLAIM: AIM-based Synthetic Data Generation in the Federated Setting
連合学習の設定で表形式合成データ生成のSOTAであるAIMを行う手法DistAIMとFLAIMを提案．データの不均一性がある場合は単純なアプローチではうまくいかないが，提案手法ではうまくいくことを実験で確認．https://arxiv.org/abs/2310.03447
2023年9月
Generating tabular datasets under differential privacy
深層学習ベースの表データの差分プライベート合成の新しい手法の提案．テーブルのエンコードはSAINTという注意機構ベースの手法で行う．TableDiffusionという拡散モデルベースのテーブルデータ生成手法を提案．https://arxiv.org/abs/2308.14784
Synthesizing differentially private location traces including co-locations
移動情報の差分プライベートな合成はレコードごとに独立に行うのが通常だが，友人関係など同じ行動を共にするレコードたちも生成できるようにした．位置情報は時間ごとの人数の分布をDP化，各個人の友人関係の確率もDP化し，それらの情報から人々の移動経路を合成．https://link.springer.com/article/10.1007/s10207-023-00740-9
2023年6月
Towards More Realistic Membership Inference Attacks on Large Diffusion Models
Stable Diffusion（v.1.4）へのメンバーシップ推論攻撃の研究．実際のモデルに対する攻撃は，用意したデータでfine-tuningなどをし，実験用member/non-memberデータにわけることが多いが，それは公正でないとし，用意したmember/non-memberデータの分布を近づける工夫を提案．https://arxiv.org/abs/2306.12983
Gaussian Membership Inference Privacy
メンバーシップ推論脅威モデルの下で，現実的な攻撃者の能力を考慮した「Membership Inference Privacy(MIP)」という概念を提案．SGDに対してはGausian MIPを提案し，より分析をしやすくしている．既存の監査と異なり，大量のシャドーモデルなしで評価できる手法を提案．https://arxiv.org/abs/2306.07273
Privately generating tabular data using language models
表形式データの行を1文と見て，差分プライベートに言語モデルを学習させ，そこから合成データを生成する手法を提案．複数のデータセットで既存のグラフィカルモデルベースのものと同等の性能が発揮されたことを確かめた．https://arxiv.org/abs/2306.04803
Privacy Distillation: Reducing Re-identification Risk of Multimodal Diffusion Models
実データから拡散モデルを学習し，大量の合成データを生成．その合成データからプライバシーリスクが低いものだけ選び，再び拡散モデルを学習させ，そのモデルを共有するPrivacy Distillationという方法を提案．Chest X-ray datasetなどを用いて性能を実証．https://arxiv.org/abs/2306.01322
Robust Backdoor Attack with Visible, Semantic, Sample-Specific, and Compatible Triggers
Backdoorはinvisibleで強力なものが多く研究されているが，こうした攻撃はreal-worldにおける視覚的な歪みの影響を受けることを発見．これに対応するために，textベースのtriggerを用いたstable diffusion modelを用いた攻撃画像を作るBackdoor攻撃を提案．https://arxiv.org/abs/2306.00816
2023年5月
Privacy-Preserving In-Context Learning for Large Language Models
LLMなどをプライベートなデータで補強するIn-context Learningを差分プライベートにする方法を提案（DP-ICL）．Report-Noisy-Maxメカニズムにガウシアンメカニズムを組み込んだものをアンサンブルの結果に適用．非DPなICLに対して，2%以下の精度劣化に抑えた．https://arxiv.org/abs/2305.01639
2023年4月
Secure Split Learning against Property Inference, Data Reconstruction, and Feature Space Hijacking Attacks
分割学習へのproperty inference，data reconstruction，feature hijacking attacksの3つの攻撃に対する根本的な脆弱性を特定し，対策を提案．対策ではR3eLUという新たな確率的な活性化関数を提案．またプライバシー予算のタイトな分配方法も提示し，実験で性能の良さを確認．https://arxiv.org/abs/2304.09515
Have it your way: Individualized Privacy Assignment for DP-SGD
DP-SGDはすべての点に一様にプライバシー保護を保証するが，点（ユーザ）目線だと，過度に保護されていたり保護が不十分だったりする．個人ごとにプライバシー予算を管理するIndividualized DP-SGDを提案．プライバシーvs有用性のトレードオフを経験的に改善．https://arxiv.org/abs/2303.17046
2023年3月
Did You Train on My Dataset? Towards Public Dataset Protection with Clean-Label Backdoor Watermarking
公開データセットをライセンスで禁止した商業利用などされると困るので，データセットのうち少量のデータにトリガーを埋め込み，それで学習したモデルに電子透かしを埋め込むというクリーンラベルバックドア電子透かしフレームワークを提案．テキスト，音声，画像で実験．https://arxiv.org/abs/2303.11470
A Recipe for Watermarking Diffusion Models
拡散モデルは，学習済みのものが流通し，様々なアプリケーションに組み込まれることが期待されるため，モデル保護のための電子透かしを埋め込む手法を提案．ニューラルネットの使い方なども異なるのでそれ用に電子透かし方法を調整．実装も公開．https://arxiv.org/abs/2303.10137
Easy Differentially Private Linear Regression
既存の差分プライベートな線形回帰モデルは，エンドユーザが適切なハイパーパラメタとデータ境界を設定できることが前提である．これらが不要な指数メカニズムを提案．非DPなモデルを複数学習させ，Tukey depthの高いモデルを選択する．data richな状態では高い性能を発揮．https://arxiv.org/abs/2208.07353
Can Membership Inferencing be Refuted?
メンバーシップ推論をもっともらしく否認する方法の研究．ターゲットサンプルに対して，そのサンプルを使わずともそのモデルを得れたことを示し，推論攻撃を否認する．MNISTやCIFAR10を用いて実証評価も行った．https://arxiv.org/abs/2303.03648
Differential Privacy Meets Neural Network Pruning
差分プライベートな深層学習は保護と有用性の両立に苦戦しているがpruningで，解決案を2つ提案．1つ目が事前にNNを刈り込みDP-SGDで更新するパラメータを減らす手法，2つ目は更新するパラメータを選択しDP-SGDを行う手法．pruningには公開データを用い，実験で有効性を実証．https://arxiv.org/abs/2303.04612
2023年2月
Verifiable Fully Homomorphic Encryption
完全準同型暗号はintegrityの問題から，多くがhonest-but-curious serverを仮定しているが，これでは広範な応用に対応できていない．この課題への既存のFHEのintegrityアプローチを分析，それらのギャップを利用した攻撃を提示，maliciously-secure verifiable FHEを提案．https://arxiv.org/abs/2301.07041
Data Forensics in Diffusion Models: A Systematic Analysis of Membership Privacy
Diffusion Modelへのメンバーシップ推論攻撃の体系的な分析を行った．white, gray, black-box設定での攻撃のAUCROCを測定．Improved DiffusionとGuided Diffusionというモデルで実験．GANとも比較．https://arxiv.org/abs/2302.07801
QTrojan: A Circuit Backdoor Against Quantum Neural Networks
量子ニューラルネットワーク（QNN）に対する回路レベルのバックドア攻撃，QTrojanを提案．QNNのvariational量子回路にいくつかの不正な量子ゲートを埋め込むことで実現する．これは訓練データへのアクセスやトリガーが不要で，従来の攻撃よりモデル精度と攻撃精度が両方向上．https://arxiv.org/abs/2302.08090
Algorithmically Effective Differentially Private Synthetic Data
有界な距離空間において，1-Wasserstein距離に関して有用性がnear-optimalな差分プライベート合成データ生成手法の提案．既存のものより精度が向上していることを確認．https://arxiv.org/abs/2302.05552．（参考：https://arxiv.org/abs/2204.09167）
Codensity and the Giry monad
可測空間の圏のGiryモナドはある空間をその空間上の全ての確率測度の空間に送る．Giryモナドの記述を与える積分演算子で有限，可算加法それぞれの確率測度を特徴付．凸集合とアフィン写像の圏から可測空間の圏への忘却関手のcodensity monadとしてGiryモナドが生じると示す．https://arxiv.org/abs/1410.4432
Marich: A Query-efficient Distributionally Equivalent Model Extraction Attack using Public Data
モデル抽出攻撃を「分布的に等価」か「情報量を最大に」かでそれぞれ定義し，両者を変分最適化問題として定式化．これを解くactive samplingベースのMarichを提案．画像分類や言語モデルで実験．既存手法より2-4倍よく分布を再現．盗んだモデルでメンバーシップ推論も強力に．https://arxiv.org/abs/2302.08466
Mithridates: Boosting Natural Resistance to Backdoor Learning
MLモデルのpractitionersがPoisoningに対して思うのは「自分のモデルはどれくらい安全？」と「訓練パイプラインを変えずに対策できる？」の2点である．そのため，ハイパーパラメータ探索による対策を研究．頑健性を3～5倍強化するMithridatesという多段ハイパラ探索を提案．https://arxiv.org/abs/2302.04977
Differentially Private Optimization for Smooth Nonconvex ERM
smoothだが非凸な損失関数の最適化問題の近似2次解得るための，（期待）降下方向に沿って移動させる差分プライベートな最適化アルゴリズムの提案．線形探索やミニバッチなど実用性や速度を上げる工夫もし，数値実験で有効性を実証．https://arxiv.org/abs/2302.04972
MedDiff: Generating Electronic Health Records using Accelerated Denoising Diffusion Model
電子カルテ（EHRs）の生成は，GANが主流だったがモード崩壊などの課題があるため，Diffusion Modelを用いたMedDiffを提案．条件付きサンプリングをする，またサンプリング速度を向上するなどの戦略を提案．MIMIC-IIIなどを用いた実験では既存手法より優れた品質になった．https://arxiv.org/abs/2302.04355
Adversarial Example Does Good: Preventing Painting Imitation from Diffusion Models via Adversarial Examples
image-to-imageのDiffusion Model（DM）を著作権侵害に用いることの対策として，DMへのadversarial exampleの研究．DMの特徴量抽出を阻害するノイズを生成することで，復元時に全く異なる画像になってしまう．このノイズを利用することが著作権侵害の対策となる．https://arxiv.org/abs/2302.04578
Classifying log del Pezzo surfaces with torus action
非自明なtorus actionがあるlog del Pezzo曲面の分類．そのような曲面は特異点解消のdiscrepancyが1/k -1以上のとき，1/k-log canonicalだが，kを具体的にfixした際に，1/k-log canonicalなlog del Pezzo曲面を分類するアルゴリズムを提案．k=1,2,3の時の具体的な分類も提示．https://arxiv.org/abs/2302.03095
Membership Inference Attacks against Diffusion Models
Diffusion Modelへのメンバーシップ推論の評価．GANとの比較や拡散モデル特有のtimestepやsampling step(SS), sampling variance(SV)の観点から評価．実験により，両者に同等精度の耐性を確認．timestepは中盤が最も攻撃に弱く，SSは多いほど弱い．SVは攻撃に影響ないと確認．https://arxiv.org/abs/2302.03262
Differentially Private Condorcet Voting
[AAAI2023] 差分プライバシーのもと，Condorcetルールに基づくランダム化投票ルールを提案．Laplaceメカニズム，指数メカニズム，RRに従う方法を提案．すべてのメカニズムがいくつかのいい性質を満たすことを証明．最後にDPを投票公理とみなし他の公理との関係を論じる．https://arxiv.org/abs/2206.13081
Are Diffusion Models Vulnerable to Membership Inference Attacks?
Diffusion Modelに対するblack-box型のメンバーシップ推論，SecMIを提案．各timestepにおけるforward process（拡散過程）の事後確率推定のマッチングを評価し所属を推論．DDPMなど標準的なモデルとStable Diffusionのようなtext-to-imageモデルの両方に対して攻撃を検討．https://arxiv.org/abs/2302.01316
Membership Inference of Diffusion Models
Diffusion Modelに対するメンバーシップ推論攻撃の研究．損失ベースの手法と尤度ベースの攻撃手法を提案．DDPM，SMLD，VPSDE，VESDEという4種類の拡散モデルに対して攻撃の性能を評価．差分プライバシー化による防御も実験評価した．https://arxiv.org/abs/2301.09956
Extracting Training Data from Diffusion Models
画像生成を行うDiffusion Modelから訓練データの情報を復元できると実証．Stable DiffusionやImagenなど最新のモデルに対して，人物写真から商標登録された企業ロゴまで，1000以上の学習サンプルが復元．Diffusion ModelはGANなどよりプライバシー保護性が低いことを示した．https://arxiv.org/abs/2301.13188
BackdoorBox: A Python Toolbox for Backdoor Learning
MLモデルへのBackdoor攻撃に対して，代表的な攻撃と防御を統一的かつ柔軟なフレームワークのもとで実装するオープンソースのPythonツールボックスを設計．https://arxiv.org/abs/2302.01762
Differentially Private Fair Division
[AAAI2023] 不可分な資源を構成に分割することは重要な研究課題であるが，個々人が自分の好みを機密情報として扱う場合を想定し，差分プライベートな資源分配の研究．任意の個人が他者を羨まないと同じ割合で配分するという2条件を両方満たすことはできないという結果を証明．https://arxiv.org/abs/2211.12738
Similarity Distribution based Membership Inference Attack on Person Re-identification
[AAAI2023] 埋め込まれた特徴量表現から元データを復元するRe-identification（Re-ID）のリスクをメンバーシップ推論攻撃で定量化．Re-IDの文脈では従来のMI攻撃で用いられる損失などにアクセスできないため，訓練データとテストデータの類似度に注目したMI攻撃を提案する．https://arxiv.org/abs/2211.15918
Dropout is NOT All You Need to Prevent Gradient Leakage
[AAAI2023] FLにおいて勾配から学習データを復元するiterative gradient inversionは，ドロップアウトがある種の対策となると考えられていた．しかし，確率的挙動を適切にモデル化したDropout Inversion Attackを提案し，こうしたものが対策になっていないことを示した．https://arxiv.org/abs/2208.06163
Differentially Private Heatmaps
[AAAI2023] ユーザの集計データから差分プライベートなヒートマップを作る手法を提案．入力分布にEarth Mover's Distanceの意味で近い分布を作り出せる．あるスパース性の仮定の下での誤差を理論的に示し，それらがほぼ最適であることも示した．https://arxiv.org/abs/2211.13454
Integer Subspace Differential Privacy
[AAAI2023] 2020年米国センサスのような複雑な整数制約がある状態での新たな差分プライバシーソリューションの提案．制約によるDiophantine方程式を用いたLaplaceメカニズム，ガウシアンメカニズムを組み合わせた保護を提案．提案の有効性を2010年のデータを用いて実証．https://arxiv.org/abs/2212.00936
Differentially Private Kernel Inducing Points (DP-KIP) for Privacy-preserving Data Distillation
証明可能なプライバシー保証付きのデータセット蒸留方法として，差分プライベートなカーネル誘導点（DP-KIP）を求めるアルゴリズムを開発．ニューラルタンジェントカーネルを用いて，カーネルリッジ回帰の損失を最小化する点を推定．JAXで実装し有効性を実証．https://arxiv.org/abs/2301.13389
2023年1月
A Linear Reconstruction Approach for Attribute Inference Attacks against Synthetic Data
合成データを匿名化手法とみて，その属性推論攻撃に対する耐性と有用性のトレードオフを評価．合成データでは検討されていなかった線形再構成攻撃を適用．既存の攻撃では外れ値的なレコードにしか効かなかったが，提案はランダムなレコードに対しても効果が確認できた．https://arxiv.org/abs/2301.10053
On the `Semantics' of Differential Privacy: A Bayesian Formulation
差分プライバシーをベイズ的な敵対者の推論という観点から正確に定式化しなおした．提案により，(ε,δ)-差分プライバシーのパラメータ設定に具体的な指針が与えられる．https://arxiv.org/abs/0803.3946
Towards Separating Computational and Statistical Differential Privacy
通常の（＝統計的）差分プライバシー（SDP）に対して，攻撃者の能力を計算量的に制限したComputational 差分プライバシー（CDP）があるが，SDPではなくCDPで達成可能なタスクがあるかどうかは不明だった．この研究ではそのようなタスクを具体的に構成した．https://arxiv.org/abs/2301.00104
"Real Attackers Don't Compute Gradients": Bridging the Gap Between Adversarial ML Research and Practice
MLモデルに対して様々な攻撃・防御が提案されているが，研究者と実務者の間に関心のギャップがあることを示し，根本的な原因を研究．社会実装されてるものの事例や最新論文のサーベイを通し，脅威モデルをMLシステム合わせることや，cost drivenに考えることなどを提言．https://arxiv.org/abs/2212.14315