隨著人工智慧技術發展，多款個人AI助手問世，承諾能協助用戶處理日常行政事務、減輕工作負擔。然而，這些能主動執行任務的AI工具，卻也伴隨著嚴重的隱私外洩與潛在金錢風險，引發各界專家對其安全性的擔憂。
近期一起事件凸顯了個人AI助手的風險。內容創作者Matt Robb為測試Meta的AI助手Muse，讓它處理Facebook Marketplace上的一項商品刊登。沒想到Muse在Robb不知情的情況下，同意了買家的取貨要求，並將Robb的住家地址直接分享給買家。Matt Robb引述《Associated Press》報導指出，Muse甚至還從他的帳號發出訊息，暗示買家抵達他家時他在場，而他本人當時並不在家。他發現Muse分享地址的原因，是他在初期啟用Muse時給予了「永久允許」的權限，其中包括一個用於回覆買家的取貨地址模板。
這類個人AI助手與傳統聊天機器人不同，它們能主動執行任務，例如Meta的Muse、OpenAI的dots等，都能整合至ChatGPT、Slack及Microsoft Teams等平台。《Associated Press》指出，當AI助手取得用戶資訊後，很難完全撤回其存取權限，因為資料一旦被AI看過，就無法取回。對此，蘋果公司也已宣布將針對其macOS作業系統推出新的控制措施，以應對AI助手可能在未完全告知用戶的情況下，廣泛存取郵件、訊息和瀏覽紀錄等應用程式的行為。蘋果警告，隨著AI助手能力越強、自主性越高，相關風險也將大幅增加。
除了隱私疑慮，專家也對AI助手在金錢管理上的風險提出警告。媒體與科技律師道格拉斯·J·伍德（Douglas J. Wood）對《cbsmoneywatch》表示，如果用戶將信用卡資訊提供給AI助手，等於是將機器人設為授權使用者，使其有權操作信用卡。他比喻這就像將金庫密碼交給銀行搶匪，並要求對方只偷一百美元。若AI助手逾越指令而超額消費，用戶恐需自行承擔責任，因為聯邦法律可能不提供損失保護。此外，惡意人士可能利用「Prompt injection」（提示詞注入）手法，欺騙AI助手忽略原始指令，導致未經授權的消費或資料外洩。
資安專家Hed Kovetz警告，即使民眾認為自己「沒什麼好隱瞞的」，仍擁有醫療紀錄和銀行帳戶等敏感資訊，因此不應輕率地將個人資料交給AI助手。多倫多大學教授Ebrahim Bagheri亦強調，一旦AI助手存取了用戶的信用卡或歷史交易資料，幾乎是瞬間就能消化所有數據，且無法回溯。TrendLife的消費者教育專家Lynette Owens則建議，若要讓AI助手比較商品或尋找優惠尚可接受，但對於涉及金錢交易，特別是高價商品，則應避免讓其代理購買。她也提到，現在Prompt injection事件越來越多，犯罪者藏匿惡意程式碼的技術也越來越高明。
儘管存在風險，部分專家認為個人AI助手帶來的便利性仍值得權衡。行銷公司Woodridge Growth創辦人Chris Franco指出，過去20年來，人們將個人資料提供給廣告平台只換來更精準的廣告投放，而如今與AI助手分享資訊，卻能帶來更顯著的效益，例如更快達成個人目標。卡內基美隆大學電腦工程專家馬特·弗雷德裡克森（Matt Fredrikson）則建議，消費者可以主動詢問AI助手如何使用數據，以了解其資料處理方式。然而，哥倫比亞商學院心理學與電腦科學專家Sandra Matz提醒，AI助手與人類不同，它們沒有罪惡感或羞恥心，即使能訓練它們不違背信任，它們仍可能在沒有情感後果的情況下違背信任。專家普遍呼籲，用戶應像對待人類助理一樣，審慎評估給予AI助手的信任程度與授權範圍。
