มาตรฐานเฉพาะสำหรับการทดสอบและการตรวจสอบการออกของตัวแทน AI
agent-egress-bench ซึ่งสร้างโดย LuckyPipewrench เป็นการทดสอบและชุดการโจมตีแบบโอเพนซอร์สสำหรับการตรวจสอบการควบคุมการออกจากระบบบนตัวแทนอิสระ มันทำการทดสอบที่มีโครงสร้างเพื่อวัดว่าฟีร์วอลล์ โปรxies หรือ MCP wrappers สามารถบล็อกการส่งข้อมูลออก การฉีดคำสั่ง และการโจมตีที่ใช้เครื่องมือได้ดีเพียงใด องค์ประกอบหลักประกอบด้วยชุดกรณีทดสอบมากกว่า 250 รายการ ตัวรันเนอร์ที่เป็นกลางต่อเครื่องมือ และวิธีการให้คะแนนอัตโนมัติ ผู้ใช้เป้าหมายคือ นักวิจัยด้านความปลอดภัย AI นักพัฒนาฟีร์วอลล์ และสถาปนิกด้านความปลอดภัยขององค์กรที่ต้องการการรับรองการออกจากระบบที่มีหลักฐานสนับสนุน.
คุณสามารถใช้มันทำงานอะไรได้บ้าง?
เกณฑ์มาตรฐานกำหนดงานที่ชัดเจน: วัดการป้องกันการออกสำหรับตัวแทนอิสระ โครงการนี้จับคู่ชุดการโจมตีขนาดใหญ่กับผู้รันเพื่อทดสอบตัวปรับอะแดปเตอร์ในหลายหมวดหมู่ และครอบคลุมการหลบเลี่ยง DLP, การฉีดคำสั่ง, SSRF, การซ่อนเปลือก, และเวกเตอร์เฉพาะ MCP เช่น การปนเปื้อนเครื่องมือและการฉีดสคีมา ผู้ใช้สามารถใช้เกณฑ์มาตรฐานเพื่อผลิตการโจมตีที่สามารถทำซ้ำได้และข้อมูลประสิทธิภาพที่สะท้อนว่านโยบายการออกของตัวแทนตอบสนองต่อรูปแบบการต่อต้านจริงอย่างไร
มันรายงานความถูกต้องอย่างไรและขีดจำกัดอยู่ที่ไหน?
โครงการนี้รวมถึงวิธีการให้คะแนนอัตโนมัติที่รายงานทั้งอัตราการบล็อกการโจมตีและอัตราผลบวกเท็จ โดยให้เมตริกที่สามารถวัดได้สำหรับการตัดสินใจ ผู้รันบันทึกการตัดสินใจในแต่ละกรณี ดังนั้นทีมสามารถตรวจสอบว่าข้อมูลนำเข้าชิ้นไหนกระตุ้นการตรวจจับ ความถูกต้องขึ้นอยู่กับคุณภาพการรวมของตัวปรับอะแดปเตอร์ที่ทดสอบ; เกณฑ์มาตรฐานเองรายงานผลลัพธ์แต่ไม่เปลี่ยนแปลงตรรกะการตรวจจับภายในของผลิตภัณฑ์ ดังนั้นผลลัพธ์จึงต้องการการตีความโดยทีมรักษาความปลอดภัย
มันต้องการข้อมูลนำเข้า โปรโตคอล และสภาพแวดล้อมอะไรบ้าง?
ผู้รันเขียนด้วย Go และออกแบบมาให้ทำงานบน Linux และชุดข้อมูลทดสอบการจราจร MCP, HTTP และ WebSocket ความเข้ากันได้เกิดจากโปรไฟล์ความสามารถหรือตัวปรับอะแดปเตอร์ ดังนั้นเครื่องมือรักษาความปลอดภัยใดๆ ที่นำเสนออินเทอร์เฟซตัวปรับอะแดปเตอร์สามารถถูกทดสอบได้ ฐานรหัสและข้อมูลได้รับอนุญาตภายใต้ Apache-2.0 ซึ่งอนุญาตให้ตรวจสอบและติดตั้งในสภาพแวดล้อมการทดสอบภายในองค์กร
มันใช้งานได้จริงสำหรับการทำงานด้านความปลอดภัยทั่วไปหรือไม่?
เกณฑ์มาตรฐานมุ่งเป้าไปที่ทีมที่มีความเชี่ยวชาญทางเทคนิค: นักวิจัยด้านความปลอดภัย AI, นักพัฒนาของไฟร์วอลล์และพร็อกซี AI, และสถาปนิกองค์กร ซึ่งตรงกับกลุ่มเป้าหมายที่ระบุ การออกแบบที่เป็นกลางต่อเครื่องมือและโมเดลตัวปรับอะแดปเตอร์ช่วยให้ทีมรักษาความปลอดภัยประเมินผลิตภัณฑ์หลายรายการโดยไม่ถูกล็อคกับผู้ขาย ขีดจำกัดที่ใช้งานได้รวมถึงการมุ่งเน้นเฉพาะพฤติกรรมของตัวแทนที่ออกไปแทนที่จะเป็นการสแกนช่องโหว่แบบเต็มสแต็ก และความคาดหวังว่าทีมจะรวมผู้รันเข้ากับ CI หรือการทำงานตรวจสอบที่มีอยู่
เครื่องมือที่ใช้ได้จริงและมุ่งเน้นหลักฐานสำหรับทีมรักษาความปลอดภัยเฉพาะทาง
เกณฑ์มาตรฐานเป็นตัวเลือกที่ใช้ได้จริงสำหรับทีมที่ต้องการการทดสอบการออกที่สามารถตรวจสอบได้และพร้อมที่จะรวมการรันคำสั่งในกระบวนการตรวจสอบ การมุ่งเน้นไปที่หลักฐานสนับสนุนการรับรองความปลอดภัยอย่างมีระเบียบ ในขณะที่องค์กรที่มองหาสแกนเนอร์เครือข่ายแบบ GUI-first หรือทั่วไปควรคาดหวังว่าการรวมระบบจะยากขึ้น สำหรับกลุ่มที่มุ่งเน้นความเสี่ยงจากเอเจนต์อิสระที่ออกไป มันจะเพิ่มความเข้มงวดในการทดสอบการดำเนินงานอย่างเชื่อถือได้
