Her şeyden önce, "Snowden benzeri" bir oyuncuyu algılayabilmek ile birini engelleyebilmek arasında çok önemli bir ayrım vardır. Gördüğüm kadarıyla Beehive, birini engelleme konusunda hiçbir iddiada bulunmuyor, daha ziyade ağınızda şüpheli faaliyetlerin meydana geldiğine dair size uyarılar verme yeteneği vaat ediyor gibi görünüyor. Elbette, o kadar iyi değil, ama yine de bazı araştırma topluluklarında "kutsal kase" olarak görülüyor.
Bununla birlikte, Beehive'ın bu beklentileri karşılayabileceğinden son derece şüpheliyim. Makine öğrenimi, güvenilir kimliklerle büyük veri yığınlarından karmaşık kalıpları çıkarmada oldukça başarılı olabilir. Örneğin, kedi ve köpek resimleri arasında ayrım yapmak son derece güvenilirdir; hepimiz her zaman% 99 + yapabiliriz, ancak 100x100 piksel alıp kediyle köpeği belirlemek için kesin algoritmanın ne olduğunu söylemek zorunda kalsaydım, bunu nasıl yapacağım hakkında hiçbir fikrim yok. Ancak size bu tür 100.000 görüntüyü sağlayabilir ve makine öğrenimi yöntemlerinin ikisi arasında 100x100 piksel değerlerine dayalı olarak güvenilir bir şekilde ayrım yapan bir kural belirlemesine izin verebilirim. İşleri doğru yaparsam, makine öğrenimi tarafından oluşturulan kurallar, yeni verilerde çok büyük bir değişiklik olmayacağını varsayarak yeni kedi ve köpek resimleri üzerinde bile işe yaramalı (yani, eğitim verilerinde yalnızca laboratuvarları ve tekir kedileri kullandıysam, o zaman bir terrier tanımlamak için ... iyi şanslar). Bu ML'nin gücü.
"Şüpheli davranışı" belirlemek çok daha zor bir konudur. 100.000 onaylanmış kötü davranış örneğimiz yok ve gerçekten 100.000 onaylanmış iyi davranış örneğimiz bile yok! Daha da kötüsü, dün işe yarayan iyi bir makine öğrenimi yöntemi bugün işe yaramıyor; Fotoğraflardaki kedi ve köpeklerin aksine, düşmanlar sizi kandırmak için gerçekten çok uğraşıyorlar. Siber güvenlik için makine öğrenimi üzerinde çalışan tanıdığım çoğu kişi, tamamen otomatik tespit fikrinin şu anda kavrayamayacağımızı kabul etti, ancak belki de bir güvenlik analistinin defalarca yapması gereken çok özel, tekrarlayan görevleri otomatikleştirmek için araçlar geliştirebiliriz. böylece onları daha verimli hale getirir.
Bununla birlikte, Beehive'ın yazarları bu dersi atlamış ve bu sorunu çözdüklerini iddia etmiş görünüyorlar. Özellikle, önerdikleri yöntemlerin bir makine öğrenimi araştırmacısının denemeyi düşünebileceği ilk yöntem olduğu ve rutin olarak yararlı olmadığı gerekçesiyle reddedildiği göz önüne alındığında, performanstan çok şüpheliyim. Örneğin, günlüklerdeki aykırı değerleri belirlemek için PCA kullanılmasını önerirler. Bu ve bunun varyasyonları 100'lerce kez denendi ve sonuç her zaman, güvenlik analisti "otomatik algılamayı" kapatır çünkü o kadar çok yanlış pozitif alırlar ki bu, şundan çok daha fazla zamana mal olur kaydeder.
Elbette, tüm bu yöntemlerde şeytan, bu tür yöntemlerin ayrıntıları ve ayrıntıları yayınlanan çalışmalarda asla gerçekten ortaya çıkmaz ("sunucu günlüklerinde aykırı değerleri aramak için PCA kullandık" aşırı derecede belirsiz ifade). Kağıda yazılmayan yöntemlerini uygulamadan önce verileri çok zekice bir şekilde ön işlemeye sahip olmaları her zaman mümkündür. Ama sağ kolumla, Beehive'ın hiçbir kullanıcısının "Snowden benzeri" davranış ile gerçek zamanlı olarak bir ağın rakipsiz gerçek dünya kullanımı arasında güvenilir bir şekilde ayrım yapamayacağına dair bahse girmeye istekli olacağım.