AI-Security-Learning

自身学习的安全数据科学和ai安全算法的学习资料

项目地址： https://github.com/0xMJ/AI-Security-Learning

最近更新日期为：2020/07/24

同步更新于： Mang0: AI-Security-Learning

[TOC]

新增：

• 干货 | 机器学习在web攻击检测中的应用实践
• 基于HMM的web异常参数检测
• AI繁荣下的隐忧——Google Tensorflow安全风险剖析
• Data-Knowledge-Action: 企业安全数据分析入门
• 使用Seq2Seq自动编码器检测Web攻击

综述篇

• 为什么机器学习在安全、风控领域频频遇冷?
• 在网络安全领域应用机器学习的困难和对策
• 安全智能应用的一些迷思
• 深度总结 | 机器智能的安全之困

机器学习与安全课程篇

• 斯坦福CS259D
• 短期课程 - 安全信息学应用机器学习
• 我们的书“安全专业人工智能简介”的示例代码
• mylamour教程
• 企业安全数据分析实践与思考

AI应用攻击篇

用AI来做应用安全攻击

自动化渗透

• Deep Exploit：使用机器学习的全自动渗透测试工具
• GyoiThon：使用机器学习的全自动渗透测试工具

验证码识别

• 机器学习之识别简单验证码

自动化鱼叉式钓鱼攻击

• 一种基于机器学习的自动化鱼叉式网络钓鱼思路
• Weaponizing data science for social engineering: Automated E2E spear phishing on Twitter

自动化恶意软件样本生成

• 利用GAN生成对抗恶意软件样本

自动化漏洞挖掘

• AI与Android漏洞挖掘的那些事儿

通过舆情分析和精准广告投放来影响政治事件

• AI与安全的恩怨情仇五部曲「1」Misuse AI

AI应用防御篇

用AI来做应用安全防护

UEBA

• UBA/UEBA的资料收集和学习
• UEBA架构设计之路1：UEBA框架
• UEBA架构设计之路2：数据接入和准备
• UEBA架构设计之路3：复杂事件处理引擎
• UEBA如何在企业有效地应用与落地
• UEBA在企业安全领域应用的现状和挑战
• 浅析用户行为分析系统（UEBA）
• 机器学习算法在用户行为检测(UBA)领域
• 新一代数据安全的制胜法宝-UBA
• 干货｜用机器学习检测异常点击流
• 机器学习算法在用户行为检测(UBA)领域的应用
• 用户异常行为检测

入侵检测

• 利用机器学习检测HTTP恶意外连流量
• ExecScent: Mining for New C&C Domains in Live Networks with Adaptive Control Protocol Templates
• MADE: Security Analytics for Enterprise Threat Detection
• 机器学习在互联网巨头公司实践
• 机器学习在入侵检测方面的应用 - 基于ADFA-LD训练集训练入侵检测判别模型
• datacon比赛方向三-攻击源与攻击者分析writeup
• 基于机器学习的恶意软件加密流量检测研究分享
• anomaly-detection-through-reinforcement-learning
• 数据科学在Web威胁感知中的应用

项目

• Seq2Seq for Web Attack Detection使用某银行应用中的数据集进行HTTP Web攻击检测模型项目。该项目检测对象为HTTP流量，具有的一个比较特别的点是在训练阶段不使用攻击样本，而只使用正常样本，是一种类似异常检测思路，而不是大部分人使用的分类的方式。

• Sharly基于HMM的Web异常参数检测项目。

数据集

• Vulnbank_datasetKDD大赛的一个竞赛项目，主要目的是使用机器学习得手段建立一个入侵检测器。其中的入侵行为主要包括：DDOS、密码暴力破解、缓冲区溢出、扫描等多种攻击行为。

Web安全检测

检测web攻击

• 用递归神经网络检测WEB攻击
• Web安全检测中机器学习的经验之谈
• Web日志安全分析系统实践
• 干货 | 机器学习在web攻击检测中的应用实践
• 基于HMM的web异常参数检测
• 基于机器学习的攻击检测
• 使用Seq2Seq自动编码器检测Web攻击
• Web安全检测中机器学习的经验之谈
• 学点算法搞安全之HMM

Web攻击分类

• 基于机器学习的WEB攻击分类检测模型
• 基于机器学习的攻击检测系统

WAF建设

• 从免费的WEB应用防火墙hihttps谈机器学习之生成对抗规则过程
• 基于机器学习的web应用防火墙
• 门神WAF众测总结
• WAF建设运营及AI应用实践
• AI in WAF | 腾讯云网站管家 WAF AI 引擎实践

恶意url检测

• URLNet：通过深度学习学习URL表示以进行恶意URL检测
• 用机器学习玩转恶意URL 检测
• 使用机器学习来检测恶意URL
• 网络钓鱼URL分类
• 基于机器学习的web异常检测
• 基于大数据和机器学习的Web异常参数检测系统Demo实现
• LSTM识别恶意HTTP请求
• 基于URL异常检测的机器学习模型mini部署
• 我的AI安全检测学习笔记（一）
• A Deep Learning Based Online Malicious URL and DNS Detection Scheme
• POSTER: A PU Learning based System for Potential Malicious URL Detection
• 基于PU-Learning的恶意URL检测

Webshell检测

• 基于机器学习的分布式webshell检测系统-特征工程（1）
• 兜哥基于机器学习的 Webshell 发现技术探索
• 深度学习PHP webshell查杀引擎demo
• 使用机器学习识别WebShell
• 基于机器学习的分布式Webshell检测系统
• 基于机器学习的Webshell发现技术探索
• 刘焱： Webshell 发现技术实战解析
• 安普诺张涛：再谈webshell检测
• 新开始:webshell的检测
• 基于机器学习的WebShell检测方法与实现(上)
• 初探机器学习检测PHP Webshell

项目

• WebShell-Detector大学生信息安全竞赛的一个Webshell检测系统
• CloudWalker长亭科技在线的Webshell文件检测项目

数据集

• 各种webshell文件数据，根据webshell文件类型进行分类，量很大。
• tennc/webshell一个比较大的的webshell文件收集项目。

SQL

• 三种特征向量对深度学习攻击检测的影响

XSS

• 机器学习识别XSS实践
• 使用深度学习检测XSS
• 使用深度学习检测XSS(续)

数据集

• 纯xss payload总结，不带任何其他信息
• xssdb

弱口令

• 利用机器学习和规则实现弱口令检测

APT检测

• APT detection based on machine learning
• RSAC 2019 | 机器学习算法分析引擎助力安全威胁推理分析

DDOS

• 基于KDDCUP 99数据集预测DDoS攻击
• 基于谱分析与统计机器学习的DDoS攻击检测技术研究
• 基于机器学习的分布式拒绝服务攻击检测方法研究
• DDoS Attacks Using Hidden Markov Models and Cooperative ReinforcementLearning*

DNS&DGA检测

• 使用CNN检测DNS隧道

• 探秘-基于机器学习的DNS隐蔽隧道检测方法与实现

• DNS Tunnel隧道隐蔽通信实验 && 尝试复现特征向量化思维方式检测

• DataCon 2019: 1st place solution of malicious DNS traffic & DGA analysis

• DataCon 9102: DNS Analysis

• Datacon DNS攻击流量识别 内测笔记

• 机器学习实践-DGA检测

• 使用生成对抗网络(GAN)生成DGA

• 使用fasttext进行DGA检测

• 机器学习实践-DGA检测

• 使用深度学习检测DGA

• 机器学习与威胁情报的融合：一种基于AI检测恶意域名的方法

恶意流量检测

• 利用机器学习检测HTTP恶意外连流量
• 一篇报告了解国内首个针对加密流量的检测引擎
• 恶意软件加密通信概要分析
• 火眼金睛：利用机器学习识别加密流量中的恶意软件思科在加密流量检测中的检测方案
• 基于机器学习的恶意软件加密流量检测研究分享 斗象科技
• 特征工程之加密流量安全检测

恶意代码

• 使用机器学习检测混淆的命令行
• 利用机器学习进行恶意代码分类
• 用机器学习检测Android恶意代码
• 恶意软件与数据分析
• Malware Detection in Executables Using Neural Networks
• 基于深度学习的恶意样本行为检测(含源码)
• 深度学习在恶意软件检测中的应用
• 用机器学习检测恶意PowerShell
• Deep learning rises: New methods for detecting malicious PowerShell
• 用机器学习进行恶意软件检测——以阿里云恶意软件检测比赛为例
• 第二届微软恶意软件预测挑战赛初探
• DataCon大数据安全分析比赛冠军思路分享：方向二-恶意代码检测
• 第三届阿里云安全赛季军-0day
• 第三届阿里云安全算法挑战赛冠军代码
• 使用TextCNN模型探究恶意软件检测问题
• 基于卷积神经网络的恶意代码家族标注

钓鱼检测

• IsThisLegit+Phinn：采用了机器学习算法的开源网络钓鱼防御与检测工具
• 王田峰.基于机器学习算法的钓鱼网站检测系统[D].东南大学， 2011.

APT检测

• APT detection based on machine learning
• 机器学习算法分析引擎助力安全威胁推理分析

业务安全检测

• 基于设备指纹的风控建模以及机器学习的尝试
• 如何在安全风控中评估和量化机器学习有效性
• 人工智能反欺诈三部曲——特征工程
• 阿里巴巴直播内容风险防控中的AI力量
• 人工智能反欺诈三部曲之：设备指纹

安全运营

• 解决机器学习和安全运营之间的最后一公里问题
• 聊聊安全运营
• 我理解的安全运营
• 采用NLP机器学习来进行自动化合规风险治理

二进制安全

• 机器学习在二进制代码相似性分析中的应用

杂项

• 机器学习在WindowsRDP版本和后门检测上的应用
• 我对“数据驱动安全”的一些理解
• 数据驱动安全方法论浅谈
• 可视化恶意软件行为，并使用GAN主动防御零日攻击。
• 基于主动学习的异常检测
• 一个关于人工智能渗透测试分析系列
• 机器学习在安全攻防场景的应用与分析

AI本身安全

AI模型安全

逃逸攻击：

• 对深度学习的逃逸攻击 - 探究人工智能系统中的安全盲区
• 安全领域中机器学习的对抗和博弈
• 基础攻防场景下的AI对抗样本初探
• 手写数字识别的攻击
• 使用生成对抗网络(GAN)生成DGA
• 从安全视角对机器学习的部分思考
• 黑客入侵与机器学习沙箱逃逸

AI框架安全

• 深度学习框架中的魔鬼 - 探究人工智能系统中的安全问题
• 机器学习对抗性攻击报告
• AI繁荣下的隐忧——Google Tensorflow安全风险剖析
• 对深度学习的降维攻击 — 人工智能系统数据流中的安全风险
• DEFCON CHINA议题解读 | 对深度学习系统的数据流攻击
• AI与安全「2」：Attack AI（4）聊聊机器学习框架相关的CVE
• 污染TensorFlow模型: XCTF 2019 Final tfboys命题思路

AI数据安全

机器学习面临的数据污染问题。通过原理说明和代码实例，展示数据污染的特点和攻击效果。

• 如何利用AI对抗“数据污染”和”数据中毒“？
• 对抗数据中毒--机器学习在阿里巴巴网络安全的应用
• 三种特征向量对深度学习攻击检测的影响
• 安全领域中机器学习的对抗和博弈
• 基础攻防场景下的AI对抗样本初探
• 使用生成对抗网络(GAN)生成DGA
• 详解如何使用Keras实现Wassertein GAN
• Is attacking machine learning easier than defending it?
• NLP机器学习模型安全性及实践
• 机器学习对抗性攻击报告
• 从安全视角对机器学习的部分思考
• 中科院信工所发布《深度学习系统的隐私与安全》综述论文，187篇文献总结
• Towards Privacy and Security of Deep Learning Systems: A Survey

AI代码安全

模型代码的漏洞挖掘和利用

• 机器学习对抗性攻击

AI保护AI

攻击算法

DeepFool对抗算法

FGSM算法：机器学习对抗算法中的FGSM算法。通过算法说明和代码实例，展示FGSM算法的特点和攻击效果。

对抗样本

• 详解如何使用Keras实现Wassertein GAN
• 保卫机器学习对抗攻击性攻击
• 对抗攻击基础知识

安全算法

• 机器学习异常检测算法

杂项

• 网络安全与机器学习（一）：网络安全中的机器学习算法
• 网络安全与机器学习（二）：网络安全任务如何结合机器学习？
• 机器学习在安全攻防场景的应用与分析
• 2017年 AI安全风险白皮书
• 逻辑回归算法分析与安全场景分析
• 一文全面解读网络安全中的机器学习
• 数据驱动安全面临的挑战
• Machine Learning for Cybersecurity 101

数据

http://www.secrepo.com/

1、Samples of Security Related Dats

2、DARPA Intrusion Detection Data Sets

3、Stratosphere IPS Data Sets

4、Open Data Sets

5、Data Capture from National Security Agency

6、The ADFA Intrusion Detection Data Sets

7、NSL-KDD Data Sets

8、Malicious URLs Data Sets

9、Multi-Source Cyber-Security Events

10、Malware Training Sets: A machine learning dataset for everyone

资源

• KDnuggets
• 数据挖掘与网络安全相关资源

优秀Github推荐

• 网络安全中机器学习大合集
• 最终安全数据科学和机器学习指南
• Machine Learning for Cyber Security
• 404师傅的整理
• Awesome-AI-Security
• awesome-ml-for-cybersecurity
• Collection of Security and Network Data Resources
• The Definitive Security Data Science and Machine Learning Guide
• Deep Learning Security Papers
• iami师傅的整理
• 关于机器学习和安全的源代码
• 红日安全

优秀博客

• http://webber.tech/
• http://bindog.github.io
• https://www.cdxy.me
• https://iami.xyz
• https://www.zuozuovera.com/
• LittleHann师傅
• ReLuQ师傅

优秀书籍

• 《web安全之机器学习入门》
• 《web安全之深度学习实战》
• 《web安全之强化学习与Gan》
• 《OReilly.Machine.Learning.and.Security》
• 《统计学习方法》
• 《恶意软件数据科学》
• 《安全专业人员智能介绍》
• 掌握机器学习渗透测试Mastering Machine Learning for Penetration Testing

思考

• 入行 AI，如何选个脚踏实地的岗位

学习机器学习

第一步：学习编程

实话说，计算机体系很大，除了语言、数据机构、算法之外，计算机体系结构、操作系统、网络、数据库等等领域庞大。但不管怎样，学习如何编写代码、如何编程是必备的。如何学习编程呢？学完数据结构、算法等知识后，如何提高编程能力呢？上LeetCode刷题成为很多人的不二之选。 推荐教程：python廖雪峰

第二步：扎实数学

数学是搞数据科学的必备基础，数学不扎实，机器学习里很多原理、推导、公式便无法理解透彻，比如单单一个SVM就涉及到求导、凸优化等数学知识。所以如果数学忘了，很有必要复习并重新扎实数学基础。 涵盖内容：微积分、数理统计与概率论、矩阵、凸优化 推荐书籍：数理统计学简史、矩阵分析与应用by张贤达、凸优化(Convex Optimization) 推荐课程：机器学习中的数学

李航《统计学习方法》

第三步：掌握适合数据科学的Python

python在当今的数据分析很热，广泛应用于金融、电商等领域的大数据分析，也非常适合数据工作者利用它处理数据，所以Python在数据领域应用越来越广泛。学习Python的几个机器学习工具——pandas，numpy，seaborn，sklearn。 推荐教程：《利用python进行数据分析》、《Python爬虫》

Python 和数据科学

第四步：开始学习机器学习

机器学习技术在很多领域应用广泛，包括在数据挖掘、搜索、推荐、广告、自然语言处理等等中。所以学好机器学习，是搞更多应用领域的前提条件。此外，学习机器学习，不单单只是学习一个个模型、算法就足够，因为实际的机器学习工作中，分析问题、处理数据、处理特征占绝大部分工作。所以不要以为看到一个课程涵盖许许多多的模型/算法就以为捡到了宝，看一个ML课程有没有工业实战，最快判断的标准之一是看它讲不讲以及是否能讲好特征工程、模型调优。 推荐书籍：PRML 推荐课程：吴恩达《机器学习》公开课

原课程地址：coursera.org/course/ml

​ https://www.coursera.org/learn/machine-learning/home/welcome

笔记：

https://github.com/fengdu78/Coursera-ML-AndrewNg-Notes

https://github.com/scruel/ML-AndrewNg-Notes

周志华西瓜书：

周志华《机器学习》阅读笔记

第五步：再进一步之学习DL

得益于计算机越发强大的计算能力，神经网络的加强版深度学习（权且容许我这么不专业的叫法）越发火热，从AlphaGo、无人驾驶再到最近的AlphaGo 2.0横扫中日韩顶级骑手，AI可谓出尽了风头，在这个人工智能与大数据的时代，不学点AI，都不好意思出门跟人打招呼说我是搞计算机技术的了。 推荐课程：吴恩达《深度学习》公开课

原课程地址：www.deeplearning.ai

笔记：

https://github.com/fengdu78/deeplearning_ai_books=http://www.ai-start.com/dl2017/ http://kyonhuang.top/Andrew-Ng-Deep-Learning-notes/#/ http://binweber.top/tags/ML/ https://zhuanlan.zhihu.com/p/35333489 http://dl-notes.imshuai.com/

第六步：做实验及上kaggle实战

1、纸上得来终觉浅、绝知此事要躬行。理论学习再多最终还是要实战。为降低门槛起见，你可以从做一个一个有趣的深度学习实验开始，比如学梵高作画、自动玩flappy bird等等。然后，在kaggle上多刷刷一些数据竞赛项目，学习特征工程和别人的代码。

2、学习大规模数据处理——spark hadoop storm

第七步：实习或工作

如果你是想做数据挖掘、计算机视觉、自然语言处理，可以继续学相关的课程。此外，很多经典最新论文值得一读。如果足够了，那就正式出山到实际江湖上闯一闯吧：找份工作，干一把！ 推荐公司：有资源、有数据的偏大一点的公司

推荐文章

• 软件工程师的机器学习

• 吴海广的建议

• 红色石头：

  https://www.itcodemonkey.com/article/6848.html

  https://36kr.com/p/5109465.html

  https://zhuanlan.zhihu.com/p/29704017

资源

https://pan.baidu.com/s/1k64FTLw1Gv87WbYqviM45Q#list/path=%2F提取密码：bs8w