修改 nginx-controller 配置值
# 检查deployment
kubectl get deployment -n kube-system nginx-ingress-controller -oyaml
kubectl edit cm -n kube-system nginx-configuration
data:
## 获取客户端真实IP，下面三行
# 若为 true, NGINX 会将 X-Forwarded-* 标头传递给后端。适用于 NGINX 位于 L7 代理/负载均衡器后面时。
# 默认为 false，NGINX 将忽略 X-Forwarded-* 标头，并用请求信息填充。适用于 NGINX 在公网上，或位于L3负载均衡器后面。
use-forwarded-headers: "true"
# 设置用于标识客户端的原始 IP 地址的标头字段。默认值：X-Forwarded-For
forwarded-for-header: "X-Forwarded-For"
# 将远程地址附加到 X-Forwarded-For 标头，而不是替换它。启用此选项后，后端应用程序负责根据其自己的受信任代理列表提取客户端 IP。
compute-full-forwarded-for: "true"
# 保存后配置即刻生效，似乎不需要重启
kubectl rollout restart deployment nginx-ingress-controller -n kube-system
apiVersion: networking.k8s.io/v1
kind: Ingress
metadata:
annotations:
kubernetes.io/ingress.class: nginx
# 指示 Ingress 上定义的路径是否使用正则表达式。 默认值为false。此配置影响同主机名的其他ingress
nginx.ingress.kubernetes.io/use-regex: "true"
# 设置为服务期望的路径，在use-regex: "true"情况下影响相同主机名的ingress
nginx.ingress.kubernetes.io/rewrite-target: /$2
# 重定向 (308) 到 HTTPS，默认为true
nginx.ingress.kubernetes.io/ssl-redirect: "false"
# 在集群外部使用 SSL 卸载时（例如 AWS ELB），即使没有可用的 TLS 证书，强制重定向到 HTTPS 也可能很有用。
nginx.ingress.kubernetes.io/force-ssl-redirect: "true"
# 使用 ssl-redirect 时保留 URI 中的尾部斜杠
nginx.ingress.kubernetes.io/preserve-trailing-slash: "true"
# 客户端请求主体的最大允许大小时
nginx.ingress.kubernetes.io/proxy-body-size: 600M
## 启用跨域 Cross-Origin Resource Sharing (CORS)
nginx.ingress.kubernetes.io/enable-cors: "true"
# 接受哪些方法，Default: GET, PUT, POST, DELETE, PATCH, OPTIONS
# nginx.ingress.kubernetes.io/cors-allow-methods: "PUT, GET, POST, OPTIONS"
# 接受哪些标头，Default: DNT,Keep-Alive,User-Agent,X-Requested-With,If-Modified-Since,Cache-Control,Content-Type,Range,Authorization
# nginx.ingress.kubernetes.io/cors-allow-headers: "..."
# 控制向response暴露哪些标头。Default: empty
# nginx.ingress.kubernetes.io/cors-expose-headers: ""
# 控制可接受来源。Default: *。如：http(s)://abc.com, http(s)://abc.com:port, 单级通配符http://*.abc.com
# nginx.ingress.kubernetes.io/cors-allow-origin: "https://a.cn, http://a.cn:88, http://*.a.cn"
# 控制是否可以在 CORS 操作期间传递凭据。Default: true
# nginx.ingress.kubernetes.io/cors-allow-credentials
# 控制可以缓存预检请求的时间长度。Default: 1728000
# nginx.ingress.kubernetes.io/cors-max-age: 600
# 可以将其他配置添加到 NGINX location 段
nginx.ingress.kubernetes.io/configuration-snippet: |
add_header Content-Security-Policy "default-src 'self' http: https: *.com *.cn 'unsafe-inline' 'unsafe-eval' data: blod:";
more_set_headers "X-Content-Type-Options: nosniff";
more_set_headers "X-Frame-Options: DENY";
more_set_headers "Strict-Transport-Security: max-age=31536000; includeSubDomains; preload";
# 可以在 server 配置块中添加自定义配置
nginx.ingress.kubernetes.io/server-snippet: |
add_header xxx
可以在 https://securityheaders.com/ 检查是否已配置如下header(似乎不会对值进行检验):Content-Security-Policy X-Content-Type-Options X-Frame-Options Strict-Transport-Security
原创 WeiyiGeek 全栈工程师修炼指南 2022-08-15 22:49 发表于重庆
原文地址: https://blog.weiyigeek.top/2020/5-28-588.html
0x08 Kubernetes中ingress-nginx安全配置
描述: 在 K8s 集群中部署安装 ingress-nginx 后默认并未根据应用安全需要进行相应的安全配置，本小结将针对于生产环境的中的 ingress-nginx 控制器以及应用常见进行安全安全配置。
1.配置指定的 Ingress Class
描述: 如果一个K8S集群中部署了多个ingress controller时，我们可以在创建ingress的时候，通过ingressClassName指定ingress class，如下所示：
$ kubectl get ingress -n web www-weiyigeek -o yaml
apiVersion: networking.k8s.io/v1
kind: Ingress
metadata:
name: blog-weiyigeek-top
annotations: # ....Kubernetes 注释添加到特定的 Ingress 对象自定义其行为....
nginx.ingress.kubernetes.io/rewrite-target: /
labels:
app: blog
ref: blog.weiyigeek.top
spec:
ingressClassName: nginx # 关键点
rules:
- host: weiyigeek.top
http:
paths:
- backend:
service:
name: blog
port:
number: 8080
path: /
pathType: ImplementationSpecific
2.安全配置之强制跳转HTTPS
描述: 通过这个annotation可以强制 https，如果是http请求，会通过308 redirect 到 https.
示例:
metadata:
annotations: # 通过重定向实施服务器端 HTTPS
# 启用了TLS，则控制器会将 （308） 重定向到 HTTPS
nginx.ingress.kubernetes.io/ssl-redirect: "true"
# 强制重定向到 HTTPS
nginx.ingress.kubernetes.io/force-ssl-redirect: "true"
# 保留 URI 中的尾部斜杠
redirectnginx.ingress.kubernetes.io/preserve-trailing-slash: "true"
3.安全配置之跨域访问cors
描述: 当将Ingress-Nginx作为API网关，必须进行跨域配置否则会对业务造成影响，例如我们公司的CDN业务必须设置跨域方面配置。
示例:
metadata:
annotations: # 启用cors跨域 （字面意义）
nginx.ingress.kubernetes.io/enable-cors: "true"
# 设置控制 CORS 的可接受来源,遵循以下格式 http(s)://origin-site.com[:port]
nginx.ingress.kubernetes.io/cors-allow-origin："https://*.weiyigeek.top"
# 设置支持跨域请求的方法 (GET, PUT, POST, DELETE, PATCH, OPTIONS)
nginx.ingress.kubernetes.io/cors-allow-methods: "GET, PUT, POST, OPTIONS"
# 设置支持跨域请求的标头 (DNT,Keep-Alive,User-Agent,X-Requested-With,If-Modified-Since,Cache-Control,Content-Type,Range,Authorization)
nginx.ingress.kubernetes.io/cors-allow-headers: "X-Forwarded-For, X-App-Weiyigeek"
# 设置支持响应公开那些指定表头
nginx.ingress.kubernetes.io/cors-expose-headers: "*, X-CustomResponseHeader"
# 设置在 CORS 操作期间传递凭据 （为了安全设置false除非业务确实需要）
nginx.ingress.kubernetes.io/cors-allow-credentials: "false"
# 设置控制可以缓存预检请求的时间长度 1728000
nginx.ingress.kubernetes.io/cors-max-age: 600
4.安全配置之防止DDOS请求限流
描述: 通常针对于文件下载服务器我们需要进行一系列的配置, 我们可以通过 rps 限制每秒请求数，rpm 限制每分钟请求数，connections限制连接数, 如若超过将返回 503 。
示例:
metadata:
annotations: # 每分钟从给定 IP 接受的请求数。突发流量限制设置为此限制乘以突发乘数，默认乘数为 5。（顺序3）
nginx.ingress.kubernetes.io/limit-rps: "5"
# 每秒从给定 IP 接受的请求数，突发流量限制设置为此限制乘以突发乘数，默认乘数为 5。（顺序2）
nginx.ingress.kubernetes.io/limit-rpm: "300"
# 允许来自单个 IP 地址的并发连接数，超过此限制时返回 503 错误。（顺序1）
nginx.ingress.kubernetes.io/limit-connections: "10"
# 突发大小限制速率的乘数。默认突发乘数为 5
nginx.ingress.kubernetes.io/limit-burst-multiplier："5"
# 配置白名单不受速率限制。(局部)
nginx.ingress.kubernetes.io/limit-whitelist: "10.0.0.0/24,172.10.0.1"
5.安全配置之请求访问白名单
描述: 配置白名单比黑名单更加安全，与最小所需权限一样，主要是用于安全限制，只允许特定的客户端请求，但由于现在网络中NAT的广泛应用，但是参数使用的场景比较有限，例如针对于内网采集监控服务调用，即将其访问请求IP加入到白名单中，才不受安全策略限制影响。
示例:
metadata:
annotations:# 通过注释指定允许的客户端 IP 源范围，该值是以逗号分隔的CIDR列表。(全局)
ingress.kubernetes.io/whitelist-source-range: "10.0.0.0/24,172.10.0.1"
6.安全配置之请求访问日志记录
描述: 为了等保合规通常需要将各类日志存储 180 天及以上，所以ingress也是非常重要，当业务被攻击时我们可以快速溯源追踪，以及其行为分析。
示例:
metadata:
annotations: # 启用访问日志，默认情况处于启用状态.但在某些情况下可能需要为给定入口禁用访问日志设置为False即可。
nginx.ingress.kubernetes.io/enable-access-log: "true"
# 启用重写日志，默认情况处于未启用状态，如启用重写日志在通知级别发送到error_log文件。
nginx.ingress.kubernetes.io/enable-rewrite-log: "true"
7.安全配置之Nginx指定代理响应标头
描述: 在使用 ingress-nginx 场景中免不了配置使用代理或响应表头，例如常见的X-Frame-Options规定了允许那些站点嵌入配置目标iframe站点。
示例:
metadata:
annotations: # 用于插入 server 块中的代码段
nginx.ingress.kubernetes.io/server-snippet: |
# 隐藏nginx版本
server_tokens off;
# Frame 安全控制 添加 X-Frame-Options 头
add_header X-Frame-Options SAMEORIGIN;
# MIME 模拟探测 、XXS-Protection、Spider Robots 爬取策略限制
more_set_headers 'x-content-type-options: nosniff' 'x-xss-protection: 1; mode=block' 'X-Robots-Tag: none;';
# 用于插入 location 块代码段
nginx.ingress.kubernetes.io/configuration-snippet: |
# 自定义访问后端服务时所带头
proxy_set_header My-Custom-Header $http_my_custom_header;
# 将 X-FORWARDED-FOR 字段获取到外部IP带入后端服务
proxy_set_header X-FORWARDED-FOR $http_X_FORWARDED_FOR;
8.安全配置之Nginx禁止访问某一目录
描述: 在使用 ingress-nginx 场景中，如何禁止客户端访问 ingress 站点某一目录下的所有资源，我们可以配置 server-snippet 注释，例如。
示例:
metadata:
annotations: # 用于插入 server 块中的代码段，禁止访问 站点的 /itwork/ 目录下资源
nginx.ingress.kubernetes.io/server-snippet: |
location /itwork/ { deny all;return 403;}
9.安全配置之请求访问认证
描述: 针对于某些未有认证的API接口应用，可以通过在 Ingress 规则中添加额外的注释来添加身份验证。
metadata:
annotations: # 认证类型 [basic|digest]
nginx.ingress.kubernetes.io/auth-type:
# 包含用户/密码定义的密码的名称，使用configMap存储htpasswd生成热认证
# $ htpasswd -c auth weiyigee
# $ kubectl create secret generic basic-auth --from-file=auth
nginx.ingress.kubernetes.io/auth-secret: basic-auth # 认证密钥有两种形式：
# auth-secret 默认，密钥中的 htpasswd 文件位于密钥中auth
# auth-map 密钥是用户名，值是散列密码
nginx.ingress.kubernetes.io/auth-secret-type:auth-file # 设置认证提示
nginx.ingress.kubernetes.io/auth-realm: "身份认证"
10.安全配置之启用SSL握手加密套件
描述: 通常为了应用安全我们会为其添加证书，但是一些已知脆弱性的SSL加密方式会影响到应用信息安全，例如 RC4 与 MD5 等
示例:
# 方式1.ConfigMap$ kubectl edit cm -n ingress-nginx ingress-nginx-controller
apiVersion: v1
data: # 指定可以用的加密套件
ssl-ciphers: "ECDHE-ECDSA-AES128-GCM-SHA256:ECDHE-RSA-AES128-GCM-SHA256:ECDHE-ECDSA-AES256-GCM-SHA384:ECDHE-RSA-AES256-GCM-SHA384:ECDHE-ECDSA-CHACHA20-POLY1305:ECDHE-RSA-CHACHA20-POLY1305:ECDHE:ECDH:AES:HIGH:EECDH+CHACHA20:EECDH+CHACHA20-draft:EECDH+AES128:RSA+AES128:EECDH+AES256:RSA+AES256:EECDH+3DES:RSA+3DES:DHE-RSA-AES128-GCM-SHA256:DHE-RSA-AES256-GCM-SHA384:!NULL:!aNULL:!eNULL:!EXPORT:!PSK:!ADH:!DH:!DES:!MD5:!RC4"
# ssl 协议
ssl-protocols: "TLSv1.1 TLSv1.2 TLSv1.3"
# ssl 会话复用
ssl_session_cache: "shared:SSL:10m;"
ssl-session-timeout: "10m"# 方式2.Annotations metadata:
annotations: # 配置指定在使用 SSLv3 和 TLS 协议时，服务器密码应优先于客户端密码。
nginx.ingress.kubernetes.io/ssl-prefer-server-ciphers: "true"
# 指定加密套件
nginx.ingress.kubernetes.io/ssl-ciphers: "ECDHE-ECDSA-AES128-GCM-SHA256:ECDHE-RSA-AES128-GCM-SHA256:ECDHE-ECDSA-AES256-GCM-SHA384:ECDHE-RSA-AES256-GCM-SHA384:ECDHE-ECDSA-CHACHA20-POLY1305:ECDHE-RSA-CHACHA20-POLY1305:ECDHE:ECDH:AES:HIGH:EECDH+CHACHA20:EECDH+CHACHA20-draft:EECDH+AES128:RSA+AES128:EECDH+AES256:RSA+AES256:EECDH+3DES:RSA+3DES:DHE-RSA-AES128-GCM-SHA256:DHE-RSA-AES256-GCM-SHA384:!NULL:!aNULL:!eNULL:!EXPORT:!PSK:!ADH:!DH:!DES:!MD5:!RC4;"
11.安全配置之启用 modsecurity waf模块
描述: ModSecurity (http://modsecurity.org/) 是一个开源的Web Application防火墙, 可以为一组特定的入口位置启用它。必须首先通过在 ConfigMap 中启用 ModSecurity 来启用 ModSecurity 模块。
请注意，这将为所有路径启用 ModSecurity，并且必须手动禁用每个路径。
# 方式1.ConfigMap$ kubectl edit cm -n ingress-nginx ingress-nginx-controller
apiVersion: v1
data: # 启用 modsecurity waf模块拦截常规Web攻击
enable-modsecurity: "true"# 方式2.Annotations metadata:
annotations: # 启用 modsecurity
nginx.ingress.kubernetes.io/enable-modsecurity: "true"
# 设置以下注释来启用 OWASP 核心规则集
nginx.ingress.kubernetes.io/enable-owasp-core-rules: "true"
# 设置以下内容从nginx传递事务ID
nginx.ingress.kubernetes.io/modsecurity-transaction-id: "$request_id"
# 通过代码段添加自己的一组 modsecurity 规则：
nginx.ingress.kubernetes.io/modsecurity-snippet: |
Include /etc/nginx/owasp-modsecurity-crs/nginx-modsecurity.conf
SecRuleEngine On
SecDebugLog /tmp/modsec_debug.log
OWASP 核心规则集 ：https://www.modsecurity.org/CRS/Documentation/
建议的配置参考 ：https://github.com/SpiderLabs/ModSecurity/blob/v3/master/modsecurity.conf-recommended
本文至此完毕，更多技术文章，尽情期待下一章节！