寻找重庆移动家庭宽带打开京东页面 403 的有缘人

[sylancool]

最近重庆移动家庭宽带的部分用户使用我司服务遇到了问题，但是现在电话诈骗猖獗，大家的警惕性都很高，不愿意远程配合排查，只能求助网友了。移动运营商那边自查没问题，但受影响用户源 IP 确实是重庆移动家庭宽带的用户。
1. 重庆移动的家庭宽带用户(4G 下不受影响)3%左右受影响，*.m.jd.com 都会被解析到 111.13.24.98
2. 家里宽带环境下，手机或 PC 端浏览器打开测试页面[https://speedv4.m.jd.com/]，出现 403 异常的即是有缘人~
3. 登录到路由器 /光猫获取运营商下发的 IPv6 及 IPv4 DNS 配置信息，根据之前的经验，大概率还是移动的 localdns 缓存异常

[AngryPanda]

所以楼主既不是用户，也不是移动运营商，那就是 JD 员工？

[sylancool]

@AngryPanda bingo~

[v2tudnew]

这要么让用户改 DNS （运营商不抢答的话），要么找运营商解决。（废话）🤣
不过你在这被墙的站点找 DNS 都不会改的用户，有点困难哦。

[sylancool]

@v2tudnew 找过运营商了，运营商自查都正常。。。。。。但是也确认了这批用户的源 IP 是重庆移动家庭宽带的。

[Kiriya]

显示{"code":"1","echo":"required string parameter 'functionId' is not present"}

[sylancool]

@Kiriya 这是正常返回响应了，异常情况是直接解析到 111.13.24.98 ，返回 403 的

[also24]

成都电信，最近一两年的时间里遇到过多次类似情况：

1 、 [随机] 京东 APP 支付完成、秒杀抢购等加载页面时，加载出了一个 403 页面
2 、 [随机] 京东 APP PLUS 领券页面无法进入，跳移动版京东首页
3 、 [必现] PC 版页面帐号密码登录，滑块验证永远无法通过，只能扫码登录

1/2 两个问题出现时，只需要将网络切换为联通 4G，就没问题了。

之前有怀疑同个 NAT 大内网有人搞事情被标记，换了公网 IP，然而还是有同样情况。

[also24]

BTW，没记错的话，403 页面是 OpenResty 的

[also24]

另：
在最近半个月左右对内网结构做大改动之前，我一直没有使用运营商提供的 DNS，
手动设置的 223.5.5.5 和 114.114.114.114 ，当然，不排除运营商 DNS 抢答（劫持）的情况。

[v2tudnew]

@also24 可以尝试下 DOT\DOH 能否复现。

[nbsn]

难道不知道移动网是蔷中蔷吗？

[also24]

@v2tudnew #10
这个问题比较烦人的是随机出现，很难完全确定是否有解决，只能粗略的说在晚上出现的相对多一点。

[sylancool]

@also24 这个情况看着很符合啊，目前发现的主要就是重庆移动的用户，但是地址库不准也可能有周边移动的用户受影响。

[sylancool]

@also24 对的，403 页面上是 OpenResty

[sylancool]

@also24 从这个现象看，那运营商 DNS 抢答的概率更高些了。使用 httpdns 的模块不受影响，现在都是 H5 页面受影响，webview 暂时还没支持 httpdns

[also24]

@sylancool #15
我测试了一下，使用：
nslookup speedv4.m.jd.com 123.123.123.123

这种随便编的 IP，都是可以得到解析结果的，可见确实是有劫持情况。

[Lemeng]

没条件，路过，绑定一下吧

[LANB0]

{"http_x":"117.147.73.218" ,"http_j": "117.147.73.218","host": "speedv4.m.jd.com" ,"https_x_o_t":"111.13.149.86"}杭州移动返回了这个，似乎和 5 楼的不一样

[ChangeTheWorld]

从楼主的故障描述可以判断是移动方面出口调度的问题，4G 是走 CMNET 出口，而家宽这种情况应该是被移动的本地缓存策略命中，不妨联系移动取消掉这个域名的缓存

[sylancool]

@also24 是的，只要是 m.jd.com 这个域名下的都会被劫持，但是我这抓不到证据就很难受，能帮抓个 DNS 解析过程包么？好找移动那边报障。。。

[sylancool]

@also24 另外，123.123.123.123 不是随便编的，北京联通 4g 下发的就是这个 DNS

[also24]

@sylancool #20
1 、我使用的网络是『成都电信』，不但不是重庆，也不是移动。

2 、我这里测试的情况是，所有域名都被运营商劫持了，不只 m.jd.com 域。

3 、当前时间点，我的访问是正常的，前面也说了，问题是不定期出现的。

4 、劫持这个情况，我这边只能通过编一个 IP 来确定被劫持了，但似乎没什么好办法来抓到底是谁劫持的。

[also24]

@sylancool #21
123.123.123.123 只是我写出来的例子之一，我实际上选了许多别的 IP 来验证，包括 172.16.0.0/16 的 IP 都试了。

[sylancool]

@LANB0 新老两套服务，有些 VIP 上还没切过来

[sylancool]

@also24 #23
106.39.171.84 是线上解析的电信 VIP，这个应该是电信 DNS 抢答了吧。tcpdunp 或者 wireshark 抓包应该可以看看是否后续有来自正常的 dns 服务端的响应。
另外再试试 speedv6.m.jd.com 是否有结果，正常是没有 A 记录的，如果返回 A 记录肯定就是劫持了。
我再看下电信的大盘数据是否有异常，缓存倒还能接受，也算是运营商的常规手段，但是对所有域名都劫持缓存到一个错误的 IP 上就很操蛋了。

[zed1018]

@also24 卧槽，你这也太明显了，演都不演直接劫持 53

其实还有一种办法就是用 dnspod 或者 alidns 的 53 和 853 分别查询一下

[heybuddy]

反馈一个 bug （ or feature?），狗东 app 启动时都会先跳到一个营销页面，要退出重新打开 app 才能正常跳到首页

[Illusionary]

也不带点 E 卡上来，缘分未到

[zhengfan2016]

@sylancool 你好，我可以问一个问题吗，贵公司的用户 ck 泄露会导致用户的账号被盗刷白条，大量通过免密支付盗刷吗。

[zhengfan2016]

@sylancool 还有贵公司如何看待蒸蒸日上的 jd 黑产呢，是否有重拳出击的计划[]( https://imgtu.com/i/WJwxyj)

[sylancool]

@heybuddy 有更具体的营销页面信息么，跳转到小鲸鱼页面？

[sylancool]

@zhengfan2016 这块业务不太了解，转发给安全那边了。

[sylancool]

@Illusionary 行，我个人出 100 京东 E 卡，悬赏重庆移动家庭宽带有类似问题的用户，能稳定复现、配合 QQ 远程排查的 100E 卡。

[XiaoBaiYa]

盲猜运营商缓存问题,之前 115 下载没速度,后来打电话给运营商,各种联系负责的工程师,说是清除了下 115.com 的缓存,最后给解决了

[neiltroyer849]

@sylancool 刚才 CMNET 抓包看了下，成都移动访问 m.jd.com 也是被解析到 111.13.24.98 的； DNS 走的是 ipv6 的 2409:8062:2000:2::2,但测试页面没有 403 异常

[sylancool]

@neiltroyer849 m.jd.com 线上正常解析就是有 111.13.24.98 的，当时为了缓解这个问题主要域名都补上了这个 IP 的配置。你可以测下 https://speedv4.m.jd.com/是没有 111.13.24.98 解析的，https://speedv6.m.jd.com/更是连 IPv4 的解析都没有，但是受影响的用户环境里也被劫持到 111.13.24.98 了

[neiltroyer849]

@sylancool 的确我这边两个测试地址是没有被劫持到 111.13.24.98 的。不知道是哪位小宝贝有这个荣幸享受一下香喷喷的劫持伺候（？

[jousca]

成都移动（龙泉驿）正常。
.
正在 Ping speedv4.m.jd.com.gslb.qianxun.com [111.13.28.164] 具有 32 字节的数据:
来自 111.13.28.164 的回复: 字节=32 时间=41ms TTL=47
来自 111.13.28.164 的回复: 字节=32 时间=40ms TTL=47
来自 111.13.28.164 的回复: 字节=32 时间=39ms TTL=47
来自 111.13.28.164 的回复: 字节=32 时间=39ms TTL=47

[jousca]

@sylancool 做点用户自查工具。一方面可以帮我测试网络是否正常，另外一方面也可以测试京东是否正常。我就拿来分发。/

[singing]

运营商 CDN 缓存更新频次

[FastAce]

运营商前端有 DPI 设备，提前抢答。无解

[eudore]

重庆的网不太好 pac 规则访问百度经常比谷歌都慢

[goushengnankong]

成都电信也经常出现 403 的情况. 我使用的是 smartdns 进行解析. 目前使用的上游 DNS 服务器
server 223.5.5.5
server 114.114.114.114
server 117.50.11.11
server 119.29.29.29
server 218.6.200.139
server 101.226.4.6
server-https https://1.1.1.1/dns-query -group foreign
server-https https://1.0.0.1/dns-query
server-https https://223.5.5.5/dns-query
server-https https://doh.360.cn/dns-query

[goushengnankong]

我先把 jd.com 的域名解析都丢给 doh 的服务器试试看

[sylancool]

@goushengnankong DOT 或者 DOH 正常么？

[sylancool]

@jousca 京东 APP 里带网络诊断工具的

[jousca]

@sylancool 那个工具诊断完什么结论都不出（既不说正常，也不说不正常），出个结论还是 BASE64 加密的。

[goushengnankong]

@sylancool 改为 DOH 解析以后 暂时没出现问题了

[sylancool]

@jousca 嗯，设计上就是不显示结论，后台分析数据的

[jousca]

@sylancool 对客户使用没帮助。微信提示网络不通的时候那个诊断功能就不错。

[also24]

今早手机 APP 出现了不能访问京东 PLUS 领券页面的情况，立即试着访问了 speedv4.m.jd.com

然而没有出现 403 页面，只是正常的（ xxx 为真实公网 IP ）：

{
"http_x": "171.212.210.xxx",
"http_j": "171.212.210.xxx",
"host": "speedv4.m.jd.com",
"https_x_o_t": "106.39.171.84"
}

[sylancool]

@also24 领券页面异常的时候有提示 403 和 openresty 字样么？

[also24]

@sylancool #52
领券页面进不去的时候，都是直接跳移动版京东首页，没有 403 页面。

我这边之前出现 403 页面，都是在下单完成的时候。（只是我实在没办法每次都下个单来测试 =。= ）

[also24]

咦，刚才访问京东的时候，https://wq.jd.com/passport/LoginRedirect?state=xxxxx 页面，出现了 403 的情况。

立即试着访问了 speedv4.m.jd.com ，这次也一起 403 了：




比较尴尬的是，我是用的自己软路由上的 DNS，没能确定具体是谁返回的解析结果：


没过 1 分钟，我就可以正常访问了：
{
"http_x": "218.88.12.xxx",
"http_j": "218.88.12.xxx",
"host": "speedv4.m.jd.com",
"https_x_o_t": "106.39.171.84"
}

[sylancool]

@also24 感谢配合，我们收到一个用户反馈，403 的问题换了移动的新光猫就好了，怀疑是某一批次或区域的光猫配置有问题

[cqcsdzmt]

我就是遇到了这个情况，我家重庆北碚移动宽带，困扰了我好久。
我的 speedv4.m.jd.com 就会被解析到 111.13.24.98 。

看了你的帖子，我改了 dns 后正常了不会出现 403 了，speedv4.m.jd.com 的解析为 speedv4.m.jd.com.gslb.qianxun.com 111.13.149.86



但是我所在公司也是重庆移动，但是没有这个问题诶。

[cqcsdzmt]

@sylancool 还需要配合吗？

[sylancool]

@cqcsdzmt 方便的话可以找运营商报障么？我们这边可以配合运营商一起彻底排查下这个问题

[cqcsdzmt]

@sylancool 可以呀，我打 10086 别人也不听呀，客服都是小妹妹，听不懂这些

[sylancool]

@cqcsdzmt 报障后看能否要个工单号啥的？我们这边之前也通过运营商渠道找了重庆移动的联系人，然后他们自查 DNS 服务器记录也没发现问题。后来其他用户反馈的才知道是跟光猫有关系。有个单号我们好让他们内部的人协同排查。

[cqcsdzmt]

@sylancool 我刚刚已经帮你反馈到重庆移动工作人员了

[sylancool]

@cqcsdzmt 感谢，有工单号之类的信息么？我们这边也找重庆移动接口人跟进下

[sylancool]

再更新下，目前类似问题的解决方案，手机端 WiFi 设置里把 DNS 设置为重庆移动的 DNS：218.201.4.3 或者 218.201.17.2 ，可以解决 403 问题。