返回列表 发新帖

关于安卓app爬虫

[复制链接]

91

主题

1292

帖子

6254

积分

硕士生

Rank: 6Rank: 6

金币
690
好评
105
贡献
3

考神MT论坛帅哥MT论坛活跃会员MT论坛最佳新人

发表于 2019-7-9 11:36:04 来自手机  | 显示全部楼层 | 阅读模式
1. app抓取首要还是抓包,

针对app抓包,网上文章有很多很多,我是使用fiddler挂代理抓包的,

具体操作问度娘,能直接抓包就能搞定的app一般都是很小的项目,也不进行加密



2.很多时候抓包是可以抓,但是都有加密,

比较常见的是token,sign验签放在header里面进行校验

这种一般需要把apk进行反编译,至于反编译,这又是一条不归路,说多了都是泪,
网上能有的一般都是最初级的教程,现在的app一般都会进行混淆和加固,

拿到混淆后的源码分析,大部分加密都是对post体或者特定参数进行md5加密或者sha加密

这种拿到源码基本也就意味着成功了....我目前也才遇到3个这种app,两个md5,一个sha加密..



3.最近遇到一个比较恶心的app,加密代码是放在了.so文件里面,用jni加载的.

这种情况困扰了我好几天,本想用python或者java去调用,但怎么试都不行

4. 对于那种直接用短信登录的,就爱莫能助了,不过可以考录下是否有可能绕过短信,有的app为了节约成本,会在短信之前有个验证请求.

5.能在app上搞复杂行的验证码的,还有禁止代理模式的app,我基本就已经放弃了.  目前还搞不定这些

------------------------------------------------------------------------------------------------------------------------------------------
1. 针对禁止抓包的app

最近使用万能的hook大法,hook关键代理或者验证代码,可以拿到数据包(针对可以拿到源码,但不能抓包的)

  从网上看到大神总结了3点抓包失败的原因:

1.确认Fiddler证书安装正确

2.是否安装Xposed模块JustTrustMe信任所有证书

3.查看应用中使用的okhttp中是否设置了SSLSocketFactory

4.(最近发现)第三方sdk更新模块或许会禁止代理设置导致一旦挂了代理就不能抓包
回复

使用道具 举报

91

主题

1292

帖子

6254

积分

硕士生

Rank: 6Rank: 6

金币
690
好评
105
贡献
3

考神MT论坛帅哥MT论坛活跃会员MT论坛最佳新人

发表于 2019-7-9 11:36:53 来自手机  | 显示全部楼层
回复

使用道具 举报

20

主题

1572

帖子

5413

积分

硕士生

我爱学习

Rank: 6Rank: 6

金币
1648
好评
15
贡献
1

考神MT论坛帅哥

发表于 2019-7-9 11:37:42 来自手机  | 显示全部楼层
回复

使用道具 举报

8

主题

796

帖子

3757

积分

大学生

Rank: 5Rank: 5

金币
968
好评
3
贡献
0
发表于 2019-7-9 11:42:05 来自手机  | 显示全部楼层
回复

使用道具 举报

91

主题

1292

帖子

6254

积分

硕士生

Rank: 6Rank: 6

金币
690
好评
105
贡献
3

考神MT论坛帅哥MT论坛活跃会员MT论坛最佳新人

发表于 2019-7-9 11:44:28 来自手机  | 显示全部楼层
本帖最后由 夏糜 于 2019-7-9 11:49 编辑

回复

使用道具 举报

41

主题

1491

帖子

6624

积分

硕士生

Rank: 6Rank: 6

金币
-3
好评
96
贡献
0

MT管理器插件作者MT论坛最佳新人MT论坛帅哥MT论坛灌水老大2019-5.1节快乐考神MT论坛侠客MT论坛活跃会员

QQ
发表于 2019-7-9 11:45:24 来自手机  | 显示全部楼层
回复

使用道具 举报

243

主题

1万

帖子

2万

积分

版主

一个水怪

Rank: 7Rank: 7Rank: 7

金币
9149
好评
127
贡献
2

MT论坛灌水老大MT论坛最佳新人2019-5.1节快乐考神MT论坛侠客MT论坛活跃会员

发表于 2019-7-9 11:52:23 来自手机  | 显示全部楼层
回复

使用道具 举报

20

主题

4539

帖子

1万

积分

博士生

Rank: 7Rank: 7Rank: 7

金币
3682
好评
33
贡献
0

考神

发表于 2019-7-9 11:54:59 来自手机  | 显示全部楼层
我来个普通的
回复

使用道具 举报

20

主题

4539

帖子

1万

积分

博士生

Rank: 7Rank: 7Rank: 7

金币
3682
好评
33
贡献
0

考神

发表于 2019-7-9 11:55:49 来自手机  | 显示全部楼层
因为我不会
回复

使用道具 举报

175

主题

1772

帖子

4737

积分

大学生

Rank: 5Rank: 5

金币
743
好评
25
贡献
0
发表于 2019-7-9 12:02:53 来自手机  | 显示全部楼层
看看,,,,
回复

使用道具 举报

18

主题

952

帖子

2494

积分

大学生

两个笑靥

Rank: 5Rank: 5

金币
284
好评
12
贡献
1

考神MT论坛帅哥MT论坛最佳新人MT论坛活跃会员

QQ
发表于 2019-7-9 14:44:50 来自手机  | 显示全部楼层
没看懂!
回复

使用道具 举报

0

主题

45

帖子

133

积分

小学生

Rank: 2

金币
53
好评
0
贡献
0
发表于 2019-7-9 17:52:31 来自手机  | 显示全部楼层
回复

使用道具 举报

187

主题

4075

帖子

9926

积分

硕士生

大水怪在此![#滑稽]

Rank: 6Rank: 6

金币
2136
好评
62
贡献
1

MT论坛活跃会员MT论坛侠客MT论坛美女懒考神

QQ
发表于 2019-7-9 17:57:13 来自手机  | 显示全部楼层
金币+1告辞
回复

使用道具 举报

1

主题

84

帖子

362

积分

初中生

Rank: 3Rank: 3

金币
91
好评
0
贡献
0
发表于 2019-8-29 16:21:58 来自手机  | 显示全部楼层
那有没有爬虫app呢?
回复

使用道具 举报

发表回复

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

快速回复 返回顶部 返回列表