返回列表 发新帖

关于安卓app爬虫

[复制链接]

111

主题

1675

帖子

8368

积分

硕士生

v夏糜

Rank: 6Rank: 6

金币
1235
好评
130
贡献
3

考神MT论坛帅哥MT论坛活跃会员MT论坛最佳新人

发表于 2019-7-9 11:36:04 来自手机  | 显示全部楼层 | 阅读模式
1. app抓取首要还是抓包,

针对app抓包,网上文章有很多很多,我是使用fiddler挂代理抓包的,

具体操作问度娘,能直接抓包就能搞定的app一般都是很小的项目,也不进行加密



2.很多时候抓包是可以抓,但是都有加密,

比较常见的是token,sign验签放在header里面进行校验

这种一般需要把apk进行反编译,至于反编译,这又是一条不归路,说多了都是泪,
网上能有的一般都是最初级的教程,现在的app一般都会进行混淆和加固,

拿到混淆后的源码分析,大部分加密都是对post体或者特定参数进行md5加密或者sha加密

这种拿到源码基本也就意味着成功了....我目前也才遇到3个这种app,两个md5,一个sha加密..



3.最近遇到一个比较恶心的app,加密代码是放在了.so文件里面,用jni加载的.

这种情况困扰了我好几天,本想用python或者java去调用,但怎么试都不行

4. 对于那种直接用短信登录的,就爱莫能助了,不过可以考录下是否有可能绕过短信,有的app为了节约成本,会在短信之前有个验证请求.

5.能在app上搞复杂行的验证码的,还有禁止代理模式的app,我基本就已经放弃了.  目前还搞不定这些

------------------------------------------------------------------------------------------------------------------------------------------
1. 针对禁止抓包的app

最近使用万能的hook大法,hook关键代理或者验证代码,可以拿到数据包(针对可以拿到源码,但不能抓包的)

  从网上看到大神总结了3点抓包失败的原因:

1.确认Fiddler证书安装正确

2.是否安装Xposed模块JustTrustMe信任所有证书

3.查看应用中使用的okhttp中是否设置了SSLSocketFactory

4.(最近发现)第三方sdk更新模块或许会禁止代理设置导致一旦挂了代理就不能抓包
回复

使用道具 举报

111

主题

1675

帖子

8368

积分

硕士生

v夏糜

Rank: 6Rank: 6

金币
1235
好评
130
贡献
3

考神MT论坛帅哥MT论坛活跃会员MT论坛最佳新人

发表于 2019-7-9 11:36:53 来自手机  | 显示全部楼层
回复

使用道具 举报

63

主题

2341

帖子

1万

积分

博士生

我爱学习

Rank: 7Rank: 7Rank: 7

金币
2588
好评
46
贡献
1

考神MT论坛帅哥MT论坛最佳新人MT论坛活跃会员

发表于 2019-7-9 11:37:42 来自手机  | 显示全部楼层
回复

使用道具 举报

11

主题

983

帖子

4788

积分

大学生

Rank: 5Rank: 5

金币
1204
好评
3
贡献
0
发表于 2019-7-9 11:42:05 来自手机  | 显示全部楼层
回复

使用道具 举报

111

主题

1675

帖子

8368

积分

硕士生

v夏糜

Rank: 6Rank: 6

金币
1235
好评
130
贡献
3

考神MT论坛帅哥MT论坛活跃会员MT论坛最佳新人

发表于 2019-7-9 11:44:28 来自手机  | 显示全部楼层
本帖最后由 夏糜 于 2019-7-9 11:49 编辑

回复

使用道具 举报

45

主题

1503

帖子

6719

积分

硕士生

Rank: 6Rank: 6

金币
23
好评
96
贡献
0

MT管理器插件作者MT论坛最佳新人MT论坛帅哥MT论坛灌水老大2019-5.1节快乐考神MT论坛侠客MT论坛活跃会员

QQ
发表于 2019-7-9 11:45:24 来自手机  | 显示全部楼层
回复

使用道具 举报

278

主题

1万

帖子

3万

积分

版主

一个水怪

Rank: 7Rank: 7Rank: 7

金币
9498
好评
148
贡献
2

MT论坛灌水老大MT论坛最佳新人2019-5.1节快乐考神MT论坛侠客MT论坛活跃会员

发表于 2019-7-9 11:52:23 来自手机  | 显示全部楼层
回复

使用道具 举报

29

主题

5399

帖子

1万

积分

博士生

Rank: 7Rank: 7Rank: 7

金币
4008
好评
38
贡献
0

考神

发表于 2019-7-9 11:54:59 来自手机  | 显示全部楼层
我来个普通的
回复

使用道具 举报

29

主题

5399

帖子

1万

积分

博士生

Rank: 7Rank: 7Rank: 7

金币
4008
好评
38
贡献
0

考神

发表于 2019-7-9 11:55:49 来自手机  | 显示全部楼层
因为我不会
回复

使用道具 举报

30

主题

1347

帖子

3504

积分

大学生

两个笑靥

Rank: 5Rank: 5

金币
118
好评
18
贡献
1

考神MT论坛帅哥MT论坛最佳新人MT论坛活跃会员

QQ
发表于 2019-7-9 14:44:50 来自手机  | 显示全部楼层
没看懂!
回复

使用道具 举报

0

主题

97

帖子

313

积分

初中生

Rank: 3Rank: 3

金币
110
好评
0
贡献
0
发表于 2019-7-9 17:52:31 来自手机  | 显示全部楼层
回复

使用道具 举报

212

主题

4661

帖子

1万

积分

博士生

大水怪在此![#滑稽]

Rank: 7Rank: 7Rank: 7

金币
2486
好评
65
贡献
1

MT论坛活跃会员MT论坛侠客MT论坛美女懒考神

QQ
发表于 2019-7-9 17:57:13 来自手机  | 显示全部楼层
金币+1告辞
回复

使用道具 举报

2

主题

160

帖子

639

积分

初中生

Rank: 3Rank: 3

金币
215
好评
0
贡献
0
发表于 2019-8-29 16:21:58 来自手机  | 显示全部楼层
那有没有爬虫app呢?
回复

使用道具 举报

发表回复

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

快速回复 返回顶部 返回列表