Scrcpy投屏原理浅析-设备控制篇

起初我真的想过自己单独写一套来着,后来发现时间真的不够,所以有了对scrcpy源码的浅析,服务端我就用scrcpy现有的了,客户端scrcpy采用ffmpeg+sdl2.0进行了跨平台的播放,我准备用Flutter重构客户端部分

Scrcpy与vysor是都是投屏中比较优秀的项目了,非侵入性,不需要设备单独安装软件来配合,能低延迟的控制,较高的fps等等,scrcpy的star更是到了2.6w

scrcpy启动阶段

它到底是怎么做到执行scrcpy命令,在较短的时间内就立马获取到了安卓设备的屏幕的?并没有向设备申请任何的获取屏幕的权限,并且还能对设备进行较低延迟的控制。
有过使用adb经验的开发者,当PC端调试安卓设备时
我们可以输入

1
adb shell /system/bin/screencap -p PATH

就能直接截取手机屏幕,去掉-p这个开关,更改成>,就可以直接截图并重定向到电脑本地,包括使用screenrecorder命令对手机进行录屏。

以上两个操作明明是会用到截取手机屏幕权限的,但是为什么没有向用户申请就能获取到屏幕?

在scrcpy的wiki中也其实提到了,原因就是adb shell的权限是非常高的,去设备的/system/app/shell也能看到shell.apk的uid与gid都是shell,这就可以直接拿到屏幕截取的权限
就好像uid与gid都为root的su命令,可以拿到一切权限一样的。

所以在scrcpy启动时,将自身sdk中的一个jar上传到了安卓设备上,这个jar并不是java的.class文件,是class java字节码经过dx工具转换成了dex文件,所以这个jar解压后就有一个dex,这个是安卓上的字节码,可以直接运行的。

push jar到手机

1
adb push $sdk/scrcpy-server.jar /data/local/tmp

再利用安卓的app_process,直接启动这个jar,不仅是app_process,dalvikvm理论也是能启动的
命令如下

1
CLASSPATH=/data/local/tmp/scrcpy-server.jar app_process ./ com.genymobile.scrcpy.Server 1.12.1 0 8000000 0 true - true true

这样就会
后面的那堆参数是我从源码抠出来的默认参数,也是单独执行scrcpy会跟的参数,这些参数就会由com.genymobile.scrcpy.Server类的main函数接收到
main函数收到参数遍会开启两个socket等待客户端来连接本设备,一个是视频流的socket,一个是设备控制的socket

这个socket为什么能被pc端连接到?

由于adb提供了端口转发的功能,能转发设备本地的端口到pc端,pc端就能跟这个转发的端口进行连接并收发数据。
需要android版本大于5.0
转发端口:

1
2
adb forward tcp:5005 localabstract:scrcpy
#PC上所有5005端口通信数据将被重定向到手机端UNIX类型localabstract上

上面部分也是所有这类投屏软件的原理,包括vysor

scrcpy运行阶段

上面提到一点,scrcpy的jar在设备上就作为一个服务端,会创建一个本地视频流的socket等待客户端连接,如下

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
public static DesktopConnection open(Device device, boolean tunnelForward) throws IOException {
LocalSocket videoSocket;
LocalSocket controlSocket;
if (tunnelForward) {
LocalServerSocket localServerSocket = new LocalServerSocket(SOCKET_NAME);
try {
System.out.println("Waiting for video socket connection...");
videoSocket = localServerSocket.accept();
System.out.println("video socket is connected.");
// send one byte so the client may read() to detect a connection error
videoSocket.getOutputStream().write(0);
try {

System.out.println("Waiting for input socket connection...");
controlSocket = localServerSocket.accept();

System.out.println("input socket is connected.");
} catch (IOException | RuntimeException e) {
videoSocket.close();
throw e;
}
} finally {
localServerSocket.close();
}
} else {
videoSocket = connect(SOCKET_NAME);
try {
controlSocket = connect(SOCKET_NAME);
} catch (IOException | RuntimeException e) {
videoSocket.close();
throw e;
}
}

DesktopConnection connection = new DesktopConnection(videoSocket, controlSocket);
Size videoSize = device.getScreenInfo().getVideoSize();
connection.send(Device.getDeviceName(), videoSize.getWidth(), videoSize.getHeight());
return connection;
}

加了一点打印信息

等到有客户端连接这个socket后,它就会立即开启新的线程进行屏幕录制,并及时通过这个socket将录屏编码后的数据传到客户端去,再同时等待一个新的socket来连接,这个新的socket则用来接收客户端对设备的控制信息

如何根据客户端的消息对设备进行控制?

scrcpy自己定义了一套协议,不过里面的注释实在太少了,这些个函数的调用跳来跳去的,半天都看不到个啥,就像有人也用qt的图形界面重写了scrcpy,也是需要从它的源码下手的
我就直接把我最后从源码中解析出来的分享出来了

socket相关的知识:

由于socket传输的是byte[],

1 byte有8位,无符号0~255,有符号就会少一个1来表示正负号所以范围就是-128~127

数据类型占用位数

1 short = 2 byte = 16位

1 int = 4 byte = 32位

1 long = 8 byte = 64位

在对设备的点击,及滑动控制中:

  • 第一位用来标记此次的控制类型,所以赋值给了type
  • 取一位值给Action,用来表示是按下事件,抬起事件,滑动事件
  • 取8位给PointerId,没搞懂这个id是干嘛的
  • 取12位给Position,其中8位分别每4位表示点击的x,y坐标,另外4位分别两位表示屏幕的宽高,
  • 取两位给presureInt,表示此次按压的力度
  • 取4位给buttons,目前未知作用,后续补上

代码部分

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
private ControlMessage parseInjectTouchEvent() {
// System.out.println("接收到的remaining长度===>"+buffer.remaining());
if (buffer.remaining() < INJECT_TOUCH_EVENT_PAYLOAD_LENGTH) {
return null;
}
int action = toUnsigned(buffer.get());
long pointerId = buffer.getLong();
Position position = readPosition(buffer);
// 16 bits fixed-point
int pressureInt = toUnsigned(buffer.getShort());
// convert it to a float between 0 and 1 (0x1p16f is 2^16 as float)
float pressure = pressureInt == 0xffff ? 1f : (pressureInt / 0x1p16f);
int buttons = buffer.getInt();
return ControlMessage.createInjectTouchEvent(action, pointerId, position, pressure, buttons);
}
1
2
3
4
5
6
7
private static Position readPosition(ByteBuffer buffer) {
int x = buffer.getInt();
int y = buffer.getInt();
int screenWidth = toUnsigned(buffer.getShort());
int screenHeight = toUnsigned(buffer.getShort());
return new Position(x, y, screenWidth, screenHeight);
}

ControlMessage是自定义的封装类,buffer即为来自socket的缓存区,是Java nio包下的类,可以看到它有get(),getLong(),getShort(),这些方法,会取buffer中指定的字节数来组成int,long,short这些类型
所以当我们需要对设备发起按压事件时(以1080x2280分辨率为例)

下面是dart的代码,其他语言进行控制也能类似

按压:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
[
2,
0,
0,0,0,0,0,0,0,0,
x >> 24,x << 8 >> 24,x << 16 >> 24,x << 24 >> 24,
y >> 24,y << 8 >> 24,y << 16 >> 24,y << 24 >> 24,
1080 >> 8,1080 << 8 >> 8,2280 >> 8,2280 << 8 >> 8,
0,
0,
0,
0,
0,
0
]

抬起:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
[
2,
1,
0,0,0,0,0,0,0,0,
x >> 24,x << 8 >> 24,x << 16 >> 24,x << 24 >> 24,
y >> 24,y << 8 >> 24,y << 16 >> 24,y << 24 >> 24,
1080 >> 8,1080 << 8 >> 8,2280 >> 8,2280 << 8 >> 8,
0,
0,
0,
0,
0,
0
]

移动:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
[
2,
2,
0,0,0,0,0,0,0,0,
x >> 24,x << 8 >> 24,x << 16 >> 24,x << 24 >> 24,
y >> 24,y << 8 >> 24,y << 16 >> 24,y << 24 >> 24,
1080 >> 8,1080 << 8 >> 8,2280 >> 8,2280 << 8 >> 8,
0,
0,
0,
0,
0,
0
]

x,y即为想要点击的屏幕坐标,这次数据被scrcpy服务端接收到会按压屏幕的x,y位置,用了较多的移位运算

如java nio调用getShort来获取屏幕的宽度

1
2
3
4
int screenWidth = toUnsigned(buffer.getShort());
private static int toUnsigned(short value) {
return value & 0xffff;
}

上面提到了1 short有2字节16位
无符号数最大就是

1
1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1

上限就是2的16次方-1为:65535,用来传分辨率肯定够了

如果屏幕的宽为1080,大于了1 byte中能存的大小,所以我们只有按字节存进byte[],并发送给socket

那如何将屏幕分辨率的宽按字节传输给socket呢?
举个🌰

将1080这个数转为二进制:

1
1 0 0 0 0 1 1 1 0 0 0

我们需要把它存进2个字节,那么我们只需要把它每一个字节(8位字长的值)找出来

我们用0填充进它前面

1
0 0 0 0 0 1 0 0 0 0 1 1 1 0 0 0

那么2个字节分别为

1
2
3
0 0 0 0 0 1 0 0

0 0 1 1 1 0 0 0

将这2个字节的值传进socket,就能通过buffer的getShort方法得到1080这个数的值。

那如何在程序中得到每一个字节的值?

通过移位运算:

第一个字节:将1080往右移动8个字长即可得到

1
2
3
    0 0 0 0 0 1 0 0 0 0 1 1 1 0 0 0
>>8
= 0 0 0 0 0 0 0 0 0 0 0 0 0 1 0 0

第二个字节:将1080往左移动8个字长(清零前面的部分),再往右移动8个字长

1
2
3
4
5
    0 0 0 0 0 1 0 0 0 0 1 1 1 0 0 0
<<8
= 0 0 1 1 1 0 0 0 0 0 0 0 0 0 0 0
>>8
= 0 0 0 0 0 0 0 0 0 0 1 1 1 0 0 0

第二个字节还可以借助按位与运算

1
2
3
  0 0 0 0 0 1 0 0 0 0 1 1 1 0 0 0
& 0 0 0 0 0 0 0 0 1 1 1 1 1 1 1 1
= 0 0 0 0 0 0 0 0 0 0 1 1 1 0 0 0

java中nio的buffer.getShort方法是怎么实现的?

ByteBuffer是抽象类,getShort我没见再哪儿被重写的,不过可以自己实现

1
2
3
short getShort(ByteBuffer buffer){
return buffer.get() <<8 | buffer.get();
}

当然ByteBuffer中有我们就直接用就是了,以上部分全是经过验证的,目前已经能在Flutter开发的客户端对局域网内设备进行较低延迟的控制了,希望能给到有同样需求的人帮助,后续会继续出关于投屏的文章。

作者

梦魇兽

发布于

2020-03-20

更新于

2023-03-11

许可协议

评论