IOS和安卓双端直播APP源码，如何快速搭建部署

播放是直播技术中关键的一步，它包括很多技术如：解码，缩放，时间基线选择，缓存队列，画面渲染，声音播放等等。我们先来看一下整个播放流程；

Android

第一部分是基于NativeWindow的视频渲染，主要使用的OpenGL ES2通过传入surface来将视频数据渲染到surface上显示出来。第二部分是基于OpenSL ES来音频播放。第三部分，音视频同步。我们使用的都是android原生自带的一些库来做音视频渲染处理。

IOS

同样IOS也分成三个部分，第一部分视频渲染：使用OpenGLES.framework，通过OpenGL来渲染视频画面，第二部分是音频播放，基于AudioToolbox.framework做音频播放；第三部分，视音频同步。

首先是android端和IOS端的视频播放功能，主要看一下视频渲染、音频播放这两个重点部分。

Android

1、视频渲染

ffmpeg为我们提供浏览丰富的编解码类型。视频解码包括flv, mpeg, mov 等；音频包括aac, mp3等。对于整个播放，FFmpeg主要处理流程如下：

首先注册编解码库，为FormatContext分配内存，调用avformat_open_input打开输入流，获取头部信息，配合avformat_find_stream_info来填充FormatContext中相关内容，av_dump_format这个是dump出流信息。

接下来就是找到视频的解码器上下文AVCodecContext和AVCodec解码器。

2、音频渲染

音频渲染我们同样适用的是android原生的库，OpenSL ES。我们会使用一些主要的接口参数如下：

// engine interfaces

static SLObjectItf engineObject;

static SLEngineItf engineEngine;

// output mix interfaces

static SLObjectItf outputMixObject;

static SLEnvironmentalReverbItf outputMixEnvironmentalReverb;

static SLObjectItf bqPlayerObject;

static SLEffectSendItf bqPlayerEffectSend;

static SLMuteSoloItf bqPlayerMuteSolo;

static SLVolumeItf bqPlayerVolume;

static SLPlayItf bqPlayerPlay;

static SLAndroidSimpleBufferQueueItf bqPlayerBufferQueue;

// aux effect on the output mix, used by the buffer queue player

const static SLEnvironmentalReverbSettings reverbSettings = SL_I3DL2_ENVIRONMENT_PRESET_STONECORRIDOR;

这些参数都是音频播放过程使用到的，而整个音频播放的流程主要包括以下几个方面：

整个音频播放流畅主要分：1、创建实现播放引擎；2、创建实现混音器；3、设置缓冲和pcm格式；4、创建实现播放器；5、获取音频播放器接口；6、获取缓冲buffer；7、注册播放回调；8、获取音效接口；9、获取音量接口；10、获取播放状态接口；

做完这10步，整个音频播放器引擎就创建完毕，接下来就是通过将数据放进bqPlayerBufferQueue，供播放引擎读取播放。

IOS

IOS相对于android而言在视频渲染上来说可能比android端稍微复杂，因为ios没有像android的surfaceView可以直接进行操作，都是通过OpenGL来绘制画面。因此可能会比较难于理解。而对于音频，IOS可以采用AudioToolbox进行处理。对于ffmpeg相关的东西android和ios是一样的，也主要是一个流程。

1、视频渲染

前面在android部分已经阐述到使用av_read_frame方法来读取每一帧的信息，这部分ios和android一样，android由于原生支持surfaceView进行绘制渲染，而ios不支持，需要借助opengl来绘制，因此在av_read_frame之后就和android存在区别。视频主要代码如下：

这块代码和android的类似，将数据转化为yuv格式，然后拿去渲染，myview是一个View，它主要就是通过OpenGL 将数据渲染成画面。通过OpenGL将数据绘制出来。这就是整个IOS展示画面的主要代码。其他的一些东西类似于android。

2、音频渲染

在上面视频渲染的过程中，列出了部分对音频的处理过程。其主要方法为handleAudioFrame，下面代码书handleAudioFrame方法：

handleAudioFrame主要方法是将数据组合转换，比如采样率重设，转码等等功能，最后放进一个数组中，最后交给AudioToolbox进行处理。

在ios采用的是swift+oc+c++混合编译，正好借此熟悉swift于oc和c++的交互。enableAudio主要是创建一个audioManager实例，进行注册回调，和开始播放和暂停服务。audioManager是一个单例。是一个封装AudioToolbox类。下面的代码是激活AudioSession（初始化Audio）和失效AudioSession代码。

总结：在ios端采用的是OpenGL实现视频渲染，AudioToolbox实现音频播放。音视频同步和android采用的是一样的。其中两端的ffmpeg逻辑是一致的。

来源：宴妖妖