您的位置: 首页  >  文章  >  基于wince的网络音视频通信(简单易明版)

基于wince的网络音视频通信(简单易明版)

分类: 文章 • 2025-03-07 22:24:45
本文来自http://blog.****.net/hellogv/
<meta http-equiv="Content-Type" content="text/html; charset=utf-8"> <meta name="ProgId" content="Word.Document"> <meta name="Generator" content="Microsoft Word 11"> <meta name="Originator" content="Microsoft Word 11"> <link rel="File-List" href="file:///G:%5CDOCUME%7E1%5CADMINI%7E1%5CLOCALS%7E1%5CTemp%5Cmsohtml1%5C01%5Cclip_filelist.xml"> <link rel="Edit-Time-Data" href="file:///G:%5CDOCUME%7E1%5CADMINI%7E1%5CLOCALS%7E1%5CTemp%5Cmsohtml1%5C01%5Cclip_editdata.mso"> <!--[if !mso]> <style> v\:* {behavior:url(#default#VML);} o\:* {behavior:url(#default#VML);} w\:* {behavior:url(#default#VML);} .shape {behavior:url(#default#VML);} </style> <![endif]--><!--[if gte mso 9]><xml> <w:WordDocument> <w:View>Normal</w:View> <w:Zoom>0</w:Zoom> <w:PunctuationKerning/> <w:DrawingGridVerticalSpacing>7.8 磅</w:DrawingGridVerticalSpacing> <w:DisplayHorizontalDrawingGridEvery>0</w:DisplayHorizontalDrawingGridEvery> <w:DisplayVerticalDrawingGridEvery>2</w:DisplayVerticalDrawingGridEvery> <w:ValidateAgainstSchemas/> <w:SaveIfXMLInvalid>false</w:SaveIfXMLInvalid> <w:IgnoreMixedContent>false</w:IgnoreMixedContent> <w:AlwaysShowPlaceholderText>false</w:AlwaysShowPlaceholderText> <w:Compatibility> <w:SpaceForUL/> <w:BalanceSingleByteDoubleByteWidth/> <w:DoNotLeaveBackslashAlone/> <w:ULTrailSpace/> <w:DoNotExpandShiftReturn/> <w:AdjustLineHeightInTable/> <w:BreakWrappedTables/> <w:SnapToGridInCell/> <w:WrapTextWithPunct/> <w:UseAsianBreakRules/> <w:DontGrowAutofit/> <w:UseFELayout/> </w:Compatibility> <w:BrowserLevel>MicrosoftInternetExplorer4</w:BrowserLevel> </w:WordDocument> </xml><![endif]--><!--[if gte mso 9]><xml> <w:LatentStyles DefLockedState="false" LatentStyleCount="156"> </w:LatentStyles> </xml><![endif]--><style> <!-- /* Font Definitions */ @font-face {font-family:宋体; panose-1:2 1 6 0 3 1 1 1 1 1; mso-font-alt:SimSun; mso-font-charset:134; mso-generic-font-family:auto; mso-font-pitch:variable; mso-font-signature:3 135135232 16 0 262145 0;} @font-face {font-family:"\@宋体"; panose-1:2 1 6 0 3 1 1 1 1 1; mso-font-charset:134; mso-generic-font-family:auto; mso-font-pitch:variable; mso-font-signature:3 135135232 16 0 262145 0;} /* Style Definitions */ p.MsoNormal, li.MsoNormal, div.MsoNormal {mso-style-parent:""; margin:0cm; margin-bottom:.0001pt; text-align:justify; text-justify:inter-ideograph; line-height:125%; mso-pagination:none; font-size:12.0pt; font-family:"Times New Roman"; mso-fareast-font-family:宋体; mso-font-kerning:1.0pt;} /* Page Definitions */ @page {mso-page-border-surround-header:no; mso-page-border-surround-footer:no;} @page Section1 {size:612.0pt 792.0pt; margin:72.0pt 90.0pt 72.0pt 90.0pt; mso-header-margin:36.0pt; mso-footer-margin:36.0pt; mso-paper-source:0;} div.Section1 {page:Section1;} --> </style> <!--[if gte mso 10]> <style> /* Style Definitions */ table.MsoNormalTable {mso-style-name:普通表格; mso-tstyle-rowband-size:0; mso-tstyle-colband-size:0; mso-style-noshow:yes; mso-style-parent:""; mso-padding-alt:0cm 5.4pt 0cm 5.4pt; mso-para-margin:0cm; mso-para-margin-bottom:.0001pt; mso-pagination:widow-orphan; font-size:10.0pt; font-family:"Times New Roman"; mso-fareast-font-family:"Times New Roman"; mso-ansi-language:#0400; mso-fareast-language:#0400; mso-bidi-language:#0400;} </style> <![endif]--><!--[if gte vml 1]><v:shapetype id="_x0000_t75" coordsize="21600,21600" o:spt="75" o:preferrelative="t" path="[email protected]@[email protected]@[email protected]@[email protected]@5xe" filled="f" stroked="f"> <v:stroke joinstyle="miter"/> <v:formulas> <v:f eqn="if lineDrawn pixelLineWidth 0"/> <v:f eqn="sum @0 1 0"/> <v:f eqn="sum 0 0 @1"/> <v:f eqn="prod @2 1 2"/> <v:f eqn="prod @3 21600 pixelWidth"/> <v:f eqn="prod @3 21600 pixelHeight"/> <v:f eqn="sum @0 0 1"/> <v:f eqn="prod @6 1 2"/> <v:f eqn="prod @7 21600 pixelWidth"/> <v:f eqn="sum @8 21600 0"/> <v:f eqn="prod @7 21600 pixelHeight"/> <v:f eqn="sum @10 21600 0"/> </v:formulas> <v:path o:extrusionok="f" gradientshapeok="t" o:connecttype="rect"/> <o:lock v:ext="edit" aspectratio="t"/> </v:shapetype><v:shape id="_x0000_i1025" type="#_x0000_t75" style='width:392.25pt; height:314.25pt'> <v:imagedata src="file:///G:\DOCUME~1\ADMINI~1\LOCALS~1\Temp\msohtml1\01\clip_image001.jpg" o:title="IMAGE_00001"/> </v:shape><![endif]--><!--[if !vml]--><!--[endif]-->
基于wince的网络音视频通信(简单易明版)

由于这个学期的期末将至，因此期末大作业也要开始做了。这次做的是N个月前就做过的网络音视频通信，不过这次做了不少改进。
在这里，先要感谢一下 MacintoshM 大侠，他的帖子给我提供了最原始的源代码，我现在的代码也是在他代码的基础上做出修改的。
OK，现在进入主题，先来介绍一下这个东东：
  • 下位机为 mini2440 ，其操作系统是WINCE 5.0，需要在下位机上插入USB摄像头（中星微301，驱动为15分钟限制版），以及插入麦克风耳机；
  • 上位机为普通的PC，需要插入麦克风耳机；
  • 上位机和下位机的开发环境为Visual Studio 2005。
接下来，说说这个东东的功能，和工作原理：
  • 网络视频传输，首先把mini2440与USB摄像头连接在一起，通过USB摄像头捕捉图像(320 x 240，15fps)，然后通过UDP协议发送至PC端，在PC屏幕上以15fps的速度显示。
  • 网络音频传输，首先在mini2440和PC上都插入麦克风耳机，两者都同时录音，并以G.726编码，然后把压缩包通过UDP协议发送至对方，而在录音的同时，也对来自对方的压缩包用G.726解码，然后再在耳机播放音频。
最后，说说这个版本相对于以前的改进：
  • 把以前的RTP改为UDP，实践证明，在这个系统中，用UDP的效率会比RTP好，毕竟不需要用到RTP的流量监测等高级功能，仅仅能通信就行了；
  • 以前版本基于100M网卡，现在支持10M网卡了，在100M网卡的机器上，可以直接把JPEG图片发过去，但是，在10M的网卡是，每次数据包最大为1440比特，因此要兼容10M网卡，就需要把图像分割成多个1440大小的数据包，分别发送了。
源代码可以到这里下载（2008.12.01才可以下载）：
http://download.****.net/user/hellogv
网络音视频通信

下面说说关键的源代码：
以下是WINCE部分的代码
  1. #pragmaonce
  2. #include"winsock2.h"
  3. //RTP支持
  4. #include"..\UDP\UDP.h"
  6. //音频支持
  7. #include"WaveIn.h"
  8. #include"WaveOut.h"
  10. //G726支持
  11. #include"g726.h"
  13. //摄像头支持
  14. #include".\video\\zc030xlib.h"
  16. #defineVideo_Width320//视频宽度
  17. #defineVideo_Height240//视频长度
  18. #defineAudioData_Size960//每块音频数据包的大小
  19. #defineCompr_AudioData_Size120//压缩后音频块的大小
  22. //音频输入输出变量
  23. CWaveIn*g_pIn;
  24. CWaveOut*g_pOut;
  25. charpin[AudioData_Size],pout[Compr_AudioData_Size];
  26. charwaveout[AudioData_Size];
  27. //摄像头输入变量
  28. DWORDdwSize;
  29. DWORDdwJpg;
  30. DWORDdwRtnSize[2];/*0-forbmp,1-forjpeg*/
  31. LPBYTElpFrameBuffer;
  32. LPBYTElpJpgBuffer;
  33. //控制变量
  34. boolisCameraEnabled;
  35. //UDP
  36. CUDP_CEm_CEUdp;
  38. classAVClass
  39. {
  40. public:
  42. //=====================================================================
  43. //语法格式：voidInitAV(CWnd*p)
  44. //实现功能：初始化音频和视频，用于录音、播放音频，以及播放视频
  45. //参数：p为窗口类指针
  46. //返回值：无
  47. //=====================================================================
  48. voidInitAV(CWnd*p,intlocal_port,CStringremote_ip,intremote_port)
  49. {
  51. //-----------------------初始化UDP-----------------------//
  52. m_CEUdp.m_OnUdpRecv=OnUdpCERecv;
  53. DWORDnResult=m_CEUdp.Open(p,local_port,remote_ip,remote_port);
  54. if(nResult<=0)
  55. {
  56. AfxMessageBox(_T("打开端口失败"));
  57. return;
  58. }
  60. //------------------------控制变量-----------------------//
  61. isCameraEnabled=false;
  62. //-------------------------视频--------------------------//
  63. inti=capInitCamera();
  64. dwSize=320*240*3;
  65. dwJpg=40960;
  66. lpFrameBuffer=(LPBYTE)malloc(dwSize);
  67. lpJpgBuffer=(LPBYTE)malloc(dwJpg);
  68. if(i<=0)
  69. {
  70. //::MessageBox(NULL,L"Initcameraerror",L"Notice",0);
  71. gotovideo_error;//出错，释放空间
  72. }
  73. if(0!=capSetVideoFormat(0,VIDEO_PALETTE_RGB24,VIDEO_SIZE_SIF))
  74. {
  75. //::MessageBox(NULL,L"SetVideoFormaterror",L"Notice",0);
  76. gotovideo_error;//出错，释放空间
  77. }
  79. if(capStartCamera(0)!=0)
  80. {
  81. //::MessageBox(NULL,L"StartCameraerror",L"Notice",0);
  82. capStopCamera(0);
  83. gotovideo_error;//出错，释放空间
  84. }
  85. //没出错，进行视频(控制状态)、音频设置
  86. isCameraEnabled=true;
  87. gotoaudio;
  88. video_error:
  89. free(lpFrameBuffer);
  90. lpFrameBuffer=NULL;
  91. free(lpJpgBuffer);
  92. lpJpgBuffer=NULL;
  93. //-------------------------音频--------------------------//
  94. audio:
  95. g_pOut=newCWaveOut();
  96. g_pIn=newCWaveIn();
  97. g_pOut->StartPlay();
  98. g_pIn->StartRec(OnRecCapAndSend,(DWORD)p);
  101. }
  103. //=====================================================================
  104. //语法格式：voidFreeAV()
  105. //实现功能：释放音频、视频
  106. //参数：无
  107. //返回值：无
  108. //=====================================================================
  109. voidFreeAV()
  110. {
  111. //-------------------------视频--------------------------//
  112. if(isCameraEnabled)
  113. capStopCamera(0);
  114. //-------------------------音频--------------------------//
  115. g_pOut->StopPlay();
  116. g_pIn->StopRec();
  117. deleteg_pOut;
  118. deleteg_pIn;
  119. //------------------------UDP------------------------//
  120. m_CEUdp.Close();
  121. }
  125. //=====================================================================
  126. //语法格式：voidRecAndPlay(WPARAMwParam,LPARAMlParam)
  127. //实现功能：接收网络传来的音频，以及播放
  128. //参数：wParam,表示数据；lParam，表示数据长度
  129. //返回值：无
  130. //=====================================================================
  131. staticvoidCALLBACKOnUdpCERecv(CWnd*pWnd,char*buf,intnLen,sockaddr*addr)
  132. {
  133. g726_Decode(buf,(unsignedchar*)waveout);
  135. g_pOut->Play(waveout,AudioData_Size);
  136. }
  139. //=====================================================================
  140. //语法格式：staticvoidOnRecCapAndSend(char*data,intlength,DWORDuserdata)
  141. //实现功能：录音,摄像并且发送
  142. //参数：data表示数据,length表示数据长度,userdata暂时没用
  143. //返回值：无
  144. //=====================================f================================
  145. staticvoidOnRecCapAndSend(char*data,intlength,DWORDuserdata)
  146. {
  147. //-------------------------音频--------------------------//
  148. memcpy(pin,g_pIn->buffer,AudioData_Size);
  149. g726_Encode((unsignedchar*)pin,pout);
  150. m_CEUdp.SendData(pout,Compr_AudioData_Size);
  152. //-------------------------视频--------------------------//
  153. if(isCameraEnabled==false)//如果程序不能用摄像头
  154. return;
  155. Sleep(15);
  156. intindex=0;
  157. memset(lpFrameBuffer,0,dwSize);
  158. memset(lpJpgBuffer,0,dwJpg);
  159. dwRtnSize[0]=dwRtnSize[1]=0;
  160. if(capGetPicture(index,lpFrameBuffer,dwSize,lpJpgBuffer,dwJpg,dwRtnSize)==0)
  161. {
  162. ///m_CEUdp.SendData((constchar*)lpJpgBuffer,dwRtnSize[1]);
  163. chartmp[1440];
  164. inttmp_i=0;
  165. for(inti=0;i<dwRtnSize[1];i++)
  166. {
  167. tmp[tmp_i]=lpJpgBuffer[i];
  168. tmp_i++;
  169. if(tmp_i==1440)
  170. {
  171. m_CEUdp.SendData(tmp,1440);
  172. tmp_i=0;
  174. }
  175. elseif(i==dwRtnSize[1]-1)
  176. {
  177. m_CEUdp.SendData(tmp,dwRtnSize[1]-(dwRtnSize[1]/1440)*1440);
  178. tmp_i=0;
  179. }
  180. }
  181. }
  182. }
  183. };
以下是PC部分的关键代码
  1. #pragmaonce
  2. #include"winsock2.h"
  4. //UDP支持
  5. #include"..\UDP\UDP.h"
  7. //音频支持
  8. #include"WaveIn.h"
  9. #include"waveout.h"
  11. //G726支持
  12. #include"g726.h"
  14. //视频支持
  15. #include"Gdiplus.h"
  16. usingnamespaceGdiplus;
  19. #defineVideoData_Size1440//每块视频数据包的大小
  20. #defineVideo_Width320//视频宽度
  21. #defineVideo_Height240//视频长度
  22. #defineAudioData_Size960//每块音频数据包的大小
  23. #defineCompr_AudioData_Size120//压缩后音频块的大小
  26. //音频输入输出变量
  27. CWaveIn*g_pIn;
  28. CWaveOut*g_pOut;
  29. charpin[AudioData_Size],pout[Compr_AudioData_Size];
  30. charwave_data[AudioData_Size];
  32. //UDP变量
  33. CUDP_CEm_CEUdp;
  36. //视频输入变量
  37. GdiplusStartupInputm_gdiPlusInPut;
  38. ULONG_PTRm_gdiPlusToken;
  39. charvideo_data[Video_Width*Video_Height];
  40. intindex;//视频数据当前索引
  41. classAVClass
  42. {
  43. private:
  45. public:
  46. //=====================================================================
  47. //语法格式：voidInitAV(CWnd*p)
  48. //实现功能：初始化音频和视频，用于录音、播放音频，以及播放视频
  49. //参数：p为窗口类指针
  50. //返回值：无
  51. //=====================================================================
  52. voidInitAV(CWnd*p,intlocal_port,CStringremote_ip,intremote_port)
  53. {
  54. //-------------------------UDP连接--------------------------//
  55. m_CEUdp.m_OnUdpRecv=OnUdpCERecv;
  56. DWORDnResult=m_CEUdp.Open(p,local_port,remote_ip,remote_port);
  57. if(nResult<=0)
  58. {
  59. AfxMessageBox(_T("打开端口失败"));
  60. return;
  61. }
  63. //-------------------------音频--------------------------//
  64. g_pOut=newCWaveOut();
  65. g_pIn=newCWaveIn();
  66. g_pOut->StartPlay();
  67. g_pIn->StartRec(OnRecording,(DWORD)p);
  68. //-------------------------视频--------------------------//
  69. GdiplusStartup(&m_gdiPlusToken,&m_gdiPlusInPut,NULL);//初始化GDI+
  70. memset(video_data,0,Video_Width*Video_Height);
  71. index=0;
  73. }
  75. //=====================================================================
  76. //语法格式：voidFreeAV()
  77. //实现功能：释放音频、视频
  78. //参数：无
  79. //返回值：无
  80. //=====================================================================
  81. voidFreeAV()
  82. {
  84. //-------------------------音频--------------------------//
  85. g_pOut->StopPlay();
  86. g_pIn->StopRec();
  87. deleteg_pOut;
  88. deleteg_pIn;
  89. //-------------------------视频--------------------------//
  90. GdiplusShutdown(m_gdiPlusToken);//销毁GDI+
  92. //------------------------UDP--------------------------//
  93. m_CEUdp.Close();
  95. }
  96. //=====================================================================
  97. //语法格式：voidRecAndPlay(WPARAMwParam,LPARAMlParam,HWNDhwnd)
  98. //实现功能：接收网络传来的音频，以及播放
  99. //参数：wParam,表示数据；lParam，表示数据长度；hwnd，表示显示视频的窗口句柄
  100. //返回值：无
  101. //=====================================================================
  102. staticvoidCALLBACKOnUdpCERecv(CWnd*pWnd,char*buf,intnLen,sockaddr*addr)
  103. {
  104. /*测试收到的数据大小
  106. CStringtmp;
  107. tmp.Format(L"%d",nLen);
  108. MessageBox(0,tmp,0,0);
  109. return;*/
  111. //-------------------------如果是音频数据--------------------------//
  112. if(nLen==Compr_AudioData_Size)
  113. {
  114. g726_Decode(buf,(unsignedchar*)wave_data);
  115. g_pOut->Play(wave_data,AudioData_Size);
  116. return;
  117. }
  118. //-------------------------如果是视频数据--------------------------//
  120. if(nLen==VideoData_Size)//完整的视频数据块
  121. {
  122. for(inti=0;i<nLen;i++)
  123. {
  124. video_data[index]=buf[i];
  125. index++;
  126. }
  127. return;
  128. }
  130. //视频数据块的最后一块
  131. for(inti=0;i<nLen;i++)
  132. {
  133. video_data[index]=buf[i];
  134. index++;
  135. }
  137. //如果JPEG图像特别大，则肯定是出错，则抛弃
  138. if(index>Video_Width*Video_Height)
  139. {
  140. //MessageBox(0,"缓冲区出错","错误信息",0);
  141. return;
  142. }
  145. try{
  146. IPicture*pPic;
  147. IStream*pStm;
  148. //分配全局存储空间
  149. HGLOBALhGlobal=GlobalAlloc(GMEM_MOVEABLE,index);
  150. LPVOIDpvData=NULL;
  151. //锁定分配内存块
  152. pvData=GlobalLock(hGlobal);
  153. //复制数据包video_data到pvData
  154. memcpy(pvData,video_data,index);
  156. GlobalUnlock(hGlobal);
  157. CreateStreamOnHGlobal(hGlobal,TRUE,&pStm);
  159. ULARGE_INTEGERpSeek;
  160. LARGE_INTEGERdlibMove={0};
  161. pStm->Seek(dlibMove,STREAM_SEEK_SET,&pSeek);
  162. //Sleep(15);
  164. //装入图形文件
  165. if(FAILED(OleLoadPicture(pStm,index,TRUE,IID_IPicture,(LPVOID*)&pPic)))
  166. {//附:如果video_data这个数组包含的图像有错，则OleLoadPicture容易产生读写内存错误
  167. //pPic->Release();
  168. //pStm->Release();
  169. return;
  170. }
  172. Imageimg(pStm,0);
  173. GraphicsmGraphics(GetDC(pWnd->m_hWnd));
  174. mGraphics.DrawImage(&img,0,0,Video_Width,Video_Height);
  175. img.~Image();//会出错
  176. mGraphics.~Graphics();
  177. pPic->Release();
  178. pStm->Release();
  179. }
  180. catch(CException*e)
  181. {}
  182. memset(video_data,0,Video_Width*Video_Height);
  183. index=0;
  184. }
  186. //=====================================================================
  187. //语法格式：staticvoidOnRecording(char*data,intlength,DWORDuserdata)
  188. //实现功能：释放音频
  189. //参数：data表示数据,length表示数据长度,userdata暂时没用
  190. //返回值：无
  191. //=====================================================================
  192. staticvoidOnRecording(char*data,intlength,DWORDuserdata)
  193. {
  194. memcpy(pin,g_pIn->buffer,AudioData_Size);
  195. g726_Encode((unsignedchar*)pin,pout);
  196. m_CEUdp.SendData(pout,Compr_AudioData_Size);
  197. }
  198. };

相关推荐