NCMS网络频道云管理系统(ChannelCheckerV2.0)

智能电视OTT应用的蓬勃发展,ChannelChecker单机版发布后,或者各大智能电视论坛和网络的推荐。据程序后台统计,下载次数超过万次,累计检测网络电视频道源超过百万次。我由此想到如此大量丰富的数据源,完全可以开发成云平台大数据类的应用,实现离线分散的用户的数据汇聚产生更加的价值和更好的用户体验。因此,基于云平台的网络频道管理系统NCMS进入开发计划并发布。云平台的选择几经波折,最开始是在百度云发布,百度收费后迁至新浪云,在然后迁至免费的sourceforge。

OTT杀手级应用,解决各类网络机顶盒没有直播频道可用的尴尬,把选择看哪个频道的权利还给用户。从此自定义直播频道不在困难,随时更新最新最全的全球网络直播频道。

Network channel management system=NCMS

包含三大模块

1.网络频道云抓取 ChannelScratch

JAVA实现

该模块目的是解决网络直播源的来源问题,一个是系统自动从网络采集直播源;另外一个途径是收集用户检测的结果

  • 从各大网络源论坛抓取网络频道地址,专注http爬虫
  • 从各大在线网络直播网站提取网络源地址,专注各类媒体协议的抓取分析

该模块是管理员模块,暂不开发给普通用户

2.网络频道云检测  AnalysisChannel

JNLP实现,帮助用户检测一个直播源是否有效

  • 帮助用户检测网络源是否可用
  • 支持多种频道文件格式
  • 支持频道分辨率自定义
  • 支持频道延迟自定义
  • 支持静默检测
  • 支持指定频道文件范围检测
  • 采用JNLP技术,实时在线更新检测客户端
  • 检测结果自动上传云存储,用于频道分享系统
  • 设立会员制,与频道分享系统同步

普通用户模块,实现云检测和云分享

3.网络频道云分享CloudChannel

JSP实现,帮助用户分享和查询需要的直播源

  • 汇聚模块1和模块2提取的直播源
  • 支持频道名查询
  • 支持直播源协议查询
  • 支持频道分辨率查询
  • 支持频道有效率查询
  • 支持频道分享时间段查询
  • 设立会员制
  • 支持导出各类频道列表格式,例如龙龙直播,泰捷直播......
  • 定期自动从频道云存储中更新最新频道检测和抓取数据
  • 开放各类直播软件的自定义频道接口,由软件自动更新
  • RESTapi 开发第三方查询
  • 在线播放

4.频道在线检测模块

1.利用百度云媒体,实现百度云上的检测。

2.该模块建议开发管理员版本,避免用户太多导致百度带宽消耗

3.可以和后台cloudchannel结合,定时检查频道有效性

 

 

三大模块相互合作,完美解决网络源少,常常失效,经常变化的问题。


开发平台
Netbean7.4(java IDE)
Java jre7 32bit(要求java使用32位版本,配合VLC32位版本)
VLC2.1.3-win32(要求VLC使用32位版本,因为64位版本不稳定)
Javamail1.4.6(java发送邮件的库)
Jfreechart1.0.17(java绘制图形的库)
vlcj2.4.1(java调用vlc的库)
jna3.5.2(java调用vlc dll的jna库)


系统模块
百度云架构(百度云收费,已停止更新,转移至Sourceforge)
NCMS网络频道云管理系统(ChannelCheckerV2.0) 
网络频道检测模块
AnalysisChannel(百度云对应名称ilovetv,原AnalysisChannel域名只做重定向)采用JNLP技术实现瘦客户端在线更新
NCMS主程序,调用频道检测,频道查询和在线播放,频道统计


网络频道查询模块
CloudChannel(百度云对应名称CloudChannel,当前只保留后台数据,前台ASP已下线不再使用,此域名只做重定向到ilovetv)
第一版为ASP的网页程序,供用户查询channelcheckerV1.3收集的频道检测结果。
数据库说明:
cloudchannel_total存储所有有史以来未经计算的频道信息
cloudchannel存放每次增量更新的频道信息
bigdatachannel存放处理后的频道信息,为cloudchannel的主数据表
bigdatachannel_total为主表的备份
userBehavior为用户行为表


第二版只保留后台数据库,前台ASP网页已下线。数据库供ChannelServer调用
数据库说明:
Analysischannel为该版本主表
Analysischannel用户表设计:
channel: varchar
mrl: varchar
validity: text
pixel:int
count_yes:text
count_no:text
passrate:decimal
createtime: timestamp
linktime: int
provider: text
bandwidth: text
timeout: int


数据库中间件模块
ChannelServer(百度云对应名称ChannelServer):使用httpservelet 中间件,供AnalysisChannel/ilovetv调用数据库CloudChannel


版本更新历史

ChannelChecker1.0版已停止开发;

NCMS网络频道云检测系统百度云版本已停止开发;

NCMS网络频道云检测系统新浪云版本开发进行中…

NCMS版本号定义:

2.X1.X2.X3

2--频道检测的第二个版本,全新平台设计,云系统。

X1--主模块版本号, 0--频道检测模块1--频道查询模块  2--频道播放模块 3--频道数据浏览模块  4--频道抓取模块

X2--主模块的子功能版本

X3--每个版本build日期

 

版本更新记录


 

NCMS V2.0.0.20131016

Build-20131016

更新记录:

  1. 实现JNLP调用本地VLC检测网络频道的基础版本
  2. 集成NCMS三大模块于一个程序,其他2模块即将上线
  3. Swing GUI基本界面完成
  4. 读取各类频道文件,分隔符支持逗号,空格,tab
  5. 保存结果文件,逗号分隔
  6. 多线程分离GUI和检测工作线程
  7. 支持音频和视频频道的检测
  8. 用户自行选择网络运营商和带宽选择
  9. 频道链接速率检测
  10. 检测进度显示

 

 

 

 


NCMS V2.0.1.20131105

Build-20131105

更新记录:

  1. 增加用户设置超时时间,自动跳过无响应死链接,用户实时控制超时时间
  2. 更新NCMS首页内容

 


 

 

NCMS V2.0.2.20131106

Build-20131106

更新记录:

  1. 静默检测,用户实时控制是否显示检测音视频窗口

NCMS V2.0.3.20131123

Build-20131123

更新记录:

  1. 检测结果自动发送到[email protected]邮箱

 


NCMS V2.0.4.20131125

Build-20131125

更新记录:

  1. 检测自动保存到analysischannel数据表
  2. 保存到邮箱功能屏蔽

 


NCMS V2.1.0.20131126

 

更新记录:

  1. cloudchannel功能上线,支持按频道名查询

 

 


 

 

NCMS V2.1.0.20131127

 

更新记录:

  1. 在线播放功能上线--delay

 


 

 

NCMS V2.1.1.20131128

 

更新记录:

  1. 简化NCMS首页内容
  2. 添加VLC路径检测
  3. 开放邮箱自动收集功能

NCMS V2.1.2.20131130

 

更新记录:

  1. 添加输入输出文件说明
  2. 添加日志格式说明
  3. 修改日志输出格式

 

 

 

频道文件说明:

1. 频道输入文件格式,请自行转换为UTF-8格式,否则可能会有中文乱码,文件内容格式:

频道名 频道链接

或者

频道名,频道链接

 

2. 频道输出文件格式:

频道名,频道链接,频道有效性,频道链接速率

 

3. 日志显示格式与频道输出文件相同

 

 

 


 

 

NCMS V2.2.0.20131210

 

更新记录:

  1. NCMS首页增加浏览器位数检测
  2. 根据本地操作系统字符集自动转换编码
  3. 增加检测完成有效频道数的提示
  4. 频道检测窗口标题显示正在检测的频道名
  5. 支持查询结果的在线播放
  6. 应用迁移到http://ilovetv.duapp.com

字符集转换

GBK UTF-8 ANSI

 



NCMS V2.2.1.20131217

 

更新记录:

  1. 修复查询中文返回乱码和检测中文乱码问题
  2. channelserver后台开放给YunTV直播做查询接口

 


NCMS V2.2.2.20131218

 

更新记录:

  1. 优化后台频道数据库算法
  2. 修改输出文件为csv格式,便于用户刷选频道数据
  3. 增加查询时用户选择频道分辨率的设定

 


NCMS V2.3.0.20140105

 

更新记录:

  1. 增加用户登录窗口
  2. 增加频道数据浏览模块
  3. 增加总体检测时间模块
  4. 增加检测记录自动滚动到最后一条

NCMS V2.3.1.20140124

更新记录:

  1. 增加用户查询行为数据统计
  2. 优化频道统计显示
  3. 解决点播后窗口无法关闭的问题
  4. 增加连接速率和检测时间的查询结果显示
  5. 增加频道查询字段的排序支持

 


NCMS V2.3.2.20140430

更新记录:

  1. 增加输入输出频道文件格式(输入输出格式:泰捷tv,VST/龙龙/云直播txt,海美迪xml)
  2. 首页增加免责声明和使用帮助说明
  3. 数据总览模块增加热门频道展示

 

泰捷视频

文件格式为.tv ,里面内容一行为一条记录,以逗号分隔,前面为节目标题,后面为节目地址

使用教程:http://www.znds.com/tv-26407-1-1.html

龙龙直播

文件格式为.txt ,里面内容一行为一条记录,以逗号分隔,前面为节目标题,后面为节目地址

使用教程:http://www.znds.com/tv-25016-1-1.html

VST直播

同上 ,文件格式为.txt ,里面内容一行为一条记录,以逗号分隔,前面为节目标题,后面为节目地址

使用教程:http://www.znds.com/tv-25980-1-1.html

云直播

同上 ,文件格式为.txt ,里面内容一行为一条记录,以逗号分隔,前面为节目标题,后面为节目地址

海美迪

文件格式为.xml 'name' 节点为节目标题'url'节点为节目地址

使用教程:http://www.znds.com/tv-26353-1-1.html