NCMS网络频道云管理系统(ChannelCheckerV2.0)
智能电视OTT应用的蓬勃发展,ChannelChecker单机版发布后,或者各大智能电视论坛和网络的推荐。据程序后台统计,下载次数超过万次,累计检测网络电视频道源超过百万次。我由此想到如此大量丰富的数据源,完全可以开发成云平台大数据类的应用,实现离线分散的用户的数据汇聚产生更加的价值和更好的用户体验。因此,基于云平台的网络频道管理系统NCMS进入开发计划并发布。云平台的选择几经波折,最开始是在百度云发布,百度收费后迁至新浪云,在然后迁至免费的sourceforge。
OTT杀手级应用,解决各类网络机顶盒没有直播频道可用的尴尬,把选择看哪个频道的权利还给用户。从此自定义直播频道不在困难,随时更新最新最全的全球网络直播频道。
Network channel management system=NCMS
包含三大模块
1.网络频道云抓取 ChannelScratch
JAVA实现
该模块目的是解决网络直播源的来源问题,一个是系统自动从网络采集直播源;另外一个途径是收集用户检测的结果
- 从各大网络源论坛抓取网络频道地址,专注http爬虫
- 从各大在线网络直播网站提取网络源地址,专注各类媒体协议的抓取分析
该模块是管理员模块,暂不开发给普通用户
2.网络频道云检测 AnalysisChannel
JNLP实现,帮助用户检测一个直播源是否有效
- 帮助用户检测网络源是否可用
- 支持多种频道文件格式
- 支持频道分辨率自定义
- 支持频道延迟自定义
- 支持静默检测
- 支持指定频道文件范围检测
- 采用JNLP技术,实时在线更新检测客户端
- 检测结果自动上传云存储,用于频道分享系统
- 设立会员制,与频道分享系统同步
普通用户模块,实现云检测和云分享
3.网络频道云分享CloudChannel
JSP实现,帮助用户分享和查询需要的直播源
- 汇聚模块1和模块2提取的直播源
- 支持频道名查询
- 支持直播源协议查询
- 支持频道分辨率查询
- 支持频道有效率查询
- 支持频道分享时间段查询
- 设立会员制
- 支持导出各类频道列表格式,例如龙龙直播,泰捷直播......
- 定期自动从频道云存储中更新最新频道检测和抓取数据
- 开放各类直播软件的自定义频道接口,由软件自动更新
- RESTapi 开发第三方查询
- 在线播放
4.频道在线检测模块
1.利用百度云媒体,实现百度云上的检测。
2.该模块建议开发管理员版本,避免用户太多导致百度带宽消耗
3.可以和后台cloudchannel结合,定时检查频道有效性
三大模块相互合作,完美解决网络源少,常常失效,经常变化的问题。
开发平台
Netbean7.4(java IDE)
Java jre7 32bit(要求java使用32位版本,配合VLC32位版本)
VLC2.1.3-win32(要求VLC使用32位版本,因为64位版本不稳定)
Javamail1.4.6(java发送邮件的库)
Jfreechart1.0.17(java绘制图形的库)
vlcj2.4.1(java调用vlc的库)
jna3.5.2(java调用vlc dll的jna库)
系统模块
百度云架构(百度云收费,已停止更新,转移至Sourceforge)
网络频道检测模块
AnalysisChannel(百度云对应名称ilovetv,原AnalysisChannel域名只做重定向)采用JNLP技术实现瘦客户端在线更新
NCMS主程序,调用频道检测,频道查询和在线播放,频道统计
网络频道查询模块
CloudChannel(百度云对应名称CloudChannel,当前只保留后台数据,前台ASP已下线不再使用,此域名只做重定向到ilovetv)
第一版为ASP的网页程序,供用户查询channelcheckerV1.3收集的频道检测结果。
数据库说明:
cloudchannel_total存储所有有史以来未经计算的频道信息
cloudchannel存放每次增量更新的频道信息
bigdatachannel存放处理后的频道信息,为cloudchannel的主数据表
bigdatachannel_total为主表的备份
userBehavior为用户行为表
第二版只保留后台数据库,前台ASP网页已下线。数据库供ChannelServer调用
数据库说明:
Analysischannel为该版本主表
Analysischannel用户表设计:
channel: varchar
mrl: varchar
validity: text
pixel:int
count_yes:text
count_no:text
passrate:decimal
createtime: timestamp
linktime: int
provider: text
bandwidth: text
timeout: int
数据库中间件模块
ChannelServer(百度云对应名称ChannelServer):使用httpservelet 中间件,供AnalysisChannel/ilovetv调用数据库CloudChannel
版本更新历史
ChannelChecker1.0版已停止开发;
NCMS网络频道云检测系统百度云版本已停止开发;
NCMS网络频道云检测系统新浪云版本开发进行中…
NCMS版本号定义:
2.X1.X2.X3
2--频道检测的第二个版本,全新平台设计,云系统。
X1--主模块版本号, 0--频道检测模块1--频道查询模块 2--频道播放模块 3--频道数据浏览模块 4--频道抓取模块
X2--主模块的子功能版本
X3--每个版本build日期
版本更新记录
NCMS V2.0.0.20131016
Build-20131016
更新记录:
- 实现JNLP调用本地VLC检测网络频道的基础版本
- 集成NCMS三大模块于一个程序,其他2模块即将上线
- Swing GUI基本界面完成
- 读取各类频道文件,分隔符支持逗号,空格,tab
- 保存结果文件,逗号分隔
- 多线程分离GUI和检测工作线程
- 支持音频和视频频道的检测
- 用户自行选择网络运营商和带宽选择
- 频道链接速率检测
- 检测进度显示
NCMS V2.0.1.20131105
Build-20131105
更新记录:
- 增加用户设置超时时间,自动跳过无响应死链接,用户实时控制超时时间
- 更新NCMS首页内容
NCMS V2.0.2.20131106
Build-20131106
更新记录:
- 静默检测,用户实时控制是否显示检测音视频窗口
NCMS V2.0.3.20131123
Build-20131123
更新记录:
- 检测结果自动发送到[email protected]邮箱
NCMS V2.0.4.20131125
Build-20131125
更新记录:
- 检测自动保存到analysischannel数据表
- 保存到邮箱功能屏蔽
NCMS V2.1.0.20131126
更新记录:
- cloudchannel功能上线,支持按频道名查询
NCMS V2.1.0.20131127
更新记录:
在线播放功能上线--delay
NCMS V2.1.1.20131128
更新记录:
- 简化NCMS首页内容
- 添加VLC路径检测
- 开放邮箱自动收集功能
NCMS V2.1.2.20131130
更新记录:
- 添加输入输出文件说明
- 添加日志格式说明
- 修改日志输出格式
频道文件说明:
1. 频道输入文件格式,请自行转换为UTF-8格式,否则可能会有中文乱码,文件内容格式:
频道名 频道链接
或者
频道名,频道链接
2. 频道输出文件格式:
频道名,频道链接,频道有效性,频道链接速率
3. 日志显示格式与频道输出文件相同
NCMS V2.2.0.20131210
更新记录:
- NCMS首页增加浏览器位数检测
- 根据本地操作系统字符集自动转换编码
- 增加检测完成有效频道数的提示
- 频道检测窗口标题显示正在检测的频道名
- 支持查询结果的在线播放
- 应用迁移到http://ilovetv.duapp.com
字符集转换
GBK UTF-8 ANSI
NCMS V2.2.1.20131217
更新记录:
- 修复查询中文返回乱码和检测中文乱码问题
- channelserver后台开放给YunTV直播做查询接口
NCMS V2.2.2.20131218
更新记录:
- 优化后台频道数据库算法
- 修改输出文件为csv格式,便于用户刷选频道数据
- 增加查询时用户选择频道分辨率的设定
NCMS V2.3.0.20140105
更新记录:
- 增加用户登录窗口
- 增加频道数据浏览模块
- 增加总体检测时间模块
- 增加检测记录自动滚动到最后一条
NCMS V2.3.1.20140124
更新记录:
- 增加用户查询行为数据统计
- 优化频道统计显示
- 解决点播后窗口无法关闭的问题
- 增加连接速率和检测时间的查询结果显示
- 增加频道查询字段的排序支持
NCMS V2.3.2.20140430
更新记录:
- 增加输入输出频道文件格式(输入输出格式:泰捷tv,VST/龙龙/云直播txt,海美迪xml)
- 首页增加免责声明和使用帮助说明
- 数据总览模块增加热门频道展示
泰捷视频 |
文件格式为.tv ,里面内容一行为一条记录,以逗号分隔,前面为节目标题,后面为节目地址 |
龙龙直播 |
文件格式为.txt ,里面内容一行为一条记录,以逗号分隔,前面为节目标题,后面为节目地址 |
VST直播 |
同上 ,文件格式为.txt ,里面内容一行为一条记录,以逗号分隔,前面为节目标题,后面为节目地址 |
云直播 |
同上 ,文件格式为.txt ,里面内容一行为一条记录,以逗号分隔,前面为节目标题,后面为节目地址 |
海美迪 |
文件格式为.xml 'name' 节点为节目标题'url'节点为节目地址 |