在线客服:
九州体育官网登录 九州体育官网登录
全国服务热线:0755-25103206
您的位置:首页 > 新闻中心 >

如何自己开发一套服务器管理系统

浏览 12次 来源: 作者:    时间:2020-01-24 11:16:19
[摘要] 

  python是不管哪个linux系统在安装的时候就都会有了。所以,我势必要把所有的安装文件以及他们的依赖尽可能集中起来。也不能太复杂,太复杂了等于是给自己找麻烦,所以简单的数据包编解码的工作或者用token验证的方式是需要的。没人拦着你用nodejs写mapred,也可以写,就是你得在每个节点都装v8的解释引擎,不嫌麻烦完全可以这样干。我没有使用xml-rpc的原因之一就是我听说php的xmlrpc跟其他语言的xmlrpc有不同的地方,需要修改才能用,我就没有用这种办法。easyhadoop没他们功能那么强大,一年来只有我一个人设计架构,功能,各种语言的编码,测试,发布。最早是自己定义的操作协议,这时就遇到了这些问题,所以后来直接采用了thrift方式。view对我来说是最痛苦的事,都是现学的jQuery怎么用,前端的工作太可怕了。对我来说,写界面的工作可能更难一点。所以一定要最大限度的保证语言的跨版本兼容性,要是每个操作系统和每一个版本我都写一个代理,我一个人就累死了。

  无论命令还是文件是否在代理端执行成功,都需要获取到执行结果返回给中央端。只有个别几个节点是可以访问外网的。For the love of god, What have I done(英文部分请站在山顶仰天长啸)? T_T。(系统yum或者apt-get的包不如自己打的好使。现在我自制的安装包里面就已经包含了自己编译的lzo和snappy两种压缩库,以及hadoop-gpl-packaging的rpm和deb。要适应不同的操作系统也是个很麻烦的事情,需要用agent提前获知操作系统的发行分支,版本号。这个总体来说不是很难,都有现成的包。所以这里也涉及一个读取节点上的stdout和stderr的问题。Cloudera可能是十来个人在写Manager的东西,ambari也是放到github和apache svn上面,apache基金会的各种committer在写。当然这个时候你需要的是阻塞执行,而不能搞异步回调。这就跟为什么用python和java写mapred的人最多是一样的。用java和php也可以写agent,但是你势必在各节点预先就铺设好jre或者php运行环境。

  写一个分布式的管理脚本不难,写一个界面也不难,但是也许是我的水平不行,这两件事结合起来让他们协同工作还是有点难度的。还有个问题是,我要尽可能使用python默认就带的包,而尽量不让服务器去访问internet下载第三方的包。这个其实牵扯到一个通信协议的问题,各语言都有自己的socket,thread的库,直接调用即可。对计算机硬件、操作系统安装、典型网络设备具有详细认知。长期从事计算机组装,维护,网络组建及管理。deb包很好解决,但是rpm就没那么好办了,需要学习rpm的编译文件如何编写,这块是挺麻烦的,但是这玩意用好了还是挺不错的。从前台到后台,到hadoop和生态系统以及他们的依赖软件的单独patch、编译打包。所以,最好的办法是自己编译打包rpm和deb包。既不能太简单,太简单了,明码传输,如果别人获知了这个接口,就很容易执行一些令人讨厌的操作。所以我自己写了一个python的代理端。为什么要跨语言,主控端和代理端通信,用什么语言开发其实无所谓。已经自带了lzo和snappy以及lzop和snzip。但是为了给自己省事,尽可能使用服务器上已经有了的默认语言,Ambari前期采用php+puppet的方式管理集群,这不是不可以,puppet自己解决了socket通信协议和文件传输的问题,可你需要为了puppet在每台服务器上都安装ruby。还有代理端最重要的一点,就是python的版本兼容性。然后主控端的通信,可以用python实现,也可以用php实现,但是考虑到对于更多的使用者来说,改php可能要比改tornado简单许多,所以就没用python开发。php里面的model封装了所有的操作,而python只是个操作代理人的角色而已。就基本不存在跨语言的socket通信问题了。

  原理参看map/reduce论文,不解释。作为界面化的系统,浏览器框架是不可或缺的,但更加重要的东西在Socket上面。但这是理论上的,实际开发过程中确实存在问题,比如socket长连接,通信数据包在底层的封装方式不同。perl也是操作系统原生带的,但是perl的可维护性太差了,还是算了吧。关联这些所有事情间的联系,整合到一个浏览器界面里面去。然后去找到对应的安装文件去执行。光是为了一个puppet就装个ruby,我觉得心里特对不起服务器的资源。我是个有点服务器和代码洁癖的人。所以这就牵扯到一个跨语言的socket问题,理论上来说,这不存在什么问题。发送文件的操作和数据库操作也要在model里面完成。你以为他是一只鞋吗?其实他是一个吹风机。下一个发布的easyhadoop将直接支持centos5,6,suse,以及ubuntu/debian的系统上安装hadoop。直接安装就好了,别去找repo下载什么。

  )展开全部转载 表面上看,是一套基于B/S方式实现的分布式管理系统,但其实背后的架构是基于C/S完成的。但是这个通信协议就需要自己来完成了。如果对tcl/tk很熟,也可以写基于操作系统界面方式的管理,不用浏览器就是了。关于这方面,没有太多可描述的,html和js带给我的只有痛苦的回忆,万恶的undefined。centos5用python 2.4,centos6用python 2.6,ubuntu基本默认都是2.7。所以也延伸出一个问题,什么语言用来做这种分布式管理系统的代理端比较合适,我自己觉得,也就是python比较合适了,操作系统自带,原生的package功能基本够用。我不确定安装操作系统的lzo,yum或者apt-get会去下什么鬼东西,甚至无论是yum还是apt-get,里面都没有hadoop-lzo的库文件。这里面你要封装好所有的通信协议,以及需要在节点上面执行的脚本。你不能保证一个分布式系统的集群中所有的节点都可以访问internet,更多的情况是这些节点都存在在一个安全的内网中。通信协议起码要两种,一种是传输命令执行的协议,一种是传输文件的协议。hadoop分支版本众多,发布出去,用户要自己修改成安装适合自己的hadoop发行版,就势必要改源码,会php的明显比会python的多。

  最新电商平台

九州体育官网登录
本文标签:

热门标签

最新标签

推荐阅读

最新评论