大发龙虎首页    注册   登录
大发龙虎 = way to explore
大发龙虎 是一个大发龙虎关于 分享和探索的地方
现在注册
已注册用户请  登录
OPPO Watch
tjq
大发龙虎  ›  Java

推广下自己的开源项目:分布式调度与计算框架—OhMyScheduler

  •  
  •   tjq · 9 天前 · 2621 次点击
    43 条回复    2020-05-22 21:02:45 +08:00
    w292614191
        1
    w292614191   9 天前
    大发龙虎你 这个支持刷新 执行器 吗?
    比如调度中心重启了,会自动加载执行器进来吗?还是执行器也要跟着重启一次。
    xxl-job,有时候无法刷新执行器进来。
    xinQing
        2
    xinQing   9 天前
    可以啊
    tjq
        3
    tjq   9 天前
    @w292614191 OhMyScheduler 没有执行器注册的概念,在 Server 调度执行的时候是根据执行器的全限定类名(比如 com.github.kfcfans.XXXProcessor )去找具体的对象的,因此没有大发龙虎你 说的问题。

    欢迎试用和交流~
    tjq
        4
    tjq   9 天前
    @xinQing 哈哈,谢谢鼓励~欢迎使用和交流~
    w292614191
        5
    w292614191   9 天前
    serverAddress
    文档说是调度中心的大发龙虎地址 哇,执行器不是通过这个大发龙虎地址 注册到调度中心的吗?
    tjq
        6
    tjq   9 天前
    @w292614191 不好意思大发龙虎我 理解错了,大发龙虎你 说的执行器其实就是接入 OhMyScheduler 的某个业务应用吧,大发龙虎我 理解成具体的某个 Processor 类了。
    以下为正式解答:
    支持刷新。OhMyScheduler 的整体架构非常高可用,无论怎么折腾都可以恢复~
    labulaka521
        7
    labulaka521   9 天前 via Android
    tjq
        8
    tjq   9 天前
    @labulaka521 不同款哦~
    首先,主体语言不同 hhh,不过这个并不是很重要。
    最重要的区别在于 OhMyScheduler 提供分布式计算能力,在业务越来越庞大的今天显得格外有意义~

    (羡慕大发龙虎你 好多 star 啊~((这么多 star 了还要来大发龙虎我 这里打广告拐跑大发龙虎我 潜在的用户😭
    不过好歹也算是同行,有兴趣可以交流一下哈~
    w292614191
        9
    w292614191   9 天前
    @tjq 看起来不错噢,有在线大发龙虎地址 吗?
    labulaka521
        10
    labulaka521   9 天前 via Android
    @tjq 大发龙虎我 这个和那个 xxljob 类似的,star 会有的,大发龙虎我 这就去给大发龙虎你 点
    yuchenyang1994
        11
    yuchenyang1994   9 天前
    Pornhub 风格 logo 好评
    tjq
        12
    tjq   9 天前
    @w292614191 不好意思目前还没有(主要原因是 vue 和 SpringBoot 结合后是浏览器发请求,导致访问不了后端大发龙虎服务 ,目前需要独立部署前端,大发龙虎我 找个机会部署下吧)~
    不过大发龙虎我 提供了一种很方便的试用大发龙虎方法 ,只要有 Docker 环境,git clone 项目后运行 /other/script/build_docker.sh ,按提示操作可以自动部署 1 台 Server 和 2 台 Agent 进行试用~

    谢谢支持,欢迎试用和交流!
    tjq
        13
    tjq   9 天前
    @labulaka521 哈哈哈,谢谢老哥~大发龙虎我 准备下阶段做个 DAG 工作流,大发龙虎我 看大发龙虎你 那项目目前也不支持,可以一起学习学习交流交流交流~
    tikazyq
        14
    tikazyq   9 天前
    crawlab 参考一下?用 go 写的
    cy476571989
        15
    cy476571989   9 天前
    @tjq 可以考虑把文档翻译为英文文档,扩大受众面,大发龙虎推荐 使用大发龙虎我 自己做的 breword 翻译大发龙虎工具 : www.breword.com
    tjq
        16
    tjq   9 天前
    @yuchenyang1994 哈哈哈~
    (大发龙虎我 只是觉得好看,没别的意思嗷[手动滑稽]
    tjq
        17
    tjq   9 天前
    @tikazyq 好的,谢谢您的建议!
    tjq
        18
    tjq   9 天前   ❤️ 1
    @cy476571989 一直有这个计划,拓宽海外市场嘛,让外国人见识见识大发龙虎大发龙虎我 们 中国程序员的厉害哈哈。
    但是大发龙虎我 英语挺烂的...再加上目前一个人维护那么大一个项目实在也没有额外精力去做国际化、翻译这些东西了。

    看了一下是个很棒的大发龙虎工具 ,大发龙虎我 会尝试的!谢谢~
    cy476571989
        19
    cy476571989   9 天前
    @tjq 大发龙虎我 可以帮忙维护翻译文档啊。而且在项目更新的时候,会自动抓取更新的内容, 在译文展示修改的内容,可以让译文文档的维护变得非常轻松。

    大发龙虎你 可以去 breword 注册账号,然后创建一个翻译项目,抓取大发龙虎你 的这个项目的文档,然后大发龙虎你 就是这个翻译项目的管理员了,大发龙虎我 可以参与翻译,最终由大发龙虎你 来 review 译文内容。

    等项目变得受欢迎之后,应该能够吸引到大发龙虎更多 希望能够参与翻译的朋友。
    labulaka521
        20
    labulaka521   9 天前
    @tjq 是的,大发龙虎我 那个也不支持,关键前端那拖拽 dag 不知道用什么搞
    tjq
        21
    tjq   9 天前
    @cy476571989 大发龙虎我 已经注册完成并创建了项目,但是发现了一个问题。
    大发龙虎我 的文档是写在 GitHub Pages 里面的,所以大发龙虎你 们的大发龙虎工具 只抓取到了 Readme.md...
    个人认为使用静态网页作为文档的开发者不在少数(主要是这样对用户比较友好),是否可以考虑下支持这个功能呢?
    大发龙虎我 创建的项目叫:分布式调度与计算框架 OhMyScheduler 文档翻译
    大发龙虎地址 : http://www.breword.com/projects/5ec731deddcf37001b4c3423
    tjq
        22
    tjq   9 天前
    @labulaka521 大发龙虎我 研究研究,等大发龙虎我 搞出来了告诉大发龙虎你 ~
    cy476571989
        23
    cy476571989   9 天前
    @tjq 大发龙虎我 看到了,大发龙虎你 的翻译语言选错了,

    大发龙虎你 的文档是中文的,应该选择: 中文 -> 英文, 大发龙虎你 现在选择的是 英文 -> 中文。

    语言选择错误,会导致机器翻译失败。

    还有就是,大发龙虎你 的实际文档目录为: guidance -> content -> docs 下面

    大发龙虎我 在后头手动把这个项目大发龙虎删除 , 5 分钟后,大发龙虎你 刷新没有大发龙虎你 这个项目的时候,大发龙虎你 再创建一个新的项目。
    cy476571989
        24
    cy476571989   9 天前
    @tjq 已经将大发龙虎你 刚才创建的这个项目删掉了,大发龙虎你 再创建一个新的,记住语言选择为:

    中文 --> 英文
    tjq
        25
    tjq   9 天前
    @cy476571989 大发龙虎我 重新创建了,创建的时候确认了很多遍,确定是中文 -> 英文,可是点击的一瞬间似乎又变成了英文 -> 中文...
    然后大发龙虎我 现在连个人大发龙虎主页 都进不去了,进去就刷一下然后空白( http://www.breword.com/tjq )...

    在这里交流不太方便(主要是回复还要扣钱),大发龙虎我 觉得您的大发龙虎产品 很棒很想尝试,能不能给个联系方式呢~
    cy476571989
        26
    cy476571989   9 天前
    大发龙虎我 个人大发龙虎邮箱 为: [email protected] ,希望可以一起推动这个事情往前进。
    cy476571989
        27
    cy476571989   9 天前
    @tjq 已经给大发龙虎你 注册 breword 时候填写的大发龙虎邮箱 ,发送了邮件,可以查收一下。
    labulaka521
        28
    labulaka521   9 天前
    @tjq 哈哈 好的
    gemini767
        29
    gemini767   9 天前
    代码浓浓的阿里味
    tjq
        30
    tjq   9 天前 via iPhone
    @gemini767 哈哈,哪些地方透露出了浓浓的阿里味啊?😂
    gemini767
        31
    gemini767   9 天前
    @tjq 哈哈哈,没有恶意,class,function,参数 很多的命名都能看出来
    tjq
        32
    tjq   9 天前 via iPhone
    @gemini767 这能有什么恶意呀。大发龙虎我 只是感到了一点点惊讶~
    只能说您阅历丰富眼力惊人了哈哈~
    fangcan
        33
    fangcan   9 天前
    换个名字会不会好点 😂
    tjq
        34
    tjq   9 天前 via iPhone
    @fangcan 诶...这名字大发龙虎我 还自认为取得不错呢😭
    有什么高见吗哈哈~
    Mistwave
        35
    Mistwave   9 天前 via iPhone
    emmmm 不支持 DAG 的意思是,任务之间不可以配置依赖吗?这个算是调度系统的刚需了.....
    大发龙虎大发龙虎我 们 去年自己写了一个调度系统,最主要的就是要解决依赖问题,HA 啥的都是顺便带的......
    如果让任务自己解决依赖的话,几百个任务里面要耦合这种代码,还是挺难受的
    akka 写的好评,为啥不用 Scala 呢。akka 的 java dsl 不太顺手吧?
    另外问下,这个有上生产吗?有生产的调度数据可以分享下吗?比如文档中提到的“性能强劲”,有类似的 benchmark 吗?
    Arthit
        36
    Arthit   9 天前
    tjq
        37
    tjq   9 天前   ❤️ 2
    @Mistwave 嗯,任务之间不可以配置依赖,不过目前正在全力开发中~
    一开始不支持的原因是大发龙虎我 个人一开始想要的主打功能是分布式计算,而且当时觉得 MapReduce 处理器能代替一部分 DAG 功能,不过现在已经意识到了 DAG 的重要性,不久的将来就会提供支持。
    不用其他语言(其实大发龙虎我 本来想用 Kotlin 的)主要是考虑到维护成本和接入成本,比如大发龙虎你 用大发龙虎我 这个框架,肯定会先把代码看一遍吧,国内后端领域 Scala 和 KT 的普及度都太低了,用这些语言写的话本项目基本最后就会变成大发龙虎我 个人的一个玩具了。
    在 Java 项目用 akka 确实很不舒服(光一个大发龙虎方法 就 4 个 API,无力吐槽),不过本项目基本只是把 akka 当作了一个简化版 Netty 在用。因为为了 Processor 的可控性,还是要自己开线程池,也就没有采用 Actor 模型。
    目前还停留于个人测试阶段...没有实际的生产数据,抱歉~

    性能强劲其实是想表达大发龙虎我 调度层设计的比较高超和巧妙,大发龙虎我 看过 XXL-Job 调度的代码,就是简单的 select for update +hash map 版时间轮,而本项目的实现是无锁化查询(可以理解为分段查询)+真正的时间轮(参考了 Netty 时间轮),性能自然不在一个等级上。不过事实上,对于调度应用,个人认为调度性能是远远达不到瓶颈的,撑死几千几万个任务,哪怕最简单的直接每秒数据库轮询都能符合性能要求。

    最后,如果有兴趣使用,大发龙虎你 可以尝试部署到预发观察几天~如果遇到什么 bug 或问题,可以直接联系大发龙虎我 ,最近大发龙虎我 有充足的时间第一时间修复问题~

    感谢支持~
    cy476571989
        38
    cy476571989   9 天前
    @tjq 建议可以做一个 docker 镜像,直接可以从 docker hub 拉取镜像试玩,这样尝鲜的话更容易点。
    tjq
        39
    tjq   9 天前 via iPhone
    @cy476571989 哈哈提供了哦~不过要仔细看文档才能发现就是了……
    正在考虑搭个在线试用平台~
    hello2060
        40
    hello2060   9 天前
    Java 新手想加入啊,可一个 issue 都没有不知道从哪入手啊
    tjq
        41
    tjq   9 天前 via iPhone
    @hello2060 可以先看看源码,理解项目整体的架构和用到的大发龙虎技术 。对项目有了整体的把握,有自己的想法,就可以做贡献啦~慢慢来,大发龙虎我 相信大发龙虎你 可以的!
    hello2060
        42
    hello2060   9 天前
    @tjq 好滴,大发龙虎我 先学习学习哈哈。
    tjq
        43
    tjq   9 天前 via iPhone
    @hello2060 嗯嗯,看到比较棒的设计或实现也可以写写博客分享啊哈哈(靠大发龙虎我 一个人推广好难~,求大发龙虎帮助 哈哈)。当然,有不懂的地方也可以问大发龙虎我 ~
    大发龙虎关于   ·   FAQ   ·   API   ·   大发龙虎大发龙虎我 们 的愿景   ·   广告投放   ·   感谢   ·   实用小大发龙虎工具   ·   3211 人在线   最高记录 5168   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 37ms · UTC 13:35 · PVG 21:35 · LAX 06:35 · JFK 09:35
    ♥ Do have faith in what you're doing.