以图灵机为师:通过微调训练让大语言模型懂执行计算过程

乐鱼体育 619 2024-10-18 15:35:12

AIxiv专栏是机器之心发布学术、技术内容的栏目。过去数年,机器之心AIxiv专栏接收报道了2000多篇内容,覆盖全球各大高校与企业的顶级实验室,有效促进了学术交流与传播。如果您有优秀的工作想要分享,欢迎投稿或者联系报道。投稿邮箱:liyazhou@jiqizhixin.com;zhaoyunfeng@jiqizhixin.com

本文来自南京大学计算机学院软件研究所,聚焦于开放环境下的智能软件新技术研究,定位国际学术前沿,面向国家关键需求,承担了一系列国家科技部和基金委重大/重点科研项目。团队拥有包括中科院院士等多名国家级人才,重点关注软件和智能方向,研究成果发表于NeurIPS/ICLR/SOSP/ATC/EuroSys/OOPSLA/PLDI/ICSE/FSE等国际顶级会议,其中多篇文章获得相应会议的最佳论文奖。

大型语言模型 (LLM) 在各种自然语言处理和推理任务中表现出卓越的能力,某些应用场景甚至超越了人类的表现。然而,这类模型在最基础的算术问题的表现上却不尽如人意。当遇到算术问题时,LLM 通常依赖记住特定的表达式及其对应结果的方式输出算术问题的结果。通过简单的实验发现,LLM 只在语言层面表达了对算术运算的逻辑理解,但并没有运用计算逻辑解决算术问题,这对 LLM 在相关领域中的应用造成了重大障碍,同时影响了其推广到新场景的能力。

为了解决这个问题,来自南京大学的研究者提出了一种面向 LLM 的可组装算术执行框架 (CAEF),使 LLM 能够通过模仿图灵机的方式来执行算术,从而理解计算逻辑。此外,CAEF 具有高度的可扩展性,允许组合已经学习到的运算符,以降低复杂运算符的学习难度。评估表明,LlaMA 3.1-8B 模型配合 CAEF 可在 7 种经典数学算术运算的测试中实现了近乎 100% 的准确率,且能够支撑 100 位操作数的计算,而同等难度下, GPT-4o 在一些算术问题测试中无法正确给出计算结果。



论文标题:Executing Arithmetic: Fine-Tuning Large Language Models as Turing Machines论文地址:https://arxiv.org/abs/2410.07896项目主页:https://github.com/NJUDeepEngine/CAEF

该工作的贡献主要有以下部分:

可组装的算术执行框架:提出了一种面向 LLM 的算术执行框架,使 LLM 能够通过模仿图灵机的方式解决算术问题、掌握运算符的计算逻辑。此外,CAEF 还支持组合多个已学习的运算符来实现更复杂的运算符。Executor 和 Aligners:基于框架 CAEF,实现了七个常见运算符,分别构造了对应的 executor 和 aligner。其中,executor 负责以迭代方式分步执行计算,而 aligner 充当接口,完成 executor 的图灵机风格表示和原始文本表示之间的双向转换。计算准确率:实验结果表明,基于 CAEF 的 LLaMA 3.1-8B 在这七个运算符上的表现优于现有的 LLM,且能够在操作数高达 100 位时实现几乎 100% 的准确率。

相关工作

LLM 面对数学问题:当前研究主要集中如何在提高 LLM 面对数学任务的解题性能,通常引入外部工具来辅助 LLM 解决计算部分的内容。一类常见的外部工具为计算器,如 Schick et al. (2024) [1] ,该工作引入了一种自监督学习方法,模型在该方法中学习何时通过 API 访问调用外部工具,类似的策略可以在 Gou et al. (2023) [2] 和 He-Yueya et al. (2023) [3] 中也能找到。另一类工具是编程语言解释器,例如 Python,LLM 生成用于解决数学问题的代码,再交由外部解释器执行代码以获得最终的结果。一个典型的例子是 Lu et al. (2024) [4] ,它将 LLM 视为生成代码并将其提交给外部 Python 执行程序以处理表格上下文中的数学问题。Wang et al. (2023) [5] 采用监督学习的方式让 LLM 学习如何通过构建用于解决数学问题的程序,而 Zhou et al. (2023) [6] 提出了一种零样本提示方法,以实现代码驱动的自我验证,从而提高数学解题性能。

LLM 面对算术问题:当前也有一些专注于 LLM 算术方面的研究。这些研究的共同目标是尝试教会 LLM 计算逻辑,并通过分步计算的方法拆解计算过程,以提高计算准确性。在这些研究中,Nye et al. (2021) [7] 是一项早期且影响深远的 方法。它在算术领域引入了类似思维链 (CoT) 的思想拆分计算过程,让语言模型把计算的中间步骤输出到一个被称为 “scratchpad” 的缓冲区,显著提高了 LLM 整数加法的性能。Hu et al. (2024) [8] 观察到 transformers 倾向于使用 “基于记忆样例的推理” 来处理算术问题,并提出了一种遵循规则的微调技术,指导模型逐步执行计算。Zhou et al. (2024) [9] 结合了四种技术(FIRE 位置编码、随机位置编码、反向格式(R2L 格式)和索引提示)开发了一种新模型,该模型在两个整数加法问题上实现了 2.5× 的长度泛化能力。

方法描述

该工作设计了一种可以使 LLM 学习模拟图灵机执行的框架 CAEF。图灵机中的转移函数(transition function)描述了基于当前计算状态和纸带信息应该执行什么操作,其中天然蕴含了分步计算的逻辑。此外,组装多个现有的图灵机能够实现更加复杂的计算逻辑,因此图灵机为计算提供了一个很好的思路。然而,LLM 是基于文本的生成式模型,因此如何将图灵机的工作模式有效地转移到 LLM 上成为了一个难点。



图 1. CAEF 框架图示



图 2. 45+67 执行过程

此外,由于计算的初始状态和命令 < > 本身并不存在,CAEF 针对每个操作符需要设计两个组件,一个是用于充当自然语言表示和图灵机风格表示之间 “翻译” 的 aligner,另一个是依照上述流程、负责实际执行计算的 executor,两者以独立的 LoRA adapter 的形式存在。其中 executor 可进一步细分为 basic executor 和 executor composer。针对像加法这样相对容易的基础运算符,可由单一的 LoRA adapter 实现功能,被称为 basic executor;而像乘法这样可以做进一步分解的复杂运算符,其 executor 本身不负责实际运算,它通过组织计算步骤、调用其他运算符的 executor 来实现功能,被称为 executor composer。



Step 1 (aligner):

45+67=

Step 2 (executor):

state0: ADD, q0, [HEAD1] |5|4 [HEAD2] |7|6 [C] [OUTPUT]

command0: CMD: [C] 0, [HEAD1] RIGHT, [HEAD2] RIGHT, q1

Step 3 (executor):

state1: ADD, q1, [HEAD1]|5|4 [HEAD2]|7|6 [C] 0 [OUTPUT]

command1: CMD: [C] 1, [OUTPUT] 2, [OUTPUT] RIGHT, [HEAD1] RIGHT, [HEAD2] RIGHT, q1

Step 4 (executor):

state2: ADD, q1, |5 [HEAD1]|4 |7 [HEAD2]|6 [C] 1 |2 [OUTPUT]

command2: CMD: [C] 1, [OUTPUT] 1, [OUTPUT] RIGHT, [HEAD1] RIGHT, [HEAD2] RIGHT, q1

Step 5 (executor):

state3: ADD, q1, |5|4 [HEAD1] |7|6 [HEAD2] [C] 1 |2|1 [OUTPUT]

command3: CMD: [OUTPUT] 1, [OUTPUT], [C], qH

Step 6 (executor):

state4: ADD, qH, |5|4 [HEAD1] |7|6 [HEAD2] [C] 1 |2|1|1

command4: No command to execute. Halt state.

Step 7 (aligner):

45+67=112

Executor composer:以乘法为例,文章介绍 executor composer 的设计过程。乘法可以可以通过加法和小于两个操作符实现。以形式 a×b=c 为例,一种简单的乘法实现可以大致视为循环结构。在循环中使用两个累加器:在每次循环中,一个累加器自增 1,另一个累加器在每次循环中累加 a。当第一个累加器达到 b 时,循环结束,第二个累加器的值即为结果 c。在该过程中,累加器通过现有的加法操作符实现,循环终止条件由小于操作符实现,而乘法自身不参与实际运算,仅驱动该流程的执行。基于该思路,可以构建乘法的抽象执行流程,如图 3 左侧的自动机图所示。以 “89×2=” 这个问题为例,图 3 的右侧展示了 executor 的完整执行流程。



图 3. 89×2 执行过程

通过上述设计,CAEF 赋予了 LLM 执行计算的能力,executor composer 的存在还使得该方法具有很高的扩展性,能够有效处理复杂计算。

实验结果

该工作评估了不同运算符、不同位数情况下的算术准确率。实验使用 LLaMA 3.1-8B 预训练模型作为基础模型,在 +、−、×、÷、==、> 和 < 这 7 个运算符上和三个基准进行了比较:1)LLaMA 3.1-8B 预训练模型基于 LoRA、在仅给出计算结果的数据集上直接微调得到的模型、2)LLaMA 3.1-8B-Instruct、3)GPT-4o。



表 1. 七种运算符的总体评估结果,“LLaMA 3.1 (L)” 代表 LoRA 微调后的 LLaMA 3.1-8B,“LLaMA 3.1 (I)” 代表 LLaMA 3.1-8B-Instruct 模型

表 1 展示了 7 个运算符的 CAEF 方法和基准的评估结果。与基准相比,CAEF 在不同运算符、不同长度的操作数的设置下表现相对稳定,准确率高。特别是对于长数字的任务,例如 100 位加法,通过 CAEF 指导的 LLM 可以有效地学习到计算逻辑。

为了进一步探索 executor 和 aligner 在计算过程中的实际性能,该工作在同一数据集上分别进行了评估。如表 2 所示,可以观察到,即使 executor 必须以迭代方式反复生成中间计算步骤,而 aligner 只执行两个转换步骤,但 executor 的整体性能仍然优于 aligner。executor 在所有实验设置中都达到了 99% 以上的准确率,说明当提供正确的初始状态和命令时,它在绝大多数情况下都能有效工作。另一方面,在大多数情况下,与转换 executor 的输出相比,aligner 在转换原始输入时表现出较低的精度,这表明整个计算过程的瓶颈在于操作数的翻转,而不是计算本身。



表 2. 七种运算符的 executor 和 aligner 准确率,executor 的准确率统计的是从初始状态到最后一步中,每一步都正确、最终计算正确的情况。aligner 的精度分为两部分:从原始输入到 executor 表示的转换,记为 aligner (I),以及从 executor 表示到输出的转换,记为 aligner (O)。

参考文献:

[1] Timo Schick, Jane Dwivedi-Yu, Roberto Dess`ı, Roberta Raileanu, Maria Lomeli, Eric Hambro, Luke Zettlemoyer, Nicola Cancedda, and Thomas Scialom. Toolformer: Language models can teach themselves to use tools. Advances in Neural Information Processing Systems, 36, 2024.

[2] Zhibin Gou, Zhihong Shao, Yeyun Gong, Yujiu Yang, Minlie Huang, Nan Duan, Weizhu Chen, et al. Tora: A tool-integrated reasoning agent for mathematical problem solving. arXiv preprint arXiv:2309.17452, 2023.

[3] Joy He-Yueya, Gabriel Poesia, Rose E Wang, and Noah D Goodman. Solving math word problems by combining language models with symbolic solvers. arXiv preprint arXiv:2304.09102, 2023.

[4] Pan Lu, Baolin Peng, Hao Cheng, Michel Galley, Kai-Wei Chang, Ying Nian Wu, Song-Chun Zhu, and Jianfeng Gao. Chameleon: Plug-and-play compositional reasoning with large language models. Advances in Neural Information Processing Systems, 36, 2024.

[5] Ke Wang, Houxing Ren, Aojun Zhou, Zimu Lu, Sichun Luo, Weikang Shi, Renrui Zhang, Linqi Song, Mingjie Zhan, and Hongsheng Li. Mathcoder: Seamless code integration in llms for enhanced mathematical reasoning. arXiv preprint arXiv:2310.03731, 2023.

[6] Aojun Zhou, Ke Wang, Zimu Lu, Weikang Shi, Sichun Luo, Zipeng Qin, Shaoqing Lu, Anya Jia, Linqi Song, Mingjie Zhan, et al. Solving challenging math word problems using gpt-4 code interpreter with code-based self-verification. arXiv preprint arXiv:2308.07921, 2023.

[7] Maxwell Nye, Anders Johan Andreassen, Guy Gur-Ari, Henryk Michalewski, Jacob Austin, David Bieber, David Dohan, Aitor Lewkowycz, Maarten Bosma, David Luan, et al. Show your work: Scratchpads for intermediate computation with language models. arXiv preprint arXiv:2112.00114, 2021.

[8] Yi Hu, Xiaojuan Tang, Haotong Yang, and Muhan Zhang. Case-based or rule-based: How do transformers do the math? arXiv preprint arXiv:2402.17709, 2024.

[9] Yongchao Zhou, Uri Alon, Xinyun Chen, Xuezhi Wang, Rishabh Agarwal, and Denny Zhou. Transformers can achieve length generalization but not robustly. arXiv preprint arXiv:2402.09371, 2024.

上一篇:东部战区为什么于凌晨夜间发起演习
下一篇:活该林有慧被萧敬腾宠着!她为萧敬腾做的这些事,一般女人做不到
相关文章

 发表评论

暂时没有评论,来抢沙发吧~

返回顶部小火箭

猜你喜欢


九游手机游戏中心
哈哈官方平台
59博论坛官网2021
永利官方
升博体育下载地址
乐发彩票app下载官网安卓
哈哈体育官方网站下载
天天娱乐软件下载安装
哼哈练气
哈哈哈哈哈今晚开播
九游官网app
59博论坛官网2021
ku体育在哪下载
可以兑换人民币的捕鱼游戏捕鱼大漏斗
升博体育分析兼98db in
哈哈体育app官网版下载安装手机
真人捕鱼游戏可提的
星辰大海足球
北京必胜互娱网络科技有限公司
体育 官网 app 下载
天天娱乐合法吗
必胜互娱
九游官方下载安装
光遇九游版免费下载
九游游戏中心大全官网
天天娱乐下载2 0
麦游捕鱼微信红包版下载
哈哈体育
天天娱乐下载2.0
kb体育平台下载官网
博升教育怎么样
捕鱼游戏注册送27元
必胜软件官网下载
升博体育下载地址
充钱真人捕鱼手游
天天娱乐下载苹果版安装
体育首页
捕鱼app排行榜前十名免费下载安装
天天娱乐下载安装到手机上
永利有限公司
天天娱乐助手彩票
kd体育
必胜体育官网app
天天娱乐官方网站手机版下载
必胜游戏平台
必胜app
天天娱乐下载2.0
江南手游下载大全
天天娱乐下载2.0版本苹果
天天娱乐是个什么软件
江南游戏网站
九游官方网站下载
哈哈官方
天天娱乐在线登入彩票网站下载安装
天天娱乐app下载安装2020
天天娱乐软件下载安装手机版
必胜3698z
微信捕鱼上下分24小时在线
必胜app客户端下载安装
捕鱼微信支付宝充值
登录59博
捕鱼可以兑换微信红包的游戏官方
永利官网y
九游游戏中心 app
永利官网总站入口
天天娱乐下载2.0
九游会可以提现吗
充钱真人捕鱼游戏大全
注册捕鱼游戏送3元是哪款手游的
必胜网络游戏
天天娱乐app下载安装2020
天天娱乐是黑平台吗?
下载一个天天娱乐
天天娱乐下载安装安装安装包
北京必胜互娱网络科技有限公司电话
电玩城捕鱼微信上下分
高清体育频道在线直播
必胜游戏平台官网
九游app下载官网下载最新版本
24h微信上下分捕鱼
天天娱乐下载安装安装安装包
59博论坛官网
江南玩游戏解说
必胜2582z是第几代
江南玩游戏好看视频
正版天天娱乐游戏平台
天天娱乐是黑平台吗是真的吗
江南手游官网
江南游戏开发社官网植物大战僵尸旅行
哈哈健身操
k0k体育app下载
kaiyunli
59博综合大厅
有个游戏叫江南什么的
凯云科技有限公司
天天娱乐下载安装安装安装包
kd体育官方入口(体育)
可以兑换人民币的捕鱼游戏
捕鱼金币15w100元时候叫什么平台
江南游戏大全
捕鱼24小时微信上下分
天天娱乐官方网站手机版下载
天天娱乐平台上充值可靠吗
天天娱乐下载安装安装安装包
天天娱乐下载2.0
九游官方正版下载手机app
天天娱乐官方网站手机版下载
k0k体育app下载
必胜娱乐登录窗口
真人捕鱼推荐
升博体育官方app下载
haowin体育登录
天天娱乐官方网站手机版下载
江南游戏解说
真人捕鱼游戏城
捕鱼微信10元起上10元下
天天娱乐是个什么软件
必胜策略游戏的讲解方法
天天娱乐软件下载安装
九游官方手游app
哈哈app官网下载安装
国际米兰 直播平台
江南题材游戏
哈哈篮球官网
k球直播间
天天娱乐下载2.0破解版
59博论坛彩金和看片子
真人捕鱼游戏可提的
江南游戏app
必胜软件
必胜app平台
pvz江南版下载
必胜娱乐28网址谁知道
天天娱乐是黑平台吗知乎
江南游戏直播
kb体育官方登录
捕鱼24小时微信上下分2023
哈哈下载安装
江南游戏官方
哈哈ti网
升博体育下载地址
kb体育平台安全吗
升博体育下载地址查询
麦游捕鱼兑微信红包
哈哈哈网络科技有限公司
k0k体育app下载
必胜网络游戏app
天天娱乐游戏大厅在哪
江南游戏app
59博论坛官网
九游APP官方正版下载安全
捕鱼大咖官方版本客服
天天娱乐下载安装安装安装包
必胜app更新
哈哈官方
博业公司简介模板
九游app官方正版下载安卓
必胜 2588 2767
天天娱乐下载安装安卓
博客51登录
九游官网网站
59博论坛官网
江南游戏网站
哈哈游戏盒子
59博论坛官网
kk直播平台抽成是多少
江南游戏植物大战僵尸
哈哈哈哈哈综艺平台
九游官网手游
捕鱼24小时微信上下分霸王精
哈哈软件是啥
捕鱼大作战柳岩版下载应用下载班
九游官网入口网址
天天娱乐游戏平台
59博论坛彩金和看片子
九游官网网址是多少
kb体育是不是崩了
一天赚5000元的捕鱼游戏
天天娱乐官方网站手机版下载安装
必胜客app
注册送18元的体育平台违法吗
kb体育官网app
云开体育app官方下载
天天娱乐购彩平台官网下载
江南游戏网站
江南游戏社官网首页登录
体育官网手机登录
升博体育官方app下载
哈哈哈哈哈有重播吗
kg体育官网
天天娱乐是个什么软件
天天娱乐是骗局吗
博业公司简介怎么写
天天娱乐软件下载安装
必胜娱乐28网址谁知道
升博体育网站是多少号码登录
59博论坛彩金和看片子
体育 官网 app 下载
必胜2588z
扑鱼
升博体育网站是多少
体育官网平台大全
天天娱乐下载安装安装安装包
江南游戏开发社官网
必胜体育app下载苹果
天天娱乐是黑平台吗?
k0k体育app下载
59博论坛彩金和看片子
必胜app平台
必胜app
捕鱼24小时微信上下分吧
天天娱乐官方网站手机版下载苹果
一天挣5000块钱捕鱼正版
天天娱乐助手彩票
天天娱乐app安卓版下载
体育平台官方
必胜客官网入口
必胜客是哪个国家的品牌
江南游戏app
天天娱乐助手平台
哈哈小游戏
天天娱乐是个什么软件
天天娱乐游戏大厅
哇哈体育录像回放
kb体育是不是崩了
哈哈健身操
九游首页
博业集团是国企吗
bbs.52cp5.cn
捕鱼大咖官方版本最新版本
永利股份有限公司介绍
必胜规则
捕鱼游戏注册送金币
必胜体育高峰
江南游戏网址
一天赚五千元的捕鱼真假
江南手游官网
kb体育出不了款
江南游戏pvz
博业科技有限公司
天天娱乐下载2.0版本
永利软件
3044am永利集团
哈哈笑网名
必胜客app
beat365在线体育官网
九游官网app
必胜app平台下载安卓
哈哈体育平台在线
必胜体育股票走势图
江南游戏视频解说达人
富翁彩票大厅~welcome
富翁彩票大厅~welcome
哈哈球是什么
下载体育官方客户端
1天赚5000元的捕鱼
必胜app平台
捕鱼24小时上下分现
天天娱乐下载2.0
捕鱼游戏全部系列
江南古风游戏
升博体育注册
kk直播电脑版
江南游戏手机版
九游app官网入口官网APP下载
必胜软件是真的吗
天天娱乐是骗局吗
天天娱乐助手彩票怎么兑换的
神彩8争霸
哈哈官方网站报名
天天娱乐下载2.0
九游app最新版下载安装
捕鱼游戏注册送钱50元
哈哈11好
升博体育怎么样
kk体育官网手机版
哈体院是什么学校
博业公司简介
网上体育官网
天天娱乐公司是啥
哈哈summer
k体育直播app下载安装
体育 官网 app 下载
永利官网邮箱地址
江南手游app
博业文化传媒有限公司电话
江南游戏app
捕鱼大咖官方版本不能换绑定
永利集团是干嘛的
天天娱乐app安卓版下载
天天娱乐是骗局吗
升博体育app下载官网苹果版安装
升博体育有风险吗
九游app下载官网正版
游戏江南百景图中可以兑换建筑的npc是哪位
江南游戏网址
九游官网主页
MK体育平台登陆
天天娱乐下载苹果版安装
天天娱乐下载安装安装安装包
必胜的游戏
集结号捕鱼手机版官网下载新版本
哼哈集团是做什么的
哈哈哈哈哈篮球赛
九游官网下载app下载最新版本
九游官方手游app
哈哈篮球官网网址
必胜网络干嘛的
必胜 2588 2767
体育app官网登录
江南游戏社官网首页
com体育
博业集团官网招聘信息查询
必胜游戏平台是什么意思
59博论坛彩金和看片子
天天娱乐是什么
kb体育官方客户端下载
好球体育直播吧CBA
捕鱼游戏金币换钱
麦游捕鱼红包最新破解版
59博论坛彩金和看片子
100%提现的无门槛的游戏无广告
kb体育平台下载
可提微信红包的捕鱼游戏
九游游戏中心网
哈哈平台下载
必胜软件是真的吗
捕鱼达人旧版本还有吗
天天娱乐助手彩票
必胜软件官网下载
捕鱼10元起上10元下
一天赚5000元的捕鱼游戏
哇哈体育
有个游戏叫江南什么的游戏名字
江南游戏app
kb体育平台下载
哈哈篮球官网
哈哈哈哈哈综艺平台
天天娱乐是个什么软件
九游app免费下载
体育平台app
永利集团官网总站
天天娱乐app安卓版下载
必胜软件是真的吗安全吗
江南游戏官方客服电话
天天娱乐下载2.0
必胜游戏是什么
江南玩游戏解说
59博论坛官网2021
捕鱼游戏注册送金币一元可进
天天娱乐购彩平台下载
天天娱乐下载2.0破解版
kb体育官网登录入口
天天娱乐下载安装到手机桌面上
学校升博是什么意思
江南游戏网页
天天娱乐下载安装安装安装包
天天娱乐官方网站手机版下载安装
k体育下载安装
天天娱乐下载2.0版本
59博平台
有个叫江南的游戏名字
kb体育是什么平台
天天娱乐有挂吗
名字带江南的游戏
升博体育官方app下载安装
天天娱乐软件下载安装
九游官方正版下载 app
捕鱼10元起上10元下微信群
哈哈篮球官网网址
kb体育官网app
天天娱乐游戏平台
哈哈官方
哈哈官方旗舰店
哈哈哈i
哈哈体育_十年运营 信誉无忧
宾果宾果是哪里的彩票
k直播足球app下载 迅雷下载 迅雷下载
江南玩游戏
v博登录
捕鱼游戏注册账号赠送金币
升博体育平台入口
捕鱼微信红包版,是真的吗
充钱真人捕鱼摇钱树
九游游戏中心官网登录中心
哈哈笑网
24h微信上下分捕鱼
九游app官网入口紫色版下载
九游游戏中心官网首页是多少
真人捕鱼游戏城
九游官方正版游戏中心
哈哈哈哈哈综艺20210122
必胜 2588 2767
哇哈体育台湾解说女篮
江南游戏达人
哈哈软件是啥
一天挣5000块钱捕鱼可靠吗
九游app下载官网正版
天天娱乐是骗局吗
麦游捕鱼兑换码兑换
永利集团官网总站
众彩网-购彩大厅
哈哈篮球官网
九游app官方下载版
微信24小时上下分捕鱼电玩城手机下载客服24小时兑换
必胜互娱
天天娱乐官方网站手机版下载苹果版安装不了
九游 官方网站
K体育官方网站地址
九游app官网入口链接在哪里
九游下载官方正版
忘了永利集团的网址了
59博论坛官网
哈哈篮球官网网址
kb体育能提现吗
59博论坛官方网站
kg体育下载
天天娱乐软件下载安装手机版
捕鱼24小时上分下分
江南玩游戏
必胜科技股票300667
江南游戏社官网
哼哈(深圳)展览有限公司
天天娱乐软件下载安装
麦游捕鱼充vip可以每天领红包是真的吗
江南玩游戏
3044am永利集团3044noc
kb体育官方客户端下载(中国)
江南游戏解说
天天娱乐软件下载安装
天天娱乐助手彩票
天天乐彩票是黑网站吗
一款关于江南的游戏有哪些
九游下载官网下载
必胜体育高峰
必胜网络官网登录
天天娱乐购彩中心-购彩大厅
有个叫江南的游戏叫什么来着
九游app官网下载光遇
在线体育官网
捕鱼上下分平台微信
博业集团是国企吗还是私企啊
天天娱乐是黑平台吗?
必胜app下载网赌
59博平台
升博体育怎么样
江南手游app下载
升博体育下载地址在哪
九游app官网入口链接
kb体育官方客户端下载
哈哈足球
天天娱乐app下载安装旧版本v3
江南游戏音乐
升博体育官方app下载苹果
充钱真人捕鱼官网版
天天娱乐购彩平台官网
江南游戏网页
九游游戏中心官网网址
必胜软件是真的吗
天天娱乐官方网站手机版下载
九游app官方下载最新版
kb体育ios下载
59博论坛官网2021
永利股份有限公司官网
必胜网络游戏
kg体育账号封禁
天天娱乐平台上充值可靠吗
j9九游会登录入口首页
天天娱乐下载苹果版安装不了
江南游戏盒
下载一个天天娱乐
天天娱乐app下架怎么办
必胜4.0
购彩中心-购彩大厅
九游官方正版游戏中心
哈哈哈哈哈直播
天天娱乐游戏平台
app官网登录入口
天天娱乐下载2.0
kb体育官方
必胜app客户端下载安装
九游官方版下载
哈哈球是品牌吗知乎
博业文化传媒有限公司地址
九游游戏中心官方
注册捕鱼每天送3金币
九游官方网站首页
哈哈游戏官网723.2官方版本游戏大厅有啥功能.中国
捕鱼一天赚500
永利股份有限公司官网
升博体育官网望
哈哈哈哈哈踢足球
九游app官网下载
天天娱乐下载2.0版本安卓
天天娱乐下载安装安装安装包
永利软件为什么能躺着赚钱
天天娱乐下载2.0
升博体育下载地址
天天娱乐下载2.0
江南游戏社官网首页
必胜软件是真的吗
九游app免费下载
升博体育上不去
九游官方正版下载苹果版
九游游戏网站
江南游戏官方
天天娱乐软件下载安装
天天娱乐购彩平台官网下载
九游游戏app官方网站
必胜app平台
哈哈游戏中心官方网站
kb体育能提现吗
必胜网络是什么软件
江南游戏app
好球体育直播免费观看高清
江南游戏社官网
可以兑换人民币的捕鱼游戏有哪些
升博体育怎么样
必胜集团的网址
哈哈mx
正规体育官网
有个叫江南的游戏
天天娱乐app安卓版下载
哈哈官方平台
哈哈ti网
必胜集团的网址
必胜体育官网下载手机版
升博体育官网望
可以赢钱的网站游戏牛牛
天天娱乐app下载安装2020
天天娱乐助手彩票
天天娱乐下载2.0破解版安装
江南游戏网页
天天娱乐辅助器下载
天天娱乐下载安装安装安装包
2765 2767 必胜
江南游戏社官网网址
捕鱼游戏注册送钱平台
天天娱乐官方网站手机版下载安装苹果
北京必胜互娱网络科技有限公司
59博综合大厅
江南游戏官网
必胜28推广游戏平台
九游游戏中心首页
集结号捕鱼手机版官网下载3d版
天天娱乐辅助器下载
天天娱乐下载2.0
哈哈哈哈哈综艺节目正片
天天娱乐下载2.0版本安装
下载一个天天娱乐
升博体育注册
江南游戏植物大战僵尸
[必胜]
kb体育平台下载
kg体育下载
江南游戏网站
天天娱乐下载2.0破解版苹果
九游游戏中心 app
kb体育官方
必胜app平台下载安卓
kb体育ios下载
博业企业管理有限公司
haowin体育登录网址
升博体育怎么样
升博体育怎么样
必胜软件是真的吗
体育官网排名
一天挣5000块钱捕鱼
天天娱乐app安卓版下载
九游游戏app怎么样
哈哈体育
必胜韩国语园地
哈哈官方
白菜策略菠菜论坛
天天娱乐公司是啥
天天娱乐是个什么软件啊
九游官方网站个人中心
江南gameAPP官方入口
人人体育app官方下载
天天娱乐app下载安装2020
彩票网5598
天天娱乐官方网站手机版下载
必胜app平台
哈哈体育平台怎么样
必胜app点不开
游戏江南百景图
江南游戏网站
升博体育网站是多少
永利正版
哈哈体育app官网入口网址是多少
59搏白菜
天天娱乐游戏平台
凯云软件教学视频
升博体育注册
59博手机官方网站
下载一个天天娱乐
天天娱乐是骗局吗
微信捕鱼二十四小时客服
哈哈哈哈哈什么游戏
天天娱乐是骗局吗知乎
永利集团88304官网
天天娱乐助手彩票
江南手游官网
必胜app
天天娱乐助手彩票
一天挣5000块钱捕鱼正版
九游游戏网页
天天娱乐官方网站手机版下载
江南style游戏机游戏
开体育app下载安装免费APP下载
好球体育直播
必胜软件
哈哈球跳跳马怎么样
天天娱乐下载2.0
天天娱乐下载安装到手机
天天娱乐软件下载安装
天天娱乐是黑平台吗?
博客51登录
九游app官网下载怎么下载
北京必胜互娱网络科技有限公司
天天娱乐是骗局吗
天天娱乐是骗局吗知乎
江南游戏大全
哈哈官方大致是放屁
必胜娱乐登录窗口在哪
升博体育依98db in
游戏 江南
天天娱乐ios下载
江南游戏社官网
天天娱乐是骗局吗
北京必胜互娱网络科技有限公司
江南游戏网
九游游戏中心官方
59博怎么打不开了
江南游戏网页
哈哈sure
升博体育官方
天天娱乐下载2.0
天天娱乐游戏大厅
kb体育官方客户端下载
哈哈球怎么玩
哈哈小游戏
九游app官网入口黑色
天天娱乐有挂吗
kb体育手机版
kb体育官方
haowin体育网页版
开始云官网
博业公司简介
江南游戏社官网
必胜的游戏
天天娱乐下载2.0
真人捕鱼游戏可提的
哈哈篮球官网
捕鱼24小时微信上下分吧
九游官网app
59博论坛官网
天天娱乐下载安装到手机上
必胜体育高峰
九游游戏中心手机版官网
九游手游官方正版
永利官网正网
捕鱼赚钱软件微信红包
天天娱乐官方网站手机版下载
必胜app平台
哈哈哈哈哈综艺2020
必胜客app
捕鱼24小时上分下分
天天乐彩票app下载非凡软件
哈哈哈哈哈综艺视频
哈哈哈哈哈篮球赛
59博怎么打不开了
天天娱乐官方网站手机版下载安装
江南游戏官方
哈哈111111号线
铜陵教育体育网官网
升博体育下载地址
忘了永利集团的网址了
必胜游戏平台
升博体育依98db in
捕鱼一天赚1000块
升博体育下载地址
天天娱乐下载安装到手机
39153k1体育十年品牌值得信赖
天天娱乐下载安装到手机
59博策略白菜大全
江南游戏官方
kb体育平台下载
59bo论坛电脑版
江南游戏大全
九游app官网入口紫色版下载安卓手机
江南玩游戏
江南游戏社官网入口
九游官网网页版登陆
59博综合大厅
江南游戏网页
好的体育网站有哪些
九游app官方下载安装
天天娱乐下载2.0
天天娱乐下载2.0
天天娱乐下载2.0
江南游戏大全
天天娱乐下载2.0玩法
必胜软件是真的吗
博系体育平台
捕鱼游戏注册送钱50元
必胜客 官网
在线体育官网
博客51登录
天天娱乐辅助器下载
充钱真人捕鱼支付宝
九游app最新版下载安装
升博体育网站是多少
kaiyun官方网app下载app
天天娱乐合法吗
天天娱乐在线登入彩票网站官网首页
必胜 官网
哈哈官方公告
江南游戏网
必胜软件官网下载
天天娱乐官方网站手机版下载
必胜体育高峰
九游app网页版
捕鱼游戏支付宝兑现
江南游戏pvz2pak提取码
必胜局啥意思
天天娱乐下载安装安装安装包
可以兑换人民币的捕鱼游戏有哪些
天天娱乐app安卓版下载
24小时捕鱼平台上下分微信
注册捕鱼游戏送3元是哪款
九游官网网址是多少
天天娱乐助手彩票
哈哈app赚钱真假
九游app官方网站
体育网页版
下载哈哈哈
天天娱乐平台上充值可靠吗
天天娱乐下载2.0破解版最新
江南游戏大全
天天娱乐软件下载安装最新版
九游游戏中心百度百科
天天娱乐下载2.0最新版安装
59博综合大厅
九游官方正版下载手机app
哈哈哈哈哈下载最新一期
江南游戏官网 百度网盘
天天娱乐下载2.0玩法
正规体育官网
天天娱乐app安卓版下载
体育app官网登录
哈哈哈哈哈篮球赛哪一期
江南游戏达人
升博体育网站是多少号码
必胜28推广游戏平台
江南游戏官方
江南游戏app
kb体育平台安全吗
必胜网络游戏
途游休闲捕鱼正版官网版
必胜集团的网址
天天娱乐软件下载安装
捕鱼游戏注册送分的游戏
天天娱乐是个什么软件
[必胜]
九游官方正版网站下载
九游app官方正版下载
哈哈体育是黑平台吗
广州哼哈游乐设备
天天娱乐软件下载安装
必胜互娱
体育在线登陆
九游首页
九游官方下载安装最新版
升博体育官方app下载
天天娱乐app下载安装2020
升博体育下载地址
江南游戏网站
九游app官方下载ios
真人捕鱼安卓版
捕鱼一天赚100块可信吗
九游app官网入口
九游游戏中心官网登录
59博论坛彩金和看片子
天天娱乐官方网站手机版下载
必胜软件是真的吗
天天娱乐下载安装到手机
九游app安卓版
麦游捕鱼充vip可以每天领红包是真的吗
九游网页版登录入口
有个叫江南的游戏名字叫什么
九游app官网入口下载安装
凯云登录入口登录APP下载
必胜体育APP
九游app官网下载最新版本安卓
哈哈平台下载
充钱真人捕鱼
升博体育下载地址查询官网
九游官方正版下载苹果版
必胜娱乐登录窗口在哪打开
天天娱乐下载2.0破解版
九游app官网下载老版
天天娱乐是个什么软件
九游官方正版游戏中心
59博论坛官方网站
天天娱乐助手app
天天互娱公司
天天娱乐是什么
注册送16万金币的捕鱼平台
人人体育app官方下载
体育平台官方
江南游戏开发社pvzTAT版
博九平台是官方的吗
哈哈体育平台在线观看
哼哈体育有限公司广州市教学点
哈哈哈哈哈综艺篮球
哇哈体育
必胜2582 2588
九游app官方下载
哈哈赚app官网下载
体育平台app线上官方下载
必胜策略游戏的讲解方法
最全的体育网站
江南游戏官方网站
九游游戏中心官网首页
永利官网总站入口
江南游戏网页版登录
天天娱乐是个什么软件
哈哈哈哈哈综艺平台
天天娱乐辅助器下载
必胜软件下载
天天娱乐下载苹果版安装
k球直播官网下载
九游app官网下载苹果版安装包
必胜app平台下载安卓
必胜2582z怎么自己清洗
必胜网络官网下载
kto体育
500购彩登录大厅
59博综合大厅
九游app官网入口黑色
天天娱乐是个什么软件
59博手机官方网站
永利总站官方网
哈哈maker
开始云官网
亚体育app下载安装
江南游戏pvz2
必胜app
哇哈体育台湾解说在哪看
天天娱乐app安卓版下载
天天娱乐是什么
天天娱乐有限公司
哈哈平台保底怎么跑
九游官方手游app
天天娱乐下载2.0版本安装苹果
必胜网络干嘛的
天天娱乐是什么
必胜网络官网
59博怎么打不开了
江南游戏开发社pvz2pak手机
江南游戏开发社官网
升博体育代理怎么样
哈哈体操舞
哈哈哈哈哈综艺平台
天天娱乐下载2.0
江南游戏社
博业集团董事长
天天娱乐官方网站手机版下载安装
天天娱乐是黑平台吗?
九游官网主页
必胜网络官网
体育 官网 app 下载
哈哈哈哈哈踢足球第几期
江南游戏网页
九游门户网站
haowin体育登录
kb体育平台安全吗
捕鱼24小时人工微信上下分
天天娱乐可以作弊吗
天天娱乐下载2.0最新版本
登录59博
天天娱乐是骗局吗
永利集团是干嘛的
博九怎么打不开了
充钱真人捕鱼手游怎么玩
江南游戏官网
九游app官网入口黑色
kg体育下载
好球体育直播吧在线观看高清视频下载
体育网页版登录
haha体育平台可信吗
天天娱乐下载2.0
必胜网络官网登录
必胜网络科技有限公司
九游官方下载安装手机版
天天娱乐平台上充值可靠吗
haha体育平台app下载安装
江南game网站
升博体育上不去
必胜app下载网赌
捕鱼游戏支付宝兑现
必胜游戏平台
必胜游戏是什么游戏类型
kk平台
必胜娱乐登录窗口
九游app官方网站
必胜app的商品好吗
九游app官方下载版
天天娱乐下载2 0
麦游捕鱼为什么不能兑换红包了
真人捕鱼赚钱是真的吗
kb体育官方
天天娱乐下载2.0玩法
天天娱乐下载2.0
天天娱乐购彩平台怎么样可靠吗
kg体育
升博体育app下载官网苹果手机下载不了
59博平台
哈哈111111巴啦啦喇叭啊啦啦啦
九游游戏中心在线
k1体育app下载官网
天天娱乐是骗局吗
九游官方网页
哼哼哈哈武术操歌曲
真人捕鱼0.1元
体育平台登陆网址
天天娱乐app安卓版下载
九游app下载安装
kb体育平台下载
天天娱乐app安卓版下载
必胜网络是什么软件
江南游戏网页
升博体育依98db in
江南玩游戏
必胜体验店
永利地址
捕鱼24小时上下分现
必胜娱乐28网址谁知道
哈哈app官网下载安装
好球体育直播平台
必胜游戏是什么
捕鱼大咖官方版本最新版本
59博综合大厅
天天娱乐app安卓版下载
集结号捕鱼手机版官网下载鱼乐达人
天天娱乐app安卓版下载
天天娱乐软件下载安装
升博体育官方版下载
江南游戏植物大战僵尸pak
hello星辰大海
哈哈苏州麻将
天天娱乐软件下载安装
充钱真人捕鱼输了好多钱犯法吗
天天娱乐合法吗
500万彩票论坛
哈哈笑网
天天娱乐app安卓版下载
59博策略手机
必胜软件
kb体育app官网
永利集团有限公司招聘
九游 官方
必胜游戏是什么意思啊英文
天天乐彩票软件正规吗
59博综合大厅
必胜app
必胜网络是什么
天天娱乐app下载安装2020
体育在线登陆
天天娱乐官方网站手机版下载苹果
永利集团88304官网
一天挣5000块钱捕鱼真的假的
哈哈游戏官网
捕鱼金币15w100元
天天娱乐是个什么软件
购彩中心-购彩大厅微聊
天天娱乐下载安装安卓
必胜互娱
100%提现的无门槛的游戏支付宝
江南游戏网站
升博体育平台入口
升博体育网站是多少
升博体育注册资金多少
必胜互娱
江南游戏网页
哈哈哈哈哈篮球赛
必胜网络官网
江南游戏开发
天天娱乐下载2.0
kb体育ios下载
体育平台注册开户
江南游戏app
天天娱乐官方网站手机版下载
江南游戏社官网
天天娱乐助手彩票在哪
博业网络科技有限公司怎么样
k球直播app官方下载白鲨直播
九游官网下载app下载最新版本