老虎机算法

探索（exploration）是指尝试拉动更多可能的拉杆，这根拉杆不一定会获得最大的奖励，但这种方案能够摸清楚所有拉杆的获奖情况。例如，对于一个 10 臂老虎机，我们要把所有的拉杆都拉动一下才知道哪根拉杆可能获得最大的奖励。利用（exploitation）是指拉动已知期望奖励最大的那根拉杆，由于已知的信息仅仅来自有限次的交互观测，所以当前的最优拉杆不一定是全局最优的。张三作为一个赌徒自然是知道一些bandits的算法的，那么他打算使用怎么样的策略呢？

在同时考虑现代游戏软件功能同时，老虎机在运行机制方面也定期做出一些调整与更新。如今的实体老虎机全部都是计算机化的，获胜的组合均以随机数生成器或RNG为基础生成。而且，在所有在线老虎机上使用的都是相同的系统。

在一些游戏中，玩家甚至可以获得一轮中多次将奖金加倍的机会。许多玩家正是抓住双倍奖金这一机会解锁了高额派彩。通常，玩家的初始投注金额都不高，但会小幅逐渐增加。

破解MB的方法是先去赌场找出老虎机的种子值，也就是机器的内部时钟，然后用手机记录下来，传回给俄罗斯破解公司，专业团队会根据得到的值进行破解，然后传给MB。这家公司被发现在俄罗斯的圣彼得堡，主要业务是雇佣和培训像MB这样的人来帮助公司赢钱。他之所以能赢得如此大的胜利，主要还是因为他手中的“手机”。这个装置其实就是一个可以破解老虎机的伪随机数发生器。您需要明确何时收手，以及如何设置自己的底限和上限。

对于多臂老虎机各种算法的累积懊悔理论分析，有兴趣的同学可以自行查阅相关资料。我们在第 1 章中了解到，强化学习关注智能体和环境交互过程中的学习，这是一种试错型学习（trial-and-error learning）范式。在正式学习强化学习之前，我们需要先了解多臂老虎机问题，它可以被看作简化版的强化学习问题。

Willy Allison发现，他们之所以能屡屡得手，貌似是因为….已经有人参透了老虎机的返奖规律。玩家发炮是否可以捕获鱼取决于概率值，而每次的概率值又和抽水率有关。抽水率调高后，玩家最直接的体验就是鱼变得难以捕获了。，转几次看看运气，已经成为了生活习惯，不同于国内玩家将之视为一夜暴富的机会，经常有人陷入其中无法自拔。

同时由于总时间足够长，在所有次优基站被淘汰前对它们进行采样所使用的时隙造成的后悔度也相对影响较小。今天老虎机上使用的随机数生成器源自麻省理工学院教授的一项科研项目，使用的是128位的md5算法。这种算法不仅被用于在线老虎机，还用于安全系统和个人计算机。随机数生成器（RNG）是个计算机程序，依据某种算法来确定哪种组合将会被选中然后出现在屏幕上，是个随机的过程，其结果既不是赌场运营商，也不是游戏玩家或游戏开发人员可以预知的。数字、编码系统和所有类型的公式都被纳入游戏，所有这些都因游戏提供商而异。但无论游戏来自哪个提供商，它都会始终使用称为随机数生成器（RNG）的算法或程序。

这是一个绝对随机的过程，其结果既不是赌场运营商，也不是游戏玩家或游戏开发人员可以预知的。
UCB的bandits算法在足够长的时间是一定可以找到最佳方案的。
其实不止是华为，世界上大多高科技都非常喜欢俄罗斯的人才，比如说微软、比如说谷歌，他们每年都会在俄罗斯的一些高校招聘大量的人才。
老虎机的异常导致赌场在几天之内损失了数万美元，这让负责人惊慌失措。
最终，世界各地的赌场得知俄罗斯公司破解了老虎机算法，导致他们损失惨重。

即使一个开发者下定决心走上了利用AB测试做数据驱动的道路，想要搭建一个自有的AB测试平台成本太高，而使用第三方的AB测试服务又缺少灵活的数据分析能力。如果某个事件没有埋点的话，想要做AB测试就只能SDK重新发版了，在SDK还没有达到一定覆盖率时还是没有办法做AB测试，于是使用AB测试做产品迭代向后延期直到被忘记。数学家们、程序员们甚至心理学家们都参与了随机数生成器的开发与创建过程，类似的随机数生成器的可靠性因其经过了时间的考验而已经被使用了很长时间。尽管自第一批定制老虎机面世以来，在老虎机的开发方面已经取得了很大进步，但随机数生成器的原理和可靠性仍然保持不变。

到目前为止，在线老虎机的逻辑就是基于没有逻辑这一事实。随机数生成器被命名为随机数生成器就是因为获胜机会随机和赢得奖金的频率取决于特定游戏规则，这些都可以从运营商那里得知。今天老虎机上使用的随机数生成器源自麻省理工学院教授的一项科研项目，使用的是一个128位的md5算法。 D随机数生成器是一个计算机程序，它依据某种算法来确定哪种组合将会被选中然后出现在屏幕上。这是一个绝对随机的过程，其结果既不是赌场运营商，也不是游戏玩家或游戏开发人员可以预知的。

如果我们能够在用户使用App的时候或者是接受Push消息意愿比较强的时候去发送这个消息，那么消息触达用户以后用户也更加愿意打开。这样实现了提高了用户的使用体验和更高的Push点击率的双赢局面。总而言之，AB测试适合测试一些变化周期较长的变化，获得的知识应该具有泛化能力。而bandits算法适合一些变化快周期短的优化场景，获得的知识不一定具有泛化能力。当你的运营活动只有短短的几天或者一天时，你没有时间等到AB测试达到统计置信（statistical significance）的时候，这就是一些大佬们和App开发者提到的更加快的AB测试吧。当你关心的问题和张三一样只是转化率，留存率等等的单一指标时并且你不在乎数据结果的解释和分析的时候。