Featured

The Traps of Frameworks

When I interview a Java developer, if I see Spring Boot or Spring on the candidate’s resume, I may start with a simple question: “What is the default scope for a Spring bean”? Most people would get it right. I would then follow with a tricky question: “Does Spring make sure a Singleton bean thread-safe?” or “Does developer need to do anything to make sure a Singleton bean thread-safe?”.

When I say “tricky”, not because it’s tricky technically, but because half interviewees have no idea. The other half who correctly answered don’t always demonstrate solid understanding of Singleton and thread-safety. It’s okay to guess at an interview I guess.

Spring Boot is one of those popular frameworks for Java developers. Like most other Java frameworks, it provides proven reusable libraries and increases productivity. Some developers can probably make a living by simply being good at it.

However, because it encapsulates the interpretation of various Java Specifications, hides the complexity of design and implementation, often the framework itself imposes a serious impediment for developers to understand the underlining fundamentals.

Many Spring Boot developers don’t know Spring Boot is just a framework on top of another popular framework Spring Framework, which was initially a framework for Java Servlet applications. Most freshly-minted Spring Boot developers never heard of Servlet, not to mention web.xml. They only know their Spring Boot applications, “just run”. They never know why and how it runs.

Because of that, they never think of what the underlining Servlet Container is, what the default configurations (like Max Concurrent Requests) are, and how to fine tune those configurations. Imagine asking them to write a Java Web Application without Spring Boot?

Frameworks tend to wrap a lot of default features and behaviors under the hood, just to name a few: default Encryption Algorithm, default Socket Timeout, default Retry Strategy.

In the past, Frameworks might have configuration property for each “feature”, but this has changed in the recent years. Nowadays, Framework authors tend to favor “Convention over configuration”. Old configuration files are replaced by annotations with “sensible defaults”. Moreover, many of the features and behaviors are “discovered” automatically based on your running environments, like system properties, environment variables and what is in the class-path.

Several years back, I led a framework team. We built a Framework as the foundation for a slew of web applications that support multi-million $ business. We worked very hard to support all major features by default, and still allow each application to extend and override each feature by configuration and automatic discovery. I learned first hand, it’s even harder for application developers to fully understand how each feature worked and how to extend or override them.

Naturally, due to the lack of visibility and transparency of frameworks, people makes a lot of assumptions about frameworks, such as Singleton bean thread-safety. Some of the assumptions will definitely haunt the team down the road if the technical leads on the team didn’t review the design and code carefully.

Overtime, frameworks will evolve or die. If you ever worked with Struts 1.x framework, and if you didn’t understand Java Servlet, you would have a difficult time to migrate your applications to Struts 2.x or Spring.

Frameworks are your tools, not your crutches. If you don’t think out of the box of Spring Boot, you can’t professionally outgrow Spring Boot. Simple. Period.

That is true to other frameworks too.

Frameworks can help you get started quickly, but understanding the underlining principles will help you in the long run.

Featured

Generic Asynchronous Retry Architecture

Murphy’s law says:

Whatever can go wrong, will go wrong.

It’s so true in software engineering.

To build resilient software applications, when architecting the integration points with downstream services, we shall consider all error scenarios. Robust error handling is essential. Retrying remote API calls is an important part.

A retry can be done either synchronously or asynchronously. If the clients require a response of the execution status, not just the acknowledgement of the receipt of the request, it’s appropriate to implement synchronous retries with limits on total retry numbers and time. On the other hand, if the clients don’t care about the actual execution status, or have ways to receive responses asynchronously, it is almost always a good idea to adopt asynchronous retry architecture. Of course, before putting a request into asynchronous retry process, we can always implement synchronous retry first whenever it makes sense.

In this article, we will focus on the asynchronous retry architecture.

2. Queuing for Asynchronous Retry Architecture

Queuing mechanism is the center of the Asynchronous Retry Architecture.

The originating service constructs a Retry Message that includes the original request info, the destination URL and other metadata, puts the Retry Message into an Async Retry Queue based on the chosen queuing system. A trigger could be configured in the queue to trigger a processor. Or, an Async Retry Processor can pull the queuing system for new messages. The Async Retry Processor can then utilize the message received from the Async Retry Queue and make another call to the destination downstream service.

A Dead Letter Queue is used to hold Retry Messages for certain period time after a (configurable) maximum number of retries have been reached.

The below figure is a very high level workflow and message flow:

3. Asynchronous Retry Architecture Diagram

In the above diagram, Service A is the calling service and Service B is the destination downstream service. If the initial call in Step 1 fails, Service A will put a Retry Message into the Async Retry Queue.

Depends on what Queuing System is chosen, either a trigger can be configured in the Async Retry Queue to trigger the Processor (3.1), or a Processor can be configured to poll the Async Retry Queue (3.2). If AWS SQS is chosen as the queuing system, a Lambda function can be configured to trigger the processor when a new message arrives.

Once the Async Retry Processor receives the Retry Message, it can use the request info in the message to reconstruct the request, and send the request to the destination URL that is also included in the retry message.

A Retry Message will be moved to the Dead Letter Queue if the maximum retry attempts have been reached as detected by the Async Retry Processor or the Async Retry Queue.

4. Generic Data Model for Retry Message

A Retry Message can have a generic data model as below:

<span id="60ab" class="hc wp tx so wq b gg wr ws x wt" data-selectable-paragraph="">{
    "request":{
        "url":"http[s]://$host:$port/$destitnation_endpoint_including_query_parameters",
        "method":"GET|POST|PUT|DELETE|PATCH",         
        "payload":"$json_string",
        "headers":[$headers_to_pass_to_the_target_service]
    },
    "receivedCount": "$number",
    "async-retry-queue":"$async-retry-queue[optional]",
    "dead-letter-queue":"$dead-letter-queue[optional]"
}</span>

With this generic data model design for Retry Message, an Async Retry Processor can be designed to process any Retry Message constructed by any originating services (Service A) to any destination services (Service B).

5. Retryable Errors

Only non-functional errors are retryable. Below are some examples:

a. No response at all;

b. Temporary Network issue, usually 5xx (http status) errors;

c. Request timeout: http status 408 errors;

d. Conflict: http status 409 errors;

e. Too many request: http status 429

f. If there is a Retry-After header in the http response of the downstream service;

h. Unauthorized: http status 401 errors with expired token error code/message. These kind of errors usually require a new token. In this case, the Async Retry Processor is responsible for getting the proper token.

6. Conclusion

Asynchronous Retry Architecture can be used to handle all retryable errors when the client is not expecting the execution result in the response of the call. It is extremely useful if a function may need to be tried many times for a long period of time.

The number of maximum retry attempts, the async retry queue name/url, and the dead letter queue name/url can all be configurable. The configurable values can make architecture flexible for many different applications.

Featured

创业者必读

Slicing Pie: Funding Your Company Without Funds

You and a partner go into business together and split the equity 50/50. You do all the work and your partner slacks off. He owns half your business- now what?

Slicing Pie outlines a process for calculating exactly the right number of shares each founder or employee in an early stage company deserves.

You will learn:

How to value the time and resources an individual brings to the company relative to the contributions of others
The right way to value intangible things like ideas and relationships
What to do when a founder leaves your company
How to handle equity when you have to fire someone
Important issues to discuss with your lawyer
Much more

Research shows that dynamic equity split models, like the one outlined in Slicing Pie, is the best way to avoid conflicts as the company grows.

The new and improved Version 2.3 contains updated information about legal issues, idea valuation, retrofitting and much more!

The Founder’s Dilemmas: Anticipating and Avoiding the Pitfalls That Can Sink a Startup (The Kauffman Foundation Series on Innovation and Entrepreneurship)

Often downplayed in the excitement of starting up a new business venture is one of the most important decisions entrepreneurs will face: should they go it alone, or bring in cofounders, hires, and investors to help build the business? More than just financial rewards are at stake. Friendships and relationships can suffer. Bad decisions at the inception of a promising venture lay the foundations for its eventual ruin. The Founder’s Dilemmas is the first book to examine the early decisions by entrepreneurs that can make or break a startup and its team. Drawing on a decade of research, Noam Wasserman reveals the common pitfalls founders face and how to avoid them. He looks at whether it is a good idea to cofound with friends or relatives, how and when to split the equity within the founding team, and how to recognize when a successful founder-CEO should exit or be fired. Wasserman explains how to anticipate, avoid, or recover from disastrous mistakes that can splinter a founding team, strip founders of control, and leave founders without a financial payoff for their hard work and innovative ideas. He highlights the need at each step to strike a careful balance between controlling the startup and attracting the best resources to grow it, and demonstrates why the easy short-term choice is often the most perilous in the long term. The Founder’s Dilemmas draws on the inside stories of founders like Evan Williams of Twitter and Tim Westergren of Pandora, while mining quantitative data on almost ten thousand founders. People problems are the leading cause of failure in startups. This book offers solutions.

Venture Deals: Be Smarter Than Your Lawyer and Venture Capitalist

As each new generation of entrepreneurs emerges, there is a renewed interest in how venture capital deals come together. Yet there is little reliable information focused on venture capital deals. Nobody understands this better than authors Brad Feld and Jason Mendelson. For more than twenty years, they’ve been involved in hundreds of venture capital financings, and now, with the Second Edition of Venture Deals, they continue to share their experiences in this field with you.

Engaging and informative, this reliable resource skillfully outlines the essential elements of the venture capital term sheet–from terms related to economics to terms related to control. It strives to give a balanced view of the particular terms along with the strategies to getting to a fair deal. In addition to examining the nuts and bolts of the term sheet, Venture Deals, Second Edition also introduces you to the various participants in the process and discusses how fundraising works.

Fully updated to reflect the intricacies of startups and entrepreneurship in today’s dynamic economic environment
Offers valuable insights into venture capital deal structure and strategies
Brings a level of transparency to a process that is rarely well understood

Whether you’re an experienced or aspiring entrepreneur, venture capitalist, or lawyer who partakes in these particular types of deals, you will benefit from the insights found throughout this new book.

Featured

一文读懂机器学习，大数据/自然语言处理/算法全有了

来自：计算机的潜意识 – 博客园

链接：http://www.cnblogs.com/subconscious/p/4107357.html

在本篇文章中，我将对机器学习做个概要的介绍。本文的目的是能让即便完全不了解机器学习的人也能了解机器学习，并且上手相关的实践。这篇文档也算是EasyPR开发的番外篇，从这里开始，必须对机器学习了解才能进一步介绍EasyPR的内核。当然，本文也面对一般读者，不会对阅读有相关的前提要求。

在进入正题前，我想读者心中可能会有一个疑惑：机器学习有什么重要性，以至于要阅读完这篇非常长的文章呢？

我并不直接回答这个问题前。相反，我想请大家看两张图，下图是图一：

图1 机器学习界的执牛耳者与互联网界的大鳄的联姻

这幅图上上的三人是当今机器学习界的执牛耳者。中间的是Geoffrey Hinton, 加拿大多伦多大学的教授，如今被聘为“Google大脑”的负责人。右边的是Yann LeCun, 纽约大学教授，如今是Facebook人工智能实验室的主任。而左边的大家都很熟悉，Andrew Ng，中文名吴恩达，斯坦福大学副教授，如今也是“百度大脑”的负责人与百度首席科学家。这三位都是目前业界炙手可热的大牛，被互联网界大鳄求贤若渴的聘请，足见他们的重要性。而他们的研究方向，则全部都是机器学习的子类–深度学习。

下图是图二：

图2 语音助手产品

这幅图上描述的是什么？Windows Phone上的语音助手Cortana，名字来源于《光环》中士官长的助手。相比其他竞争对手，微软很迟才推出这个服务。Cortana背后的核心技术是什么，为什么它能够听懂人的语音？事实上，这个技术正是机器学习。机器学习是所有语音助手产品(包括Apple的siri与Google的Now)能够跟人交互的关键技术。

通过上面两图，我相信大家可以看出机器学习似乎是一个很重要的，有很多未知特性的技术。学习它似乎是一件有趣的任务。实际上，学习机器学习不仅可以帮助我们了解互联网界最新的趋势，同时也可以知道伴随我们的便利服务的实现技术。

机器学习是什么，为什么它能有这么大的魔力，这些问题正是本文要回答的。同时，本文叫做“从机器学习谈起”，因此会以漫谈的形式介绍跟机器学习相关的所有内容，包括学科(如数据挖掘、计算机视觉等)，算法(神经网络，svm)等等。本文的主要目录如下：

1、一个故事说明什么是机器学习

2、机器学习的定义

3、机器学习的范围

4、机器学习的方法

5、机器学习的应用–大数据

6、机器学习的子类–深度学习

7、机器学习的父类–人工智能

8、机器学习的思考–计算机的潜意识

9、总结

10、后记

1、一个故事说明什么是机器学习

机器学习这个词是让人疑惑的，首先它是英文名称Machine Learning(简称ML)的直译，在计算界Machine一般指计算机。这个名字使用了拟人的手法，说明了这门技术是让机器“学习”的技术。但是计算机是死的，怎么可能像人类一样“学习”呢？

传统上如果我们想让计算机工作，我们给它一串指令，然后它遵照这个指令一步步执行下去。有因有果，非常明确。但这样的方式在机器学习中行不通。机器学习根本不接受你输入的指令，相反，它接受你输入的数据! 也就是说，机器学习是一种让计算机利用数据而不是指令来进行各种工作的方法。这听起来非常不可思议，但结果上却是非常可行的。“统计”思想将在你学习“机器学习”相关理念时无时无刻不伴随，相关而不是因果的概念将是支撑机器学习能够工作的核心概念。你会颠覆对你以前所有程序中建立的因果无处不在的根本理念。

下面我通过一个故事来简单地阐明什么是机器学习。这个故事比较适合用在知乎上作为一个概念的阐明。在这里，这个故事没有展开，但相关内容与核心是存在的。如果你想简单的了解一下什么是机器学习，那么看完这个故事就足够了。如果你想了解机器学习的更多知识以及与它关联紧密的当代技术，那么请你继续往下看，后面有更多的丰富的内容。

这个例子来源于我真实的生活经验，我在思考这个问题的时候突然发现它的过程可以被扩充化为一个完整的机器学习的过程，因此我决定使用这个例子作为所有介绍的开始。这个故事称为“等人问题”。

我相信大家都有跟别人相约，然后等人的经历。现实中不是每个人都那么守时的，于是当你碰到一些爱迟到的人，你的时间不可避免的要浪费。我就碰到过这样的一个例子。

对我的一个朋友小Y而言，他就不是那么守时，最常见的表现是他经常迟到。当有一次我跟他约好3点钟在某个麦当劳见面时，在我出门的那一刻我突然想到一个问题：我现在出发合适么？我会不会又到了地点后，花上30分钟去等他？我决定采取一个策略解决这个问题。

要想解决这个问题，有好几种方法。第一种方法是采用知识：我搜寻能够解决这个问题的知识。但很遗憾，没有人会把如何等人这个问题作为知识传授，因此我不可能找到已有的知识能够解决这个问题。第二种方法是问他人：我去询问他人获得解决这个问题的能力。但是同样的，这个问题没有人能够解答，因为可能没人碰上跟我一样的情况。第三种方法是准则法：我问自己的内心，我有否设立过什么准则去面对这个问题？例如，无论别人如何，我都会守时到达。但我不是个死板的人，我没有设立过这样的规则。

事实上，我相信有种方法比以上三种都合适。我把过往跟小Y相约的经历在脑海中重现一下，看看跟他相约的次数中，迟到占了多大的比例。而我利用这来预测他这次迟到的可能性。如果这个值超出了我心里的某个界限，那我选择等一会再出发。假设我跟小Y约过5次，他迟到的次数是1次，那么他按时到的比例为80%，我心中的阈值为70%，我认为这次小Y应该不会迟到，因此我按时出门。如果小Y在5次迟到的次数中占了4次，也就是他按时到达的比例为20%，由于这个值低于我的阈值，因此我选择推迟出门的时间。这个方法从它的利用层面来看，又称为经验法。在经验法的思考过程中，我事实上利用了以往所有相约的数据。因此也可以称之为依据数据做的判断。

依据数据所做的判断跟机器学习的思想根本上是一致的。刚才的思考过程我只考虑“频次”这种属性。在真实的机器学习中，这可能都不算是一个应用。一般的机器学习模型至少考虑两个量：一个是因变量，也就是我们希望预测的结果，在这个例子里就是小Y迟到与否的判断。另一个是自变量，也就是用来预测小Y是否迟到的量。假设我把时间作为自变量，譬如我发现小Y所有迟到的日子基本都是星期五，而在非星期五情况下他基本不迟到。于是我可以建立一个模型，来模拟小Y迟到与否跟日子是否是星期五的概率。见下图：

图3 决策树模型

这样的图就是一个最简单的机器学习模型，称之为决策树。当我们考虑的自变量只有一个时，情况较为简单。如果把我们的自变量再增加一个。例如小Y迟到的部分情况时是在他开车过来的时候(你可以理解为他开车水平较臭，或者路较堵)。于是我可以关联考虑这些信息。建立一个更复杂的模型，这个模型包含两个自变量与一个因变量。

再更复杂一点，小Y的迟到跟天气也有一定的原因，例如下雨的时候，这时候我需要考虑三个自变量。

如果我希望能够预测小Y迟到的具体时间，我可以把他每次迟到的时间跟雨量的大小以及前面考虑的自变量统一建立一个模型。于是我的模型可以预测值，例如他大概会迟到几分钟。这样可以帮助我更好的规划我出门的时间。在这样的情况下，决策树就无法很好地支撑了，因为决策树只能预测离散值。我们可以用节2所介绍的线型回归方法建立这个模型。

如果我把这些建立模型的过程交给电脑。比如把所有的自变量和因变量输入，然后让计算机帮我生成一个模型，同时让计算机根据我当前的情况，给出我是否需要迟出门，需要迟几分钟的建议。那么计算机执行这些辅助决策的过程就是机器学习的过程。

机器学习方法是计算机利用已有的数据(经验)，得出了某种模型(迟到的规律)，并利用此模型预测未来(是否迟到)的一种方法。

通过上面的分析，可以看出机器学习与人类思考的经验过程是类似的，不过它能考虑更多的情况，执行更加复杂的计算。事实上，机器学习的一个主要目的就是把人类思考归纳经验的过程转化为计算机通过对数据的处理计算得出模型的过程。经过计算机得出的模型能够以近似于人的方式解决很多灵活复杂的问题。

下面，我会开始对机器学习的正式介绍，包括定义、范围，方法、应用等等，都有所包含。

2、机器学习的定义

从广义上来说，机器学习是一种能够赋予机器学习的能力以此让它完成直接编程无法完成的功能的方法。但从实践的意义上来说，机器学习是一种通过利用数据，训练出模型，然后使用模型预测的一种方法。

让我们具体看一个例子。

图4 房价的例子

拿国民话题的房子来说。现在我手里有一栋房子需要售卖，我应该给它标上多大的价格？房子的面积是100平方米，价格是100万，120万，还是140万？

很显然，我希望获得房价与面积的某种规律。那么我该如何获得这个规律？用报纸上的房价平均数据么？还是参考别人面积相似的？无论哪种，似乎都并不是太靠谱。

我现在希望获得一个合理的，并且能够最大程度的反映面积与房价关系的规律。于是我调查了周边与我房型类似的一些房子，获得一组数据。这组数据中包含了大大小小房子的面积与价格，如果我能从这组数据中找出面积与价格的规律，那么我就可以得出房子的价格。

对规律的寻找很简单，拟合出一条直线，让它“穿过”所有的点，并且与各个点的距离尽可能的小。

通过这条直线，我获得了一个能够最佳反映房价与面积规律的规律。这条直线同时也是一个下式所表明的函数：

房价 = 面积 * a + b

上述中的a、b都是直线的参数。获得这些参数以后，我就可以计算出房子的价格。

假设a = 0.75,b = 50，则房价 = 100 * 0.75 + 50 = 125万。这个结果与我前面所列的100万，120万，140万都不一样。由于这条直线综合考虑了大部分的情况，因此从“统计”意义上来说，这是一个最合理的预测。

在求解过程中透露出了两个信息：

1、房价模型是根据拟合的函数类型决定的。如果是直线，那么拟合出的就是直线方程。如果是其他类型的线，例如抛物线，那么拟合出的就是抛物线方程。机器学习有众多算法，一些强力算法可以拟合出复杂的非线性模型，用来反映一些不是直线所能表达的情况。

2、如果我的数据越多，我的模型就越能够考虑到越多的情况，由此对于新情况的预测效果可能就越好。这是机器学习界“数据为王”思想的一个体现。一般来说(不是绝对)，数据越多，最后机器学习生成的模型预测的效果越好。

通过我拟合直线的过程，我们可以对机器学习过程做一个完整的回顾。首先，我们需要在计算机中存储历史的数据。接着，我们将这些数据通过机器学习算法进行处理，这个过程在机器学习中叫做“训练”，处理的结果可以被我们用来对新的数据进行预测，这个结果一般称之为“模型”。对新数据的预测过程在机器学习中叫做“预测”。“训练”与“预测”是机器学习的两个过程，“模型”则是过程的中间输出结果，“训练”产生“模型”，“模型”指导 “预测”。

让我们把机器学习的过程与人类对历史经验归纳的过程做个比对。

图5 机器学习与人类思考的类比

人类在成长、生活过程中积累了很多的历史与经验。人类定期地对这些经验进行“归纳”，获得了生活的“规律”。当人类遇到未知的问题或者需要对未来进行“推测”的时候，人类使用这些“规律”，对未知问题与未来进行“推测”，从而指导自己的生活和工作。

机器学习中的“训练”与“预测”过程可以对应到人类的“归纳”和“推测”过程。通过这样的对应，我们可以发现，机器学习的思想并不复杂，仅仅是对人类在生活中学习成长的一个模拟。由于机器学习不是基于编程形成的结果，因此它的处理过程不是因果的逻辑，而是通过归纳思想得出的相关性结论。

这也可以联想到人类为什么要学习历史，历史实际上是人类过往经验的总结。有句话说得很好，“历史往往不一样，但历史总是惊人的相似”。通过学习历史，我们从历史中归纳出人生与国家的规律，从而指导我们的下一步工作，这是具有莫大价值的。当代一些人忽视了历史的本来价值，而是把其作为一种宣扬功绩的手段，这其实是对历史真实价值的一种误用。

3、机器学习的范围

上文虽然说明了机器学习是什么，但是并没有给出机器学习的范围。

其实，机器学习跟模式识别，统计学习，数据挖掘，计算机视觉，语音识别，自然语言处理等领域有着很深的联系。

从范围上来说，机器学习跟模式识别，统计学习，数据挖掘是类似的，同时，机器学习与其他领域的处理技术的结合，形成了计算机视觉、语音识别、自然语言处理等交叉学科。因此，一般说数据挖掘时，可以等同于说机器学习。同时，我们平常所说的机器学习应用，应该是通用的，不仅仅局限在结构化数据，还有图像，音频等应用。

在这节对机器学习这些相关领域的介绍有助于我们理清机器学习的应用场景与研究范围，更好的理解后面的算法与应用层次。

下图是机器学习所牵扯的一些相关范围的学科与研究领域。

图6 机器学习与相关学科

模式识别

模式识别=机器学习。两者的主要区别在于前者是从工业界发展起来的概念，后者则主要源自计算机学科。在著名的《Pattern Recognition And Machine Learning》这本书中，Christopher M. Bishop在开头是这样说的“模式识别源自工业界，而机器学习来自于计算机学科。不过，它们中的活动可以被视为同一个领域的两个方面，同时在过去的10年间，它们都有了长足的发展”。

数据挖掘

数据挖掘=机器学习+数据库。这几年数据挖掘的概念实在是太耳熟能详。几乎等同于炒作。但凡说数据挖掘都会吹嘘数据挖掘如何如何，例如从数据中挖出金子，以及将废弃的数据转化为价值等等。但是，我尽管可能会挖出金子，但我也可能挖的是“石头”啊。这个说法的意思是，数据挖掘仅仅是一种思考方式，告诉我们应该尝试从数据中挖掘出知识，但不是每个数据都能挖掘出金子的，所以不要神话它。一个系统绝对不会因为上了一个数据挖掘模块就变得无所不能(这是IBM最喜欢吹嘘的)，恰恰相反，一个拥有数据挖掘思维的人员才是关键，而且他还必须对数据有深刻的认识，这样才可能从数据中导出模式指引业务的改善。大部分数据挖掘中的算法是机器学习的算法在数据库中的优化。

统计学习

统计学习近似等于机器学习。统计学习是个与机器学习高度重叠的学科。因为机器学习中的大多数方法来自统计学，甚至可以认为，统计学的发展促进机器学习的繁荣昌盛。例如著名的支持向量机算法，就是源自统计学科。但是在某种程度上两者是有分别的，这个分别在于：统计学习者重点关注的是统计模型的发展与优化，偏数学，而机器学习者更关注的是能够解决问题，偏实践，因此机器学习研究者会重点研究学习算法在计算机上执行的效率与准确性的提升。

计算机视觉

计算机视觉=图像处理+机器学习。图像处理技术用于将图像处理为适合进入机器学习模型中的输入，机器学习则负责从图像中识别出相关的模式。计算机视觉相关的应用非常的多，例如百度识图、手写字符识别、车牌识别等等应用。这个领域是应用前景非常火热的，同时也是研究的热门方向。随着机器学习的新领域深度学习的发展，大大促进了计算机图像识别的效果，因此未来计算机视觉界的发展前景不可估量。

语音识别

语音识别=语音处理+机器学习。语音识别就是音频处理技术与机器学习的结合。语音识别技术一般不会单独使用，一般会结合自然语言处理的相关技术。目前的相关应用有苹果的语音助手siri等。

自然语言处理

自然语言处理=文本处理+机器学习。自然语言处理技术主要是让机器理解人类的语言的一门领域。在自然语言处理技术中，大量使用了编译原理相关的技术，例如词法分析，语法分析等等，除此之外，在理解这个层面，则使用了语义理解，机器学习等技术。作为唯一由人类自身创造的符号，自然语言处理一直是机器学习界不断研究的方向。按照百度机器学习专家余凯的说法“听与看，说白了就是阿猫和阿狗都会的，而只有语言才是人类独有的”。如何利用机器学习技术进行自然语言的的深度理解，一直是工业和学术界关注的焦点。

可以看出机器学习在众多领域的外延和应用。机器学习技术的发展促使了很多智能领域的进步，改善着我们的生活。

4、机器学习的方法

通过上节的介绍我们知晓了机器学习的大致范围，那么机器学习里面究竟有多少经典的算法呢？在这个部分我会简要介绍一下机器学习中的经典代表方法。这部分介绍的重点是这些方法内涵的思想，数学与实践细节不会在这讨论。

1、回归算法

在大部分机器学习课程中，回归算法都是介绍的第一个算法。原因有两个：一.回归算法比较简单，介绍它可以让人平滑地从统计学迁移到机器学习中。二.回归算法是后面若干强大算法的基石，如果不理解回归算法，无法学习那些强大的算法。回归算法有两个重要的子类：即线性回归和逻辑回归。

线性回归就是我们前面说过的房价求解问题。如何拟合出一条直线最佳匹配我所有的数据？一般使用“最小二乘法”来求解。“最小二乘法”的思想是这样的，假设我们拟合出的直线代表数据的真实值，而观测到的数据代表拥有误差的值。为了尽可能减小误差的影响，需要求解一条直线使所有误差的平方和最小。最小二乘法将最优问题转化为求函数极值问题。函数极值在数学上我们一般会采用求导数为0的方法。但这种做法并不适合计算机，可能求解不出来，也可能计算量太大。

计算机科学界专门有一个学科叫“数值计算”，专门用来提升计算机进行各类计算时的准确性和效率问题。例如，著名的“梯度下降”以及“牛顿法”就是数值计算中的经典算法，也非常适合来处理求解函数极值的问题。梯度下降法是解决回归模型中最简单且有效的方法之一。从严格意义上来说，由于后文中的神经网络和推荐算法中都有线性回归的因子，因此梯度下降法在后面的算法实现中也有应用。

逻辑回归是一种与线性回归非常类似的算法，但是，从本质上讲，线型回归处理的问题类型与逻辑回归不一致。线性回归处理的是数值问题，也就是最后预测出的结果是数字，例如房价。而逻辑回归属于分类算法，也就是说，逻辑回归预测结果是离散的分类，例如判断这封邮件是否是垃圾邮件，以及用户是否会点击此广告等等。

实现方面的话，逻辑回归只是对对线性回归的计算结果加上了一个Sigmoid函数，将数值结果转化为了0到1之间的概率(Sigmoid函数的图像一般来说并不直观，你只需要理解对数值越大，函数越逼近1，数值越小，函数越逼近0)，接着我们根据这个概率可以做预测，例如概率大于0.5，则这封邮件就是垃圾邮件，或者肿瘤是否是恶性的等等。从直观上来说，逻辑回归是画出了一条分类线，见下图。

图7 逻辑回归的直观解释

假设我们有一组肿瘤患者的数据，这些患者的肿瘤中有些是良性的(图中的蓝色点)，有些是恶性的(图中的红色点)。这里肿瘤的红蓝色可以被称作数据的“标签”。同时每个数据包括两个“特征”：患者的年龄与肿瘤的大小。我们将这两个特征与标签映射到这个二维空间上，形成了我上图的数据。

当我有一个绿色的点时，我该判断这个肿瘤是恶性的还是良性的呢？根据红蓝点我们训练出了一个逻辑回归模型，也就是图中的分类线。这时，根据绿点出现在分类线的左侧，因此我们判断它的标签应该是红色，也就是说属于恶性肿瘤。

逻辑回归算法划出的分类线基本都是线性的(也有划出非线性分类线的逻辑回归，不过那样的模型在处理数据量较大的时候效率会很低)，这意味着当两类之间的界线不是线性时，逻辑回归的表达能力就不足。下面的两个算法是机器学习界最强大且重要的算法，都可以拟合出非线性的分类线。

2、神经网络

神经网络(也称之为人工神经网络，ANN)算法是80年代机器学习界非常流行的算法，不过在90年代中途衰落。现在，携着“深度学习”之势，神经网络重装归来，重新成为最强大的机器学习算法之一。

神经网络的诞生起源于对大脑工作机理的研究。早期生物界学者们使用神经网络来模拟大脑。机器学习的学者们使用神经网络进行机器学习的实验，发现在视觉与语音的识别上效果都相当好。在BP算法(加速神经网络训练过程的数值算法)诞生以后，神经网络的发展进入了一个热潮。BP算法的发明人之一是前面介绍的机器学习大牛Geoffrey Hinton(图1中的中间者)。

具体说来，神经网络的学习机理是什么？简单来说，就是分解与整合。在著名的Hubel-Wiesel试验中，学者们研究猫的视觉分析机理是这样的。

图8 Hubel-Wiesel试验与大脑视觉机理

比方说，一个正方形，分解为四个折线进入视觉处理的下一层中。四个神经元分别处理一个折线。每个折线再继续被分解为两条直线，每条直线再被分解为黑白两个面。于是，一个复杂的图像变成了大量的细节进入神经元，神经元处理以后再进行整合，最后得出了看到的是正方形的结论。这就是大脑视觉识别的机理，也是神经网络工作的机理。

让我们看一个简单的神经网络的逻辑架构。在这个网络中，分成输入层，隐藏层，和输出层。输入层负责接收信号，隐藏层负责对数据的分解与处理，最后的结果被整合到输出层。每层中的一个圆代表一个处理单元，可以认为是模拟了一个神经元，若干个处理单元组成了一个层，若干个层再组成了一个网络，也就是”神经网络”。

图9 神经网络的逻辑架构

在神经网络中，每个处理单元事实上就是一个逻辑回归模型，逻辑回归模型接收上层的输入，把模型的预测结果作为输出传输到下一个层次。通过这样的过程，神经网络可以完成非常复杂的非线性分类。

下图会演示神经网络在图像识别领域的一个著名应用，这个程序叫做LeNet，是一个基于多个隐层构建的神经网络。通过LeNet可以识别多种手写数字，并且达到很高的识别精度与拥有较好的鲁棒性。

图10 LeNet的效果展示

右下方的方形中显示的是输入计算机的图像，方形上方的红色字样“answer”后面显示的是计算机的输出。左边的三条竖直的图像列显示的是神经网络中三个隐藏层的输出，可以看出，随着层次的不断深入，越深的层次处理的细节越低，例如层3基本处理的都已经是线的细节了。LeNet的发明人就是前文介绍过的机器学习的大牛Yann LeCun(图1右者)。

进入90年代，神经网络的发展进入了一个瓶颈期。其主要原因是尽管有BP算法的加速，神经网络的训练过程仍然很困难。因此90年代后期支持向量机(SVM)算法取代了神经网络的地位。

3、SVM（支持向量机）

支持向量机算法是诞生于统计学习界，同时在机器学习界大放光彩的经典算法。

支持向量机算法从某种意义上来说是逻辑回归算法的强化：通过给予逻辑回归算法更严格的优化条件，支持向量机算法可以获得比逻辑回归更好的分类界线。但是如果没有某类函数技术，则支持向量机算法最多算是一种更好的线性分类技术。

但是，通过跟高斯“核”的结合，支持向量机可以表达出非常复杂的分类界线，从而达成很好的的分类效果。“核”事实上就是一种特殊的函数，最典型的特征就是可以将低维的空间映射到高维的空间。

例如下图所示：

图11 支持向量机图例

我们如何在二维平面划分出一个圆形的分类界线？在二维平面可能会很困难，但是通过“核”可以将二维空间映射到三维空间，然后使用一个线性平面就可以达成类似效果。也就是说，二维平面划分出的非线性分类界线可以等价于三维平面的线性分类界线。于是，我们可以通过在三维空间中进行简单的线性划分就可以达到在二维平面中的非线性划分效果。

图12 三维空间的切割

支持向量机是一种数学成分很浓的机器学习算法（相对的，神经网络则有生物科学成分）。在算法的核心步骤中，有一步证明，即将数据从低维映射到高维不会带来最后计算复杂性的提升。于是，通过支持向量机算法，既可以保持计算效率，又可以获得非常好的分类效果。因此支持向量机在90年代后期一直占据着机器学习中最核心的地位，基本取代了神经网络算法。直到现在神经网络借着深度学习重新兴起，两者之间才又发生了微妙的平衡转变。

4、聚类算法

前面的算法中的一个显著特征就是我的训练数据中包含了标签，训练出的模型可以对其他未知数据预测标签。在下面的算法中，训练数据都是不含标签的，而算法的目的则是通过训练，推测出这些数据的标签。这类算法有一个统称，即无监督算法(前面有标签的数据的算法则是有监督算法)。无监督算法中最典型的代表就是聚类算法。

让我们还是拿一个二维的数据来说，某一个数据包含两个特征。我希望通过聚类算法，给他们中不同的种类打上标签，我该怎么做呢？简单来说，聚类算法就是计算种群中的距离，根据距离的远近将数据划分为多个族群。

聚类算法中最典型的代表就是K-Means算法。

5、降维算法

降维算法也是一种无监督学习算法，其主要特征是将数据从高维降低到低维层次。在这里，维度其实表示的是数据的特征量的大小，例如，房价包含房子的长、宽、面积与房间数量四个特征，也就是维度为4维的数据。可以看出来，长与宽事实上与面积表示的信息重叠了，例如面积=长 × 宽。通过降维算法我们就可以去除冗余信息，将特征减少为面积与房间数量两个特征，即从4维的数据压缩到2维。于是我们将数据从高维降低到低维，不仅利于表示，同时在计算上也能带来加速。

刚才说的降维过程中减少的维度属于肉眼可视的层次，同时压缩也不会带来信息的损失(因为信息冗余了)。如果肉眼不可视，或者没有冗余的特征，降维算法也能工作，不过这样会带来一些信息的损失。但是，降维算法可以从数学上证明，从高维压缩到的低维中最大程度地保留了数据的信息。因此，使用降维算法仍然有很多的好处。

降维算法的主要作用是压缩数据与提升机器学习其他算法的效率。通过降维算法，可以将具有几千个特征的数据压缩至若干个特征。另外，降维算法的另一个好处是数据的可视化，例如将5维的数据压缩至2维，然后可以用二维平面来可视。降维算法的主要代表是PCA算法(即主成分分析算法)。

6、推荐算法

推荐算法是目前业界非常火的一种算法，在电商界，如亚马逊，天猫，京东等得到了广泛的运用。推荐算法的主要特征就是可以自动向用户推荐他们最感兴趣的东西，从而增加购买率，提升效益。推荐算法有两个主要的类别：

一类是基于物品内容的推荐，是将与用户购买的内容近似的物品推荐给用户，这样的前提是每个物品都得有若干个标签，因此才可以找出与用户购买物品类似的物品，这样推荐的好处是关联程度较大，但是由于每个物品都需要贴标签，因此工作量较大。

另一类是基于用户相似度的推荐，则是将与目标用户兴趣相同的其他用户购买的东西推荐给目标用户，例如小A历史上买了物品B和C，经过算法分析，发现另一个与小A近似的用户小D购买了物品E，于是将物品E推荐给小A。

两类推荐都有各自的优缺点，在一般的电商应用中，一般是两类混合使用。推荐算法中最有名的算法就是协同过滤算法。

7、其他

除了以上算法之外，机器学习界还有其他的如高斯判别，朴素贝叶斯，决策树等等算法。但是上面列的六个算法是使用最多，影响最广，种类最全的典型。机器学习界的一个特色就是算法众多，发展百花齐放。

下面做一个总结，按照训练的数据有无标签，可以将上面算法分为监督学习算法和无监督学习算法，但推荐算法较为特殊，既不属于监督学习，也不属于非监督学习，是单独的一类。

监督学习算法：线性回归，逻辑回归，神经网络，SVM

无监督学习算法：聚类算法，降维算法

特殊算法：推荐算法

除了这些算法以外，有一些算法的名字在机器学习领域中也经常出现。但他们本身并不算是一个机器学习算法，而是为了解决某个子问题而诞生的。你可以理解他们为以上算法的子算法，用于大幅度提高训练过程。其中的代表有：梯度下降法，主要运用在线型回归，逻辑回归，神经网络，推荐算法中；牛顿法，主要运用在线型回归中；BP算法，主要运用在神经网络中；SMO算法，主要运用在SVM中。

5、机器学习的应用–大数据

说完机器学习的方法，下面要谈一谈机器学习的应用了。无疑，在2010年以前，机器学习的应用在某些特定领域发挥了巨大的作用，如车牌识别，网络攻击防范，手写字符识别等等。但是，从2010年以后，随着大数据概念的兴起，机器学习大量的应用都与大数据高度耦合，几乎可以认为大数据是机器学习应用的最佳场景。

譬如，但凡你能找到的介绍大数据魔力的文章，都会说大数据如何准确准确预测到了某些事。例如经典的Google利用大数据预测了H1N1在美国某小镇的爆发。

图13 Google成功预测H1N1

百度预测2014年世界杯，从淘汰赛到决赛全部预测正确。

图14 百度世界杯成功预测了所有比赛结果

这些实在太神奇了，那么究竟是什么原因导致大数据具有这些魔力的呢？简单来说，就是机器学习技术。正是基于机器学习技术的应用，数据才能发挥其魔力。

大数据的核心是利用数据的价值，机器学习是利用数据价值的关键技术，对于大数据而言，机器学习是不可或缺的。相反，对于机器学习而言，越多的数据会越可能提升模型的精确性，同时，复杂的机器学习算法的计算时间也迫切需要分布式计算与内存计算这样的关键技术。因此，机器学习的兴盛也离不开大数据的帮助。大数据与机器学习两者是互相促进，相依相存的关系。

机器学习与大数据紧密联系。但是，必须清醒的认识到，大数据并不等同于机器学习，同理，机器学习也不等同于大数据。大数据中包含有分布式计算，内存数据库，多维分析等等多种技术。单从分析方法来看，大数据也包含以下四种分析方法：

1、大数据，小分析：即数据仓库领域的OLAP分析思路，也就是多维分析思想。

2、大数据，大分析：这个代表的就是数据挖掘与机器学习分析法。

3、流式分析：这个主要指的是事件驱动架构。

4、查询分析：经典代表是NoSQL数据库。

也就是说，机器学习仅仅是大数据分析中的一种而已。尽管机器学习的一些结果具有很大的魔力，在某种场合下是大数据价值最好的说明。但这并不代表机器学习是大数据下的唯一的分析方法。

机器学习与大数据的结合产生了巨大的价值。基于机器学习技术的发展，数据能够“预测”。对人类而言，积累的经验越丰富，阅历也广泛，对未来的判断越准确。例如常说的“经验丰富”的人比“初出茅庐”的小伙子更有工作上的优势，就在于经验丰富的人获得的规律比他人更准确。而在机器学习领域，根据著名的一个实验，有效的证实了机器学习界一个理论：即机器学习模型的数据越多，机器学习的预测的效率就越好。见下图：

图15 机器学习准确率与数据的关系

通过这张图可以看出，各种不同算法在输入的数据量达到一定级数后，都有相近的高准确度。于是诞生了机器学习界的名言：成功的机器学习应用不是拥有最好的算法，而是拥有最多的数据！

在大数据的时代，有好多优势促使机器学习能够应用更广泛。例如随着物联网和移动设备的发展，我们拥有的数据越来越多，种类也包括图片、文本、视频等非结构化数据，这使得机器学习模型可以获得越来越多的数据。同时大数据技术中的分布式计算Map-Reduce使得机器学习的速度越来越快，可以更方便的使用。种种优势使得在大数据时代，机器学习的优势可以得到最佳的发挥。

6、机器学习的子类–深度学习

近来，机器学习的发展产生了一个新的方向，即“深度学习”。

虽然深度学习这四字听起来颇为高大上，但其理念却非常简单，就是传统的神经网络发展到了多隐藏层的情况。

在上文介绍过，自从90年代以后，神经网络已经消寂了一段时间。但是BP算法的发明人Geoffrey Hinton一直没有放弃对神经网络的研究。由于神经网络在隐藏层扩大到两个以上，其训练速度就会非常慢，因此实用性一直低于支持向量机。2006年，Geoffrey Hinton在科学杂志《Science》上发表了一篇文章，论证了两个观点：

1、多隐层的神经网络具有优异的特征学习能力，学习得到的特征对数据有更本质的刻画，从而有利于可视化或分类；

2、深度神经网络在训练上的难度，可以通过“逐层初始化” 来有效克服。

图16 Geoffrey Hinton与他的学生在Science上发表文章

通过这样的发现，不仅解决了神经网络在计算上的难度，同时也说明了深层神经网络在学习上的优异性。从此，神经网络重新成为了机器学习界中的主流强大学习技术。同时，具有多个隐藏层的神经网络被称为深度神经网络，基于深度神经网络的学习研究称之为深度学习。

由于深度学习的重要性质，在各方面都取得极大的关注，按照时间轴排序，有以下四个标志性事件值得一说：

2012年6月 ，《纽约时报》披露了Google Brain项目，这个项目是由Andrew Ng和Map-Reduce发明人Jeff Dean共同主导，用16000个CPU Core的并行计算平台训练一种称为“深层神经网络”的机器学习模型，在语音识别和图像识别等领域获得了巨大的成功。Andrew Ng就是文章开始所介绍的机器学习的大牛(图1中右者)。
2012年11月， 微软在中国天津的一次活动上公开演示了一个全自动的同声传译系统，讲演者用英文演讲，后台的计算机一气呵成自动完成语音识别、英中机器翻译，以及中文语音合成，效果非常流畅，其中支撑的关键技术是深度学习；
2013年1月 ，在百度的年会上，创始人兼CEO李彦宏高调宣布要成立百度研究院，其中第一个重点方向就是深度学习，并为此而成立深度学习研究院(IDL)。
2013年4月 ，《麻省理工学院技术评论》杂志将深度学习列为2013年十大突破性技术(Breakthrough Technology)之首。

图17 深度学习的发展热潮

文章开头所列的三位机器学习的大牛，不仅都是机器学习界的专家，更是深度学习研究领域的先驱。因此，使他们担任各个大型互联网公司技术掌舵者的原因不仅在于他们的技术实力，更在于他们研究的领域是前景无限的深度学习技术。

目前业界许多的图像识别技术与语音识别技术的进步都源于深度学习的发展，除了本文开头所提的Cortana等语音助手，还包括一些图像识别应用，其中典型的代表就是下图的百度识图功能。

图18 百度识图

深度学习属于机器学习的子类。基于深度学习的发展极大的促进了机器学习的地位提高，更进一步地，推动了业界对机器学习父类人工智能梦想的再次重视。

7、机器学习的父类–人工智能

人工智能是机器学习的父类。深度学习则是机器学习的子类。如果把三者的关系用图来表明的话，则是下图：

图19 深度学习、机器学习、人工智能三者关系

毫无疑问，人工智能(AI)是人类所能想象的科技界最突破性的发明了，某种意义上来说，人工智能就像游戏最终幻想的名字一样，是人类对于科技界的最终梦想。从50年代提出人工智能的理念以后，科技界，产业界不断在探索，研究。这段时间各种小说、电影都在以各种方式展现对于人工智能的想象。人类可以发明类似于人类的机器，这是多么伟大的一种理念！但事实上，自从50年代以后，人工智能的发展就磕磕碰碰，未有见到足够震撼的科学技术的进步。

总结起来，人工智能的发展经历了如下若干阶段，从早期的逻辑推理，到中期的专家系统，这些科研进步确实使我们离机器的智能有点接近了，但还有一大段距离。直到机器学习诞生以后，人工智能界感觉终于找对了方向。基于机器学习的图像识别和语音识别在某些垂直领域达到了跟人相媲美的程度。机器学习使人类第一次如此接近人工智能的梦想。

事实上，如果我们把人工智能相关的技术以及其他业界的技术做一个类比，就可以发现机器学习在人工智能中的重要地位不是没有理由的。

人类区别于其他物体，植物，动物的最主要区别，作者认为是 “智慧”。而智慧的最佳体现是什 么？

是计算能力么，应该不是，心算速度快的人我们一般称之为天才。

是反应能力么，也不是，反应快的人我们称之为灵敏。

是记忆能力么，也不是，记忆好的人我们一般称之为过目不忘。

是推理能力么，这样的人我也许会称他智力很高，类似“福尔摩斯”，但不会称他拥有智慧。

是知识能力么，这样的人我们称之为博闻广，也不会称他拥有智慧。

想想看我们一般形容谁有大智慧？圣人，诸如庄子，老子等。智慧是对生活的感悟，是对人生的积淀与思考，这与我们机器学习的思想何其相似？通过经验获取规律，指导人生与未来。没有经验就没有智慧。

图20 机器学习与智慧

那么，从计算机来看，以上的种种能力都有种种技术去应对。

例如计算能力我们有分布式计算，反应能力我们有事件驱动架构，检索能力我们有搜索引擎，知识存储能力我们有数据仓库，逻辑推理能力我们有专家系统，但是，唯有对应智慧中最显著特征的归纳与感悟能力，只有机器学习与之对应。这也是机器学习能力最能表征智慧的根本原因。

让我们再看一下机器人的制造，在我们具有了强大的计算，海量的存储，快速的检索，迅速的反应，优秀的逻辑推理后我们如果再配合上一个强大的智慧大脑，一个真正意义上的人工智能也许就会诞生，这也是为什么说在机器学习快速发展的现在，人工智能可能不再是梦想的原因。

人工智能的发展可能不仅取决于机器学习，更取决于前面所介绍的深度学习，深度学习技术由于深度模拟了人类大脑的构成，在视觉识别与语音识别上显著性的突破了原有机器学习技术的界限，因此极有可能是真正实现人工智能梦想的关键技术。无论是谷歌大脑还是百度大脑，都是通过海量层次的深度学习网络所构成的。也许借助于深度学习技术，在不远的将来，一个具有人类智能的计算机真的有可能实现。

最后再说一下题外话，由于人工智能借助于深度学习技术的快速发展，已经在某些地方引起了传统技术界达人的担忧。真实世界的“钢铁侠”，特斯拉CEO马斯克就是其中之一。最近马斯克在参加MIT讨论会时，就表达了对于人工智能的担忧。“人工智能的研究就类似于召唤恶魔，我们必须在某些地方加强注意。”

图21 马斯克与人工智能

尽管马斯克的担心有些危言耸听，但是马斯克的推理不无道理。“如果人工智能想要消除垃圾邮件的话，可能它最后的决定就是消灭人类。”马斯克认为预防此类现象的方法是引入政府的监管。在这里作者的观点与马斯克类似，在人工智能诞生之初就给其加上若干规则限制可能有效，也就是不应该使用单纯的机器学习，而应该是机器学习与规则引擎等系统的综合能够较好的解决这类问题。因为如果学习没有限制，极有可能进入某个误区，必须要加上某些引导。正如人类社会中，法律就是一个最好的规则，杀人者死就是对于人类在探索提高生产力时不可逾越的界限。

在这里，必须提一下这里的规则与机器学习引出的规律的不同，规律不是一个严格意义的准则，其代表的更多是概率上的指导，而规则则是神圣不可侵犯，不可修改的。规律可以调整，但规则是不能改变的。有效的结合规律与规则的特点，可以引导出一个合理的，可控的学习型人工智能。

8、机器学习的思考–计算机的潜意识

最后，作者想谈一谈关于机器学习的一些思考。主要是作者在日常生活总结出来的一些感悟。

回想一下我在节1里所说的故事，我把小Y过往跟我相约的经历做了一个罗列。但是这种罗列以往所有经历的方法只有少数人会这么做，大部分的人采用的是更直接的方法，即利用直觉。那么，直觉是什么？其实直觉也是你在潜意识状态下思考经验后得出的规律。就像你通过机器学习算法，得到了一个模型，那么你下次只要直接使用就行了。那么这个规律你是什么时候思考的？可能是在你无意识的情况下，例如睡觉，走路等情况。这种时候，大脑其实也在默默地做一些你察觉不到的工作。

这种直觉与潜意识，我把它与另一种人类思考经验的方式做了区分。如果一个人勤于思考，例如他会每天做一个小结，譬如“吾日三省吾身”，或者他经常与同伴讨论最近工作的得失，那么他这种训练模型的方式是直接的，明意识的思考与归纳。这样的效果很好，记忆性强，并且更能得出有效反应现实的规律。但是大部分的人可能很少做这样的总结，那么他们得出生活中规律的方法使用的就是潜意识法。

举一个作者本人关于潜意识的例子。作者本人以前没开过车，最近一段时间买了车后，天天开车上班。我每天都走固定的路线。有趣的是，在一开始的几天，我非常紧张的注意着前方的路况，而现在我已经在无意识中就把车开到了目标。这个过程中我的眼睛是注视着前方的，我的大脑是没有思考，但是我手握着的方向盘会自动的调整方向。也就是说。随着我开车次数的增多，我已经把我开车的动作交给了潜意识。这是非常有趣的一件事。在这段过程中，我的大脑将前方路况的图像记录了下来，同时大脑也记忆了我转动方向盘的动作。经过大脑自己的潜意识思考，最后生成的潜意识可以直接根据前方的图像调整我手的动作。假设我们将前方的录像交给计算机，然后让计算机记录与图像对应的驾驶员的动作。经过一段时间的学习，计算机生成的机器学习模型就可以进行自动驾驶了。这很神奇，不是么。其实包括Google、特斯拉在内的自动驾驶汽车技术的原理就是这样。

除了自动驾驶汽车以外，潜意识的思想还可以扩展到人的交际。譬如说服别人，一个最佳的方法就是给他展示一些信息，然后让他自己去归纳得出我们想要的结论。这就好比在阐述一个观点时，用一个事实，或者一个故事，比大段的道理要好很多。古往今来，但凡优秀的说客，无不采用的是这种方法。春秋战国时期，各国合纵连横，经常有各种说客去跟一国之君交流，直接告诉君主该做什么，无异于自寻死路，但是跟君主讲故事，通过这些故事让君主恍然大悟，就是一种正确的过程。这里面有许多杰出的代表，如墨子，苏秦等等。

基本上所有的交流过程，使用故事说明的效果都要远胜于阐述道义之类的效果好很多。为什么用故事的方法比道理或者其他的方法好很多，这是因为在人成长的过程，经过自己的思考，已经形成了很多规律与潜意识。如果你告诉的规律与对方的不相符，很有可能出于保护，他们会本能的拒绝你的新规律，但是如果你跟他讲一个故事，传递一些信息，输送一些数据给他，他会思考并自我改变。他的思考过程实际上就是机器学习的过程，他把新的数据纳入到他的旧有的记忆与数据中，经过重新训练。如果你给出的数据的信息量非常大，大到调整了他的模型，那么他就会按照你希望的规律去做事。有的时候，他会本能的拒绝执行这个思考过程，但是数据一旦输入，无论他希望与否，他的大脑都会在潜意识状态下思考，并且可能改变他的看法。

如果计算机也拥有潜意识(正如本博客的名称一样)，那么会怎么样？譬如让计算机在工作的过程中，逐渐产生了自身的潜意识，于是甚至可以在你不需要告诉它做什么时它就会完成那件事。这是个非常有意思的设想，这里留给各位读者去发散思考吧。

9、总结

本文首先介绍了互联网界与机器学习大牛结合的趋势，以及使用机器学习的相关应用，接着以一个“等人故事”展开对机器学习的介绍。介绍中首先是机器学习的概念与定义，然后是机器学习的相关学科，机器学习中包含的各类学习算法，接着介绍机器学习与大数据的关系，机器学习的新子类深度学习，最后探讨了一下机器学习与人工智能发展的联系以及机器学习与潜意识的关联。经过本文的介绍，相信大家对机器学习技术有一定的了解，例如机器学习是什么，它的内核思想是什么(即统计和归纳)，通过了解机器学习与人类思考的近似联系可以知晓机器学习为什么具有智慧能力的原因等等。其次，本文漫谈了机器学习与外延学科的关系，机器学习与大数据相互促进相得益彰的联系，机器学习界最新的深度学习的迅猛发展，以及对于人类基于机器学习开发智能机器人的一种展望与思考，最后作者简单谈了一点关于让计算机拥有潜意识的设想。

机器学习是目前业界最为Amazing与火热的一项技术，从网上的每一次淘宝的购买东西，到自动驾驶汽车技术，以及网络攻击抵御系统等等，都有机器学习的因子在内，同时机器学习也是最有可能使人类完成AI dream的一项技术，各种人工智能目前的应用，如微软小冰聊天机器人，到计算机视觉技术的进步，都有机器学习努力的成分。作为一名当代的计算机领域的开发或管理人员，以及身处这个世界，使用者IT技术带来便利的人们，最好都应该了解一些机器学习的相关知识与概念，因为这可以帮你更好的理解为你带来莫大便利技术的背后原理，以及让你更好的理解当代科技的进程。

10、后记

这篇文档花了作者两个月的时间，终于在2014年的最后一天的前一天基本完成。通过这篇文章，作者希望对机器学习在国内的普及做一点贡献，同时也是作者本人自己对于所学机器学习知识的一个融汇贯通，整体归纳的提高过程。作者把这么多的知识经过自己的大脑思考，训练出了一个模型，形成了这篇文档，可以说这也是一种机器学习的过程吧(笑)。

作者所在的行业会接触到大量的数据，因此对于数据的处理和分析是平常非常重要的工作，机器学习课程的思想和理念对于作者日常的工作指引作用极大，几乎导致了作者对于数据价值的重新认识。想想半年前，作者还对机器学习似懂非懂，如今也可以算是一个机器学习的Expert了(笑)。但作者始终认为，机器学习的真正应用不是通过概念或者思想的方式，而是通过实践。只有当把机器学习技术真正应用时，才可算是对机器学习的理解进入了一个层次。正所谓再“阳春白雪”的技术，也必须落到“下里巴人”的场景下运用。目前有一种风气，国内外研究机器学习的某些学者，有一种高贵的逼格，认为自己的研究是普通人无法理解的，但是这样的理念是根本错误的，没有在真正实际的地方发挥作用，凭什么证明你的研究有所价值呢？作者认为必须将高大上的技术用在改变普通人的生活上，才能发挥其根本的价值。一些简单的场景，恰恰是实践机器学习技术的最好地方。

Featured

15 Must Read Books for Entrepreneurs in Data Science

Source: http://www.analyticsvidhya.com/blog/2016/04/15-read-books-entrepreneurs-data-science/

Manish Saraswat , April 25, 2016

Introduction

The roots of entrepreneurship are old. But, the fruits were never so lucrative as they have been recently. Until 2010, not many of us had heard of the term ‘start-up’. And now, not a day goes by when business newspapers don’t quote them. There is sudden gush in the level of courage which people possess.

Today, I see 1 out of 5 person talking about a new business idea. Some of them even succeed too in establishing their dream company. But, only the determined ones sustain. In data science, the story is bit different.

The success in data science is mainly driven by knowledge of the subject. Entrepreneurs are not required to work at ground level, but must have sound knowledge of how it is being done. What algorithms, tools, techniques are being used to create products & services.

In order to gain this knowledge, you have two ways:

You work for 5-6 years in data science, get to know things around and then start your business.
You start reading books along the way and become confident to start in first few years.

I would opt for second option.

Why read books ?

Think of our brain as a library. And, it’s a HUGE library.

How would an empty library look like? If I close my eyes and imagine, I see dust, spider webs, brownian movement of dust particles and darkness. If this imagination horrifies you, then start reading books.

The books listed below gives immense knowledge and motivation in technology arena. Reading these books will give you the chance to live many different entrepreneurial lives. Take them one by one. Don’t get overwhelmed. I’ve displayed a mix of technical and motivational books for entrepreneurs in data science. Happy Reading!

List of Books

Data Science For Business

This book is written by Foster Provost & Tom Fawcett. It gives a great head start to anyone, who is serious about doing business with big data analytics. It makes you believe, data is now business. No business in the world, can now sustain without leveraging the power of data. This books introduces you to real side of data analysis principles and algorithms without technical stuff. It gives you enough intuition and confidence to lead a team of data scientists and recommend what’s required. More importantly, it teaches you the winning approach to become a master at business problem solving.

Get the book: Buy Now

Big Data at Work

This book is written by Thomas H. Davenport. It reveals the increasing importance of big data in organizations. It talks with interesting numbers, researches and statistics. So until 2009, companies worked on data samples. But with advent of powerful devices and data storage capabilities, companies now work on whole data. They don’t want to miss even a single bit of information. This book unveils the real side of big data, it’s influence on our daily lives, on companies and our jobs. As an entrepreneur, it is extremely important for you understand big data and its related terminologies.

Get the book: Buy Now

Lean Analytics

This book is written by Alistair Croll and Benjamin Yoskovitz. It’s one of the most appreciated books on data startups. It consist of practical & detailed researches, advice, guidance which can help you to build your startup faster. It gives enough intuition to build data driven products and market them. The language is simple to understand. There are enough real world examples to make you believe, a business needs data analytics like a human needs air. To an entrepreneur, this will introduce the practical side of product development and what it takes to succeed in a red ocean market.

Get the book: Buy Now

Moneyball

This book is written by Michael Lewis. It’s a brilliant tale which sprinkles some serious inspiration. A guy named billy bean does what most of the world failed to imagine, just by using data and statistics. He paved the path to victory when situations weren’t favorable. Running a business needs continuous motivation. This can be a good place to start with. However, this book involves technical aspects of baseball. Hence, if you don’t know baseball, chances are you might struggle in initial chapters. A movie also has been made on this book. Do watch it!

Get the book: Buy Now

Elon Musk

This book is written by Ashlee Vance. I’m sure none of us are fortunate to live the life of Elon Musk, but this book let’s us dive in his life and experience rise of fantastic future. Elon is the face behind Paypal, Tesla and SpaceX. He has dreamed of making space travel easy and cheap. Recently, he was applauded by Barack Obama for the successful landing of his spaceship in an ocean. People admire him. They want to know his secrets and this is where you can look for. As on entrepreneur, you will learn about must have ingredients which you need to a become successful in technology space.

Get the book: Buy Now

Keeping up with the Quants

This book is written by Thomas H Davenport and Jinho Kim. As we all know, data science is driven by numbers & maths (quants). Inspired from moneyball, this book teaches you the methods of using quantitative analysis for decision making. An entrepreneur is a terminal of decision making. One must learn to make decisions using numbers & analysis, rather than intuition. The language of this book is easy to understand and suited for non-maths background people too. Also, this book will make you comfortable with basics statistics and quantitative calculations in the world of business.

Get the book: Buy Now

The Signal and the Noise

The author of this book is Nate Silver, the famous statistician who correctly predicted US Presidential elections in 2012. This books shows the real art and science of making predictions from data. This art involves developing the ability to filter out noise and make correct predictions. It includes interesting examples which conveys the ultimate reason behind success and failure of predictions. With more and more data, predictions have become prone to noise errors. Hence, it is increasingly important to understand the science behind making predictions using big data science. The chapters of this book are interesting and intuitive.

Get the book: Buy Now

When Genius Failed

This book is written by Roger Lowenstein. It is an epic story of rise and failure of a hedge fund. For an entrepreneur, this book has ample lessons on investing, market conditions and capital management. It’s a story of a small bank, which used quantitative techniques for bond pricing throughout the world and ensured every invested made gives a profitable results. However, they didn’t sustain for long. Their quick rise was succeeded by failure. And, the impact of their failure was so devastating that US Federal bank stepped in to rescue the bank, because the fund’a bankruptcy would have large negative influence on world’s economy.

Get the book: Buy Now

Lean Startup

This book is written by Eric Ries. In one line, it teaches how to not to fail at the start of your business. It reveals proven strategies which are followed by startups around the world. It has abundance of stories to make you walk on the right path. An entrepreneur should read it when he/she feel like draining out of motivation. It teaches to you to learn quickly, implement new methods and act quickly if something doesn’t work out. This book applies to all industries and is not specific to data science.

Get the book: Buy Now

Web Analytics 2.0

This book is written by Avinash Kaushik. It is one of the best book to learn about web analytics. Internet is the fastest mode of collecting data. And, every entrepreneur must learn the art of internet accounting. Most of the businesses today face the challenge of weak presence on social media and internet platforms. Using various proven strategies and actionable insights, this book helps you to solve various challenges which could hamper your way. It also provides a winning template which can be applied in most of the situations. It focuses on choosing the right metric and ways to keep them in control.

Get the book: Buy Now

Predictive Analytics

This book is written by Eric Seigel. It is a good follow up book after web analytics 2.0. So, once you’ve understood the underlying concept of internet data, metrics and key strategies. This book teaches you the methods of using that knowledge to make predictions. It’s simple to understand and covers many interesting case studies displaying how companies predict our behavior and sell us products. It doesn’t cover technical aspects, but explains the general working on predictive analytics and its applications. You can also check out this funny rap video by Dr. Eric Seigel:

Get the book: Buy Now

Freakonomics

This book is written by Steven D Levitt and Stephen J Dubner. It shows the importance of numbers, data, quantitative analysis using various interesting stories. It says, there is a logic is everything which happens around us. Reading this book will make you aware of the unexplored depth at which data affects our real lives. It draws interesting analogy between school teachers and sumo wrestlers. Also, the bizarre stories featuring cases of criminal acts, real-estate, drug dealers will certainly add up to your exciting moments.

Get the book: Buy Now

Founders at Work

This book is written by Jessica Livingston. Again, this isn’t data science specific but a source of motivation to get you moving forward. It’s a collection of interviews with the founders of various startups across the world. The focus has been kept on early days i.e. how did they act when they started. This book will give you enough proven ideas, strategies and lessons to anticipate and avoid pitfalls in your initial days of business. It consist of stories by Steve Wozniak (Apple), Max Levchin (Paypal), Caterina Fake (Flikr) and many more. In total, there are 32 interviews listed which means you have the chance to learn from 32 mentors in one single book. Must read for entrepreneurs.

Get the book: Buy Now

Bootstrapping a Business

This book is written by Greg Gianforte and Marcus Gibson. It teaches about the things to do when you are running short of money and still don’t want to stop. This is a must read book for every entrepreneur. Considering the amount of investment required in data science startups, this book should have a special space in an entrepreneur’s heart. It reveals various eye opening truths and strategies which can help you build a great company. Greg and Marcus proves that money is not always the reason for startup failure, it’s all about founder’s perspective. This book has stories of success and failures, again a great chance for you to live many lives by reading this book.

Get the book: Buy Now

Analytics at Work

This book is written by Thomas H Davenport, Jeanne G Harris and Robert Morrison. This books reveals the increased use of analytical tools & concepts by managers to make informed business decisions. The decision making process has accelerated. For a greater impact, it also consists of examples from popular companies like hotels.com, best buy and many more. It talks about recruiting, coordination with people and the use of data and analytics at an enterprise level. Many of us are aware of data and analytics. But, only a few know how to use them together. This quick book has it all !

Get the book: Buy Now

End Notes

This marks the end of this list. While compiling this list, I realized most of these books are about sharing experience and learning from the mistake of others. Also, it is immensely important to posses quantitative ability to become good in data science. I would suggest you to make a reading list and stick to it throughout the year. You can take up any book to start. I’d suggest to start with a motivational book.

Have you read any other book ? What were your key takeaways? Did you like reading this article? Do share your knowledge & experiences in the comments below.

“阿法狗”之父：关于围棋，人类3000年来犯了一个错

作者：刘秀云

来源：澎湃新闻网

AlphaGo之父杰米斯·哈萨比斯（Demis Hassabis）在母校英国剑桥大学做了一场题为“超越人类认知的极限”的演讲，解答了世人对于人工智能，对于阿尔法狗的诸多疑问——过去3000年里人类低估了棋局哪个区域的重要性？阿尔法狗去年赢了韩国职业九段李世石靠哪几个绝招？今年年初拿下数位国际大师的神秘棋手Master究竟是不是阿尔法狗？为什么围棋是人工智能难解之谜？

杰米斯·哈萨比斯，Deep Mind创始人， AlphaGo之父。

杰米斯·哈萨比斯，Deep Mind创始人，AlphaGo（阿尔法狗）之父， 4岁开始下象棋，8岁时在棋盘上的成功促使他开始思考两个至今令他困扰的问题：第一，人脑是如何学会完成复杂任务的？第二，电脑能否做到这一点？17岁时，哈萨比斯就负责了经典模拟游戏《主题公园》的开发，并在1994年发布。他随后读完了剑桥大学计算机科学学位，2005年进入伦敦大学学院，攻读神经科学博士学位，希望了解真正的大脑究竟是如何工作的，以此促进人工智能的发展。2014年他创办公司Deep Mind, 公司产品阿尔法狗在2016年大战围棋冠军李世石事件上一举成名。

哈萨比斯在当天的演讲中透露了韩国棋手李世石去年输给阿尔法狗的致命原因，他最后也提到了阿尔法狗即将迎战的中国棋手柯洁，他说，“柯洁也在网上和阿尔法狗对决过，比赛之后柯洁说人类已经研究围棋研究了几千年了，然而人工智能却告诉我们，我们甚至连其表皮都没揭开。异曲同工，柯洁提到了围棋的真理，我们在这里谈的是科学的真理。”

AlphaGo（阿尔法狗）之父在剑桥大学历时45分钟的演讲，干货满满，请不要漏掉任何一个细节：

非常感谢大家今天能够到场，今天，我将谈谈人工智能，以及DeepMind近期在做些什么，我把这场报告命名为“超越人类认知的极限”，我希望到了报告结束的时候，大家都清晰了解我想传达的思想。

1.你真的知道什么是人工智能吗？

对于不知道DeepMind公司的朋友，我做个简单介绍，我们是在2010年于伦敦成立了这家公司，在2014年我们被谷歌收购，希望借此加快我们人工智能技术的脚步。我们的使命是什么呢？我们的首要使命便是解决人工智能问题；一旦这个问题解决了，理论上任何问题都可以被解决。这就是我们的两大使命了，听起来可能有点狡猾，但是我们真的相信，如果人工智能最基本的问题都解决了的话，没有什么问题是困难的。

那么我们准备怎样实现这个目标呢？DeepMind现在在努力制造世界上第一台通用学习机，大体上学习可以分为两类：一种就是直接从输入和经验中学习，没有既定的程序或者规则可循，系统需要从原始数据自己进行学习；第二种学习系统就是通用学习系统，指的是一种算法可以用于不同的任务和领域，甚至是一些从未见过的全新领域。大家肯定会问，系统是怎么做到这一点的？

其实，人脑就是一个非常明显的例子，这是可能的，关键在于如何通过大量的数据资源，寻找到最合适的解决方式和算法。我们把这种系统叫做通用人工智能，来区别于如今我们当前大部分人在用的仅在某一领域发挥特长的狭义人工智能，这种狭义人工智能在过去的40-50年非常流行。

IBM 发明的深蓝系统（Deep Blue）就是一个很好的狭义人工智能的例子，他在上世纪90年代末期曾打败了国际象棋冠军加里·卡斯帕罗夫（Gary Kasporov）。如今，我们到了人工智能的新的转折点，我们有着更加先进、更加匹配的技术。

1997年5月，IBM与世界国际象棋冠军加里·卡斯帕罗夫对决

2.如何让机器听从人类的命令？

大家可能想问机器是如何听从人类的命令的，其实并不是机器或者算法本身，而是一群聪明的编程者智慧的结晶。他们与每一位国际象棋大师对话，汲取他们的经验，把其转化成代码和规则，组建了人类最强的象棋大师团队。但是这样的系统仅限于象棋，不能用于其他游戏。对于新的游戏，你需要重新开始编程。在某种程度上，这些技术仍然不够完美，并不是传统意义上的完全人工智能，其中所缺失的就是普适性和学习性。我们想通过“增强学习”来解决这一难题。在这里我解释一下增强学习，我相信很多人都了解这个算法。

首先，想像一下有一个主体，在AI领域我们称我们的人工智能系统为主体，它需要了解自己所处的环境，并尽力找出自己要达到的目的。这里的环境可以指真实事件，可以是机器人，也可以是虚拟世界，比如游戏环境；主体通过两种方式与周围环境接触；它先通过观察熟悉环境，我们起初通过视觉，也可以通过听觉、触觉等，我们也在发展多感觉的系统；

第二个任务，就是在此基础上，建模并找出最佳选择。这可能涉及到对未来的预期，想像，以及假设检验。这个主体经常处在真实环境中，当时间节点到了的时候，系统需要输出当前找到的最佳方案。这个方案可能或多或少会改变所处环境，从而进一步驱动观察的结果，并反馈给主体。

简单来说，这就是增强学习的原则，示意图虽然简单，但是其中却涉及了极其复杂的算法和原理。如果我们能够解决大部分问题，我们就能够搭建普适人工智能。这是因为两个主要原因：首先，从数学角度来讲，我的合伙人，一名博士，他搭建了一个系统叫‘AI-XI’，用这个模型，他证明了在计算机硬件条件和时间无限的情况下，搭建一个普适人工智能，需要的信息。另外，从生物角度来讲，动物和人类等，人类的大脑是多巴胺控制的，它在执行增强学习的行为。因此，不论是从数学的角度，还是生物的角度，增强学习是一个有效的解决人工智能问题的工具。

3.为什么围棋是人工智能难解之谜？

接下来，我要主要讲讲我们最近的技术，那就是去年诞生的阿尔法狗；希望在座的大家了解这个游戏，并尝试玩玩，这是个非常棒的游戏。围棋使用方形格状棋盘及黑白二色圆形棋子进行对弈，棋盘上有纵横各19条直线将棋盘分成361个交叉点，棋子走在交叉点上，双方交替行棋，以围地多者为胜。围棋规则没有多复杂，我可以在五分钟之内教给大家。这张图展示的就是一局已结束，整个棋盘基本布满棋子，然后数一下你的棋子圈出的空间以及对方棋子圈出的空间，谁的空间大，谁就获胜。在图示的这场势均力敌的比赛中，白棋一格之差险胜。

白棋以一格之差险胜

其实，了解这个游戏的最终目的非常难，因为它并不像象棋那样，有着直接明确的目标，在围棋里，完全是凭直觉的，甚至连如何决定游戏结束对于初学者来说，都很难。围棋是个历史悠久的游戏，有着3000多年的历史，起源于中国，在亚洲，围棋有着很深的文化意义。孔子还曾指出，围棋是每一个真正的学者都应该掌握的四大技能之一（琴棋书画），所以在亚洲围棋是种艺术，专家们都会玩。

如今，这个游戏更加流行，有4000万人在玩围棋，超过2000多个顶级专家，如果你在4-5岁的时候就展示了围棋的天赋，这些小孩将会被选中，并进入特殊的专业围棋学校，在那里，学生从6岁起，每天花12个小时学习围棋，一周七天，天天如此。直到你成为这个领域的专家，才可以离开学校毕业。这些专家基本是投入人生全部的精力，去揣摩学习掌握这门技巧，我认为围棋也许是最优雅的一种游戏了。

像我说的那样，这个游戏只有两个非常简单的规则，而其复杂性却是难以想象的，一共有10170 （10的170次方）种可能性，这个数字比整个宇宙中的原子数1080（10的80次方）都多的去了，是没有办法穷举出围棋所有的可能结果的。我们需要一种更加聪明的方法。你也许会问为什么计算机进行围棋的游戏会如此困难，1997年,IBM的人工智能DeepBlue（深蓝）打败了当时的象棋世界冠军GarryKasparov，围棋一直是人工智能领域的难解之谜。我们能否做出一个算法来与世界围棋冠军竞争呢？要做到这一点，有两个大的挑战：

一、搜索空间庞大（分支因数就有200），一个很好的例子，就是在围棋中，平均每一个棋子有两百个可能的位置，而象棋仅仅是20. 围棋的分支因数远大于象棋。

二、比这个更难的是，几乎没有一个合适的评价函数来定义谁是赢家，赢了多少；这个评价函数对于该系统是至关重要的。而对于象棋来说，写一个评价函数是非常简单的，因为象棋不仅是个相对简单的游戏，而且是实体的，只用数一下双方的棋子，就能轻而易举得出结论了。你也可以通过其他指标来评价象棋，比如棋子移动性等。

所有的这些在围棋里都是不可能的，并不是所有的部分都一样，甚至一个小小部分的变动，会完全变化格局，所以每一个小的棋子都对棋局有着至关重要的影响。最难的部分是，我称象棋为毁灭性的游戏，游戏开始的时候，所有的棋子都在棋盘上了，随着游戏的进行，棋子被对方吃掉，棋子数目不断减少，游戏也变得越来越简单。相反，围棋是个建设性的游戏，开始的时候，棋盘是空的，慢慢的下棋双方把棋盘填满。

因此，如果你准备在中场判断一下当前形势，在象棋里，你只需看现在的棋盘，就能告诉你大致情况；在围棋里，你必须评估未来可能会发生什么，才能评估当前局势，所以相比较而言，围棋难得多。也有很多人试着将DeepBlue的技术应用在围棋上，但是结果并不理想，这些技术连一个专业的围棋手都打不赢，更别说世界冠军了。

所以大家就要问了，连电脑操作起来都这么难，人类是怎样解决这个问题的？其实，人类是靠直觉的，而围棋一开始就是一个靠直觉而非计算的游戏。所以，如果你问一个象棋选手，为什么这步这样走，他会告诉你，这样走完之后，下一步和下下一步会怎样走，就可以达到什么样的目的。这样的计划，有时候也许不尽如人意，但是起码选手是有原因的。

然而围棋就不同了，如果你去问世界级的大师，为什么走这一步，他们经常回答你直觉告诉他这么走，这是真的，他们是没法描述其中的原因的。我们通过用加强学习的方式来提高人工神经网络算法，希望能够解决这一问题。

我们试图通过深度神经网络模仿人类的这种直觉行为，在这里，需要训练两个神经网络，一种是决策网络，我们从网上下载了成百万的业余围棋游戏，通过监督学习，我们让阿尔法狗模拟人类下围棋的行为；我们从棋盘上任意选择一个落子点，训练系统去预测下一步人类将作出的决定；系统的输入是在那个特殊位置最有可能发生的前五或者前十的位置移动；这样，你只需看那5-10种可能性，而不用分析所有的200种可能性了。

一旦我们有了这个，我们对系统进行几百万次的训练，通过误差加强学习，对于赢了的情况，让系统意识到，下次出现类似的情形时，更有可能做相似的决定。相反，如果系统输了，那么下次再出现类似的情况，就不会选择这种走法。我们建立了自己的游戏数据库，通过百万次的游戏，对系统进行训练，得到第二种神经网络。选择不同的落子点，经过置信区间进行学习，选出能够赢的情况，这个几率介于0-1之间，0是根本不可能赢，1是百分之百赢。

通过把这两个神经网络结合起来（决策网络和数值网络），我们可以大致预估出当前的情况。这两个神经网络树，通过蒙特卡洛算法，把这种本来不能解决的问题，变得可以解决。我们网罗了大部分的围棋下法，然后和欧洲的围棋冠军比赛，结果是阿尔法狗赢了，那是我们的第一次突破，而且相关算法还被发表在《自然》科学杂志。

接下来，我们在韩国设立了100万美元的奖金，并在2016年3月，与世界围棋冠军李世石进行了对决。李世石先生是围棋界的传奇，在过去的10年里都被认为是最顶级的围棋专家。我们与他进行对决，发现他有非常多创新的玩法，有的时候阿尔法狗很难掌控。比赛开始之前，世界上每个人（包括他本人在内）都认为他一定会很轻松就打赢这五场比赛，但实际结果是我们的阿尔法狗以4:1获胜。围棋专家和人工智能领域的专家都称这具有划时代的意义。对于业界人员来说，之前根本没想到。

4.棋局哪个关键区域被人类忽视了？

这对于我们来说也是一生仅有一次的偶然事件。这场比赛，全世界28亿人在关注，35000多篇关于此的报道。整个韩国那一周都在围绕这个话题。真是一件非常美妙的事情。对于我们而言，重要的不是阿尔法狗赢了这个比赛，而是了解分析他是如何赢的，这个系统有多强的创新能力。阿尔法狗不仅仅只是模仿其他人类选手的下法，他在不断创新。在这里举个例子，这是第二局里的一个情况，第37步，这一步是我整个比赛中最喜欢的一步。在这里，黑棋代表阿尔法狗，他将棋子落在了图中三角标出的位置。为什么这步这么关键呢?为什么大家都被震惊到了。

图左：第二局里，第37步，黑棋的落子位置图右：之前貌似陷入困境的两个棋子

其实在围棋中有两条至关重要的分界线，从右数第三根线。如果在第三根线上移动棋子，意味着你将占领这个线右边的领域。而如果是在第四根线上落子，意味着你想向棋盘中部进军，潜在的，未来你会占棋盘上其他部分的领域，可能和你在第三根线上得到的领域相当。

所以在过去的3000多年里，人们认为在第三根线上落子和第四根线上落子有着相同的重要性。但是在这场游戏中，大家看到在这第37步中，阿尔法狗落子在了第五条线，进军棋局的中部区域。与第四根线相比，这根线离中部区域更近。这可能意味着，在几千年里，人们低估了棋局中部区域的重要性。

有趣的是，围棋就是一门艺术，是一种客观的艺术。我们坐在这里的每一个人，都可能因为心情好坏产生成千上百种的新想法，但并不意味着每一种想法都是好的。而阿尔法狗却是客观的，他的目标就是赢得游戏。

5.阿尔法狗拿下李世石靠哪几个绝招？

大家看到在当前的棋局下，左下角那两个用三角标出的棋子看起来好像陷入了困难，而15步之后，这两个棋子的力量扩散到了棋局中心，一直延续到棋盘的右边，使得这第37步恰恰落在这里，成为一个获胜的决定性因素。在这一步上阿尔法狗非常具有创新性。我本人是一个很业余的棋手，让我们看看一位世界级专家Michael Redmond对这一步的评价。 Michael是一位9段选手（围棋最高段），就像是功夫中的黑段一样，他说：“这是非常令人震惊的一步，就像是一个错误的决定。”在实际模拟中，Michael其实一开始把棋子放在了另外一个地方，根本没想到阿尔法狗会走这一步。像这样的创新，在这个比赛中，阿尔法狗还有许多。在这里，我特别感谢李世石先生，其实在我们赢了前三局的时候，他下去了。

2016年3月阿尔法狗大战世界围棋冠军李世石，以4:1的总分战胜了人类

那是三场非常艰难的比赛，尤其是第一场。因为我们需要不断训练我们的算法，阿尔法狗之前打赢了欧洲冠军，经过这场比赛，我们知道了欧洲冠军和世界冠军的差别。理论上来讲，我们的系统也进步了。但是当你训练这个系统的时候，我们不知道有多少是过度拟合的，因此，在第一局比赛结束之前，系统是不知道自己的统计结果的。所以，其实第一局，我们非常紧张，因为如果第一局输了，很有可能我们的算法存在巨大漏洞，有可能会连输五局。但是如果我们第一局赢了，证明我们的加权系统是对的。

不过，李世石先生在第四场的时候，回来了，也许压力缓解了许多，他做出了一步非常创新性的举动，我认为这是历史上的创新之举。这一步迷惑了阿尔法狗，使他的决策树进行了错误估计，一些中国的专家甚至称之为“黄金之举”。通过这个例子，我们可以看到多少的哲理蕴含于围棋中。这些顶级专家，用尽必生的精力，去找出这种黄金之举。其实，在这步里，阿尔法狗知道这是非常不寻常的一步，他当时估计李世石通过这步赢的可能性是0.007%，阿尔法狗之前没有见过这样的落子方式，在那2分钟里，他需要重新搜索决策计算。我刚刚已经提到过这个游戏的影响：28亿人观看，35000相关文章的媒体报道，在西方网售的围棋被一抢而空，我听说MIT（美国麻省理工学院）还有其他很多高校，许多人新加入了围棋社。

第四局里，李世石第78步的创新之举

我刚才谈到了直觉和创新，直觉是一种含蓄的表达，它是基于人类的经历和本能的一种思维形式，不需要精确计算。这一决策的准确性可以通过行为进行评判。在围棋里很简单，我们给系统输入棋子的位置，来评估其重要性。阿尔法狗就是在模拟人类这种直觉行为。创新，我认为就是在已有知识和经验的基础上，产生一种原始的，创新的观点。阿尔法狗很明显的示范了这两种能力。

6.神秘棋手Master究竟是不是阿尔法狗？

那么我们今天的主题是“超越人类认知的极限”，下一步应该是什么呢？从去年三月以来，我们一直在不断完善和改进阿尔法狗，大家肯定会问，既然我们已经是世界冠军了，还有什么可完善的？其实，我们认为阿尔法狗还不是完美的，还需要做更多的研究。

首先，我们想要继续研究刚才提到的和李世石的第四局的比赛，来填充知识的空白；这个问题其实已经被解决了，我们建立了一个新的阿尔法狗分系统，不同于主系统，这个分支系统是用来困惑主系统的。我们也优化了系统的行为，以前我们需要花至少3个月来训练系统，现在只需要一周时间。

第二，我们需要理解阿尔法狗所采取的决定，并对其进行解释；阿尔法狗这样做的原因是什么，是否符合人类的想法等等；我们通过对比人类大脑对于不同落子位置的反应以及阿尔法狗对于棋子位置的反应，以期找到一些新的知识；本质上就是想让系统更专业。我们在网络上与世界顶级的专家对决，一开始我们使用了一个假名（Master），在连胜之后被大家猜出是阿尔法狗。这些都是顶级的专家，我们至今已赢了60位大师了。如果你做个简单的贝叶斯分析，你会发现阿尔法狗赢不同对手的难易也不一样。而且，阿尔法狗也在不断自我创新，比如说图中右下角这个棋子（圆圈标处），落在第二根线里，以往我们并不认为这是个有效的位置。实际上，韩国有的团队预约了这些游戏，想研究其中新的意义和信息。

阿尔法狗自我创新，落在第二格线的旗子

柯洁，既是中国的围棋冠军，也是目前的世界围棋冠军，他才19岁。他也在网上和阿尔法狗对决过，比赛之后他说人类已经研究围棋研究了几千年了，然而人工智能却告诉我们，我们甚至连其表皮都没揭开。他也说人类和人工智能的联合将会开创一个新纪元，将共同发现围棋的真谛。异曲同工，柯洁提到了围棋的真理，我们在这里谈的是科学的真理。

红遍网络的神秘棋手Master2017年1月3日在腾讯围棋对弈平台赢了柯洁

Master执白中盘胜柯洁，Master就是AlphaGo的升级版

那么围棋的新纪元是否真的到来了呢？围棋史上这样的划时代事件曾经发生过两次，第一次是发生在1600年左右的日本，20世纪30-40年代的日本，日本一位当时非常杰出的围棋高手吴清源提出了一个全新的关于围棋的理论，将围棋提升到了一个全新的境界。大家说如今，阿尔法狗带来的是围棋界的第三次变革。

7.为什么人工智能“下围棋”强于“下象棋”？

我想解释一下，为什么人工智能在围棋界所作出的贡献，要远大于象棋界。如果我们看看当今的世界国际象棋冠军芒努斯·卡尔森，他其实和之前的世界冠军没什么大的区别，他们都很优秀，都很聪明。但为什么当人工智能出现的时候，他们可以远远超越人类？我认为其中的原因是，国际象棋更注重战术，而阿尔法狗更注重战略。如今世界顶级的国际象棋程序再不会犯技术性的错误，而在人类身上，不可能不犯错。第二，国际象棋有着巨大的数据库，如果棋盘上少于9个棋子的时候，通过数学算法就可以计算出谁胜谁败了。计算机通过成千上万的迭代算法，就可以计算出来了。因此，当棋盘上少于九个棋子的时候，下象棋时人类是没有办法获胜的。

因此，国际象棋的算法已经近乎极致，我们没有办法再去提高它。然而围棋里的阿尔法狗，在不断创造新的想法，这些全新的想法，在和真人对决的时候，顶级的棋手也可以把其纳入到考虑的范畴，不断提高自己。

就如欧洲围棋冠军樊麾（第一位与阿尔法狗对阵的人类职业棋手）所说的那样，在和阿尔法狗对决的过程中，机器人不断创新的下法，也让人类不断跳出自己的思维局限，不断提高自己。大家都知道，经过专业围棋学校里30多年的磨练，他们的很多思维已经固化，机器人的创新想法能为其带来意想不到的灵感。我真的相信如果人类和机器人结合在一起，能创造出许多不可思议的事情。我们的天性和真正的潜力会被真正释放出来。

8.阿尔法狗不为了赢取比赛又是为了什么？

就像是天文学家利用哈勃望远镜观察宇宙一样，利用阿尔法狗，围棋专家可以去探索他们的未知世界，探索围棋世界的奥秘。我们发明阿尔法狗，并不是为了赢取围棋比赛，我们是想为测试我们自己的人工智能算法搭建一个有效的平台，我们的最终目的是把这些算法应用到真实的世界中，为社会所服务。

当今世界面临的一个巨大挑战就是过量的信息和复杂的系统，我们怎么才能找到其中的规律和结构，从疾病到气候，我们需要解决不同领域的问题。这些领域十分复杂，对于这些问题，即使是最聪明的人类也无法解决的。

我认为人工智能是解决这些问题的一个潜在方式。在如今这个充斥着各种新技术的时代，人工智能必须在人类道德基准范围内被开发和利用。本来，技术是中性的，但是我们使用它的目的和使用它的范围，大大决定了其功能和性质，这必须是一个让人人受益的技术才行。

我自己的理想是通过自己的努力，让人工智能科学家或者人工智能助理和医药助理成为可能，通过该技术，我们可以真正加速技术的更新和进步。

注：本文作者系英国剑桥大学神经学博士生，AlphaGo之父哈萨比斯在剑桥大学的校友

首届开放科学奖|6个创造性案例示范如何玩转医学大数据

2016-05-19 大数据文摘

导读：生物医学已经并且正在产生海量的数据。对这些数据的开源和利用将产生巨大价值。首届开放科学奖（Open Science Prize）正致力于找到开发利用这些数据的好点子。该奖项自去年10月发布后，接收到了来自45个国家96支队伍的参与。昨天，专家小组宣布了六个进入决赛的名单，从模拟果蝇大脑、病毒传播可视化、到创建罕见病基因库，让我们看看这些进入决赛的队伍是如何玩转生物大数据的。

◆ ◆ ◆

关于开放科学奖

生物医学研究产生了海量数据。许多《IEEE综览》（IEEE Spectrum是电气电子工程师学会发行一个杂志，是电气电子工程师学会的旗舰级出版物，致力于探索前沿科技的发展实现与应用——译者注）所关注介绍的诸如传感器、机器人及其它相关技术会产生出太字节（terabyte， 2⁴⁰字节——译者注）至拍字节（petabyte，2⁵⁰字节——译者注）的数据，而这只是在世界范围内所存储的健康信息容量中微不足道的部分。

如今，三家投资机构正在努力刺激工具和平台的开发，来提高研究者获取和使用这些数据的能力。在华盛顿特区举行的第7届医疗数据研讨会上，（美国）国立卫生研究院（National Institute ofHealth，简称NIH）、总部在英国的威康信托基金（Wellcome Trust）以及霍华德•休斯医学研究所（Howard Hughes Medical Institute）宣布了首届开放科学奖（Open Science Prize）的6支决赛队伍名单。

开发这些类型的工具的部分问题是没人知道谁该为它们负责。（美国）国立卫生研究院的数据科学副主任菲利普•伯恩（Philip Bourne）说：“数据的产生是全球性的，但是数据本质上是由国家管理和资助的。

去年10月发布后，来自45个国家96支队伍参加了这个比赛。昨天，专家小组宣布了六个进入决赛的名单，他们将获得8万美元的资助，在接下来的六个月里继续开发他们的原型。

好了，不多说了，让我们看看这些进入决赛的队伍是如何玩转生物大数据的：

◆ ◆ ◆

MyGene2

罕见疾病并不是你所想象的那么罕见。如今，在美国有超过6千种已知罕见疾病发生在大约2千5百万人的身上。但是，超过一半的家庭经历了基因检测而无法确诊为疑似的罕见疾病。一个名为MyGene2的网站（https://www.mygene2.org/MyGene2/）给家庭和临床医生带来一个分享关于罕见疾病的健康和基因信息的地方，以此来推动检测和发现引发疾病的新的罕见情况和基因。

▲MyGene2页面-根据基因或者家庭ID进行搜索

每个（疑似）罕见疾病家庭信息库都涵盖了故事-健康信息-基因数据-联系方式等资料。其中，故事部分介绍包括照片，患者基本情况，和一个有血有肉的真实故事。以96号家庭为例，作者生动地叙述了自己的女儿Ava患病及被确诊的整个过程。

健康信息则包含了这个家庭成员包括“发热”“出汗”“头疼”等一系列病症的信息。

基因数据部分则可以根据” Inheritance Model”和” Confidence in Pathogenicity”的不同维度生过滤生成报告，发现这个家庭的candidate gene。

◆ ◆ ◆

Nextstrain

为了干预和阻止流行病的爆发，科学家们需要尽快得到来自病原体的基因数据。Nextstrain项目从世界各地的研究团体聚集了大量的基因数据近乎实时地进行了病毒传播的可视化。例如，可以查看一下他们关于目前寨卡病毒（Zika virus，http://nextstrain.org/zika/）演变的图片。

这一交互可视化作品记录了从2014年11月到现在Zika病毒的时时变化情况。可以按照“地理位置”和“样本时间”两种维度进行划分。

◆ ◆ ◆

OpenAQ

根据世界卫生组织（World Health Organization）的说法，空气污染是导致8分之1全球死亡病例的罪魁祸首，然而空气质量数据一直被存储在不起眼的网站上，难以访问，同时格式也不一致。OpenAQ平台（https://openaq.org/#/）原型将数据进行了合并和标准化，成为公众可得、实时的空气质量数据。它已经收集和分享了来自13个国家500多个地点的970万空气质量检测数据。

你可以通过地图查看全球各国的Pm2.5数值。

当然也可以直接用代码拿走你需要的城市和国家的API原始数据。

◆ ◆ ◆

Brainbox

能从互联网上得到的脑成像数据量是难以置信的。相对于其它类型的数据，神经成像数据需要更充足的人力，例如：策划和编辑图像。Brainbox是一个在线实验室，它被设计成方便研究人员访问的脑成像数据库（特别之处是无需下载），并启用分布式协作让每个人能分享努力。（https://www.openscienceprize.org/p/s/1838127/）

◆ ◆ ◆

NeuroArch

尽管在映射整个人类大脑上付出了巨大的努力，一个更短期的目标是映射一个更小的大脑，比如果蝇的大脑，它有着超过70%的涉及人类脑部疾病的类似基因。果蝇大脑瞭望台项目（Fruit Fly BrainObservatory project，https://www.openscienceprize.org/p/s/1998747/）将开放一个名为NeuroArch的开放图像数据库平台，这个平台存储和处理跟果蝇大脑有关的信息，包括位置、形状、每个神经元的连接。

在一个地方存放所有这些数据，可能形成一个模拟的果蝇大脑，在通过遗传或给药进行修改时，可以看到发生的相关变化。

◆ ◆ ◆

OpenTrialFDA

当美国食物和药品管理局（U.S Food and Drug Administration）批准一种药物时，该机构公开发布一系列关于该药物的信息，通常包含先前未公开的临床试验。尽管这些信息相当有价值，但难以获得、收集和搜索。OpenTrialFDA努力建立一个用户友好的网站界面让任何人能访问相关信息，还提供应用接口（API），允许第三方平台接入和搜索数据。（https://www.openscienceprize.org/p/s/1844843/）

翻译：姚佳灵校对：孙强

作者：Megan Scudellari

素材来自：Spectrum

编辑：魏子敏

◆ ◆ ◆

编译团队

大数据文摘后台回复“志愿者”了解如何加入我们

会话式 UX 是 Web 未来的发展方向吗？

英文：medium

作者：Walter Apai

译者：36Kr – 杨志芳

链接：http://36kr.com/p/5046488.html

编者按：本文来自网站设计趋势博客——Webdesigner Depot，博主是 Vancouver 的网页设计师——Walter Apai。

会话式 UX 不一定是字面意义上的 “会话”，“会话式” 是指来回的互动，会话双方都能理解对方的意思。

目前，很多会话式用户体验大部分都是基于微缩本的小代码片段。在会话式的用户体验中，你不需要了解汉堡菜单，因为根本就不会出现，App（不管是 web 还是原生的）会适应你的查询。如果设备的操作系统也这样做，那么你可能不需要下载 App，操作系统会根据使用的优先顺序，帮你决定使用哪些 App 和服务。

会话式 UX 比现有 App 和网站更易起反应。会话式 UX 所处理的互动相当于一百万个客户服务中心，无需等待音乐、解决安全问题或者接受上级检查。会话式 UX 无需载入，不像 App 一样会出现下降率，因为它会适应用户（或者程序员）的需求。经济现实是任何任务都可以自动化，并将会实现自动化。

会话式 UX 唯一的缺点是我们不信任 AI。任何成功的用户体验的核心价值都是信任。从情感的层面进行沟通是大部分设计过程的终极工具，从 UX 术语变为 UI 的一个原因是前者强调的是同理心，后者强调的是仅仅是实用性。不管它是卢德（强烈反对自动化的人）厌恶的新科技，还是很多八十年代的科幻电影，我们常常怀疑其别有用心。

我们可以让会话式 UX 帮我们每周购买生活用品，但是我们会让会话式 UX 帮助我们买衣服，制定假期的计划，选择大学里所学的专业吗？

我们现在讨论的是会话式 UX，因为会话式 UX 依赖的 bots 达到了可以生存的阶段。虽然他们无法通过图灵测试，但是他们真的没必要通过图灵测试。事实上，AI 目前最明显的缺陷可能是缺乏 bot 革命的驱动力。

会话式 UX 目前有很多缺陷，但是会话式 UX 的发展时机已成熟，因为我们依旧可以分辨它是什么，我们不会感到被欺骗。Asimov 预料，我们喜欢被识别为机器人的机器人。

会话式 UX 的关键可能是具有像机器人一样的个性。具有讽刺意味的是，最成功的会话式 UX 可能是那种学习之后却行动笨拙的 UX。

每个 CS 系学生都应该知道的事

英文：Matt

译文：伯乐在线 – 阿喵

链接：http://blog.jobbole.com/101168/

点击 → 了解如何加入专栏作者

考虑到计算机科学领域的膨胀增长，想要辨识现代计算机科学到底包含什么，成了一件有挑战性的事。我们系进行了这个讨论，所以我整合一下自己的想法来当作这个问题的解答，“每个 CS 系的学生应当知道哪些事？”

我尝试从 4 方面来回答这个问题：

学生想要获得好的工作应当知道哪些事？
学生想要得到终生雇佣应当知道那些事？
学生想要进入研究生院应当知道哪些事？
学生想要有益于社会应当知道那些事？

下面我会把自己的想法分为现代计算机领域的一般性的原则和一些特别推荐两部分来写。

计算机系的学生：把本文当作自学指南随意使用。

作品集 portfolio ，而不是简历

自从计算机科学从工程学和数学分离出来之后，计算机程序行业就开始依靠简历来雇佣毕业生。

一份简历无法说明程序员的能力。

每一个计算机系的的学生都应当有其作品集。

一个作品集可以简单到是一个个人博客，上面有工程或实现的帖子。更好些的话每个工程的有其单独页面和可供公共浏览的代码（也许托管到 Github 或者 Google Code 上）。

对开源代码的贡献应当给出链接和说明。

一个代码作品集能够使雇主直接评价雇员的能力。

而 GPA 和简历却做不到。

教授应该设计课题来使作品集更出彩，学生在课程结束时应该花些时间更新这些课程项目。

示例

Edward Yang’s web site.（http://ezyang.com/）
Michael Bradshaw’s web site. （http://www.mjbshaw.com/）
Github is my resume. （http://pydanny.blogspot.com/2011/08/github-is-my-resume.html）

技术交流

在计算机科学界“独狼”已然成为濒危物种。

当代计算机科学家必须练习与非程序员清晰且有说服力地交流自己的想法。

在小公司，程序员能否和管理层交流她的想法能够影响到公司的成败。

不幸的是，单独增加一个课程并不能有什么改变（当然一个合理的科技交流课程没有坏处）。

应当提供给学生更多的机会来给予他们通过口头讲演的方式展示自己工作和想法。

特别推荐

我建议学生掌握一种演示工具，比如说 PowerPoint 或者（我最喜欢的）KeyNote。（抱歉，尽管我喜爱基于 LaTex 的演示工具，它们还是太静态了）。

不过，要是想生成漂亮的数学文档，LaTex 是无可比拟的。所有的科技课程的写作作业都应该以 LaTex 的形式提交。

建议阅读

Writing for Computer Science by Zobel.
Even a Geek Can Speak by Asher.
The LaTeX Companion.
The TeXbook by Knuth. (Warning: Experts only.)
Notes on Mathematical Writing.
Simon Peyton-Jones’s advice on How to Give a Good Research Talk.
My advice on how to send and reply to email.

一颗工程学的心

计算机科学不是完全的工程学。

但也差不多。

计算机科学家终会发现他们和工程师在一起工作。计算机科学家和传统的工程师需要说相同的语言——一种扎根于实分析、线性代数、概率论与物理学的语言。

计算机科学家理应掌握物理学中的电磁学，但要达到这一点，他们还需掌握多元微积分，（外加学习微分方程）。

在进行声音仿真时，精通概率论（通常还包括）线性代数是极有益处的。在说明计算结果时，对统计的牢固理解是无可替代的。

推荐阅读

Spivak 的 Calculus
Wasserman 的 All of Statistics: A Concise Course in Statistical Inference

Unix 哲学

计算机科学家应当习惯并且熟练使用 Unix 哲学的处理。

Unix 哲学（不同于 Unix 本身）是一种注重语言学抽象和整合来达到预期处理的方法。

在实践中，这意味着要习惯于命令行形式处理、文本文件进行配置和轻型IDE的软件开发。

特别推荐

考虑到 Unix 系统的流行度，当今的计算机科学家应当熟练地掌握基本的 Unix 能力：

浏览和操作文件系统
使用管道进行组合操作
习惯于使用 emacs 和 vim 编辑文件
新建、修改和运行一个软件项目的 Makefile 文件
编写简单的 shell 脚本学生在不理解 Unix 哲学强大能力时会抵制它。此时最好让学生尝试完成一些 Unix 有相对优势的有用的任务，比如：
找到指定目录下占用空间最大的5个文件夹
找到计算机中重复的 MP3 文件（相同的文件内容而不是文件名）
找到名字列表中姓名首字母是小写的名字，并调整大小写
找到第二个字母是 x，倒数第二个是 n 的英语单词
把你的手机的声音输入经由网络传送到另一台电脑的音响播放
把指定文件夹下的文件名中的空格替换为下划线
报告指定 IP 地址接入 web 服务器的最近十个错误连接

建议阅读

The Unix Programming Environment by Kernighan and Pike.
The Linux Programming Interface: A Linux and UNIX System Programming Handbook by Kerrisk.
Unix Power Tools by Powers, Peek, O’Reilly and Loukides.
commandlinefu.
Linux Server Hacks.
The single Unix specification.

系统管理

一些计算机科学家嘲笑系统管理是一件“IT”任务。

他们的想法是可以自学技术人员能做得到的所有事。

这是正确的（嗯，理论上是）。

然而计算机科学家能够完全且安全地控制他们的系统和网络的态度是有些误导人的。

软件开发中很多任务不传给系统管理员来做是最高效的。

特别推荐

每个当代的计算机科学家应当能够：

安装和管理一个 Linux 发行版
配置和编译 Linux 内核
使用 dig、ping 和 traceroute 命令来排解故障
编译和配置 web 服务器，比如 apache
编译和配置 DNS 守护进程，比如 bind
使用文本编辑器维护一个站点
自己制作水晶头

建议阅读

UNIX and Linux System Administration Handbook by Nemeth, Synder, Hein and Whaley.

编程语言

编程语言有周期的兴起与衰落。

而一个程序员的职业不应如此。

尽管教授与获得工作相关的语言很重要，学生能够自学新的编程语言也同等重要。

学习怎样学习新的编程语言的最好方式是学习多种编程语言和编程范式。

学习第n个语言的难度是第(n – 1)个的一半。

然而，要想真正理解编程语言，应该自己实现一个。理想情况下，每个计算机科学系的学生都参加过编译的课程。至少，每个学生应该实现一个解释器。

一些语言

下面的编程语言涵盖了编程范式和实际应用：

Racket
C
Javascript
Squeak
Java
Standard ML
Prolog
Scala
Haskell
C++ 和
汇编

Racket

Racket，作为功能全面的 Lisp 的方言，有着极简单的语法。

对少部分的学生来说，这种语法是一种学习障碍。

不过坦率地讲，如若一个学生觉得即使是暂时接受一种相异的语法规则也是很大的脑力障碍的话，他缺乏从事计算机科学职业的灵巧心智。

Racket 丰富的宏系统和高阶编程组件彻底打破了数据和代码的分别。

如果教的合理，能够充分发挥 Lisp 的能力。

建议阅读

How to Design Programs by Felleisen, Findler, Flatt and Krishnamurthi.
The Racket Docs.

ANSI C

C 是对底层（硅）的简洁至极的抽象。

C 在嵌入式系统的编程中无可替代。

学习 C 能提供对冯·诺依曼体系的深入理解，其程度没有其他语言能匹拟。

考虑到差的 C 编码与普遍的缓冲区溢出安全隐患有着亲密的关系，程序员学习正确地编写 C 程序是很重要的。

建议阅读

ANSI C by Kernighan and Ritchie.

Javascript

Javascript是动态、高级语言比如 Python、Ruby 和 Perl 的语义模型的很好的一个代表。

作为 web 原生语言，它的实用性优势是独一无二的。

建议阅读

JavaScript: The Definitive Guide by Flanagan.
JavaScript: The Good Parts by Crockford.
Effective JavaScript: 68 Specific Ways to Harness the Power of JavaScript by Herman.

Squeak

Squeak 是最纯正的面向对象语言 Smalltalk 的现代方言，它展现了“面向对象”的本质。

建议阅读

Introductions to Squeak

Java

Java 将保持流行久到无法将其忽略。

建议阅读

Effective Java by Bloch.

Standard ML

Standard ML 是 Hindley-Milner 系统的一个干净实现。

Hindley-Milner 类型系统是现代计算计算机领域最伟大（然而却是最不知名）的成就。

尽管有着指数级的复杂性，Hindley-Milner 的类型推断对于正常的程序来说是足够快的。

类型系统支持复杂的结构化不变量表达，事实上，它丰富到类型定义良好的程序经常是没有 bug 的。

建议阅读

ML for the Working Programmer by Paulson.
The Definition of Standard ML by Milner, Harper, MacQueen and Tofte.

Prolog

尽管在应用上占有一席之地，逻辑编程是计算思维的另一种范式。

在程序员需要在其他编程范式里模拟逻辑编程时，理解逻辑编程是值得的。

另一种值得学习的逻辑编程语言是miniKanren。miniKanren强调纯粹的逻辑编程。这个约束逐步形成了另一种风格的逻辑编程称为关系程序设计，并且它授予通常Prolog程序不支持的属性。

建议阅读

Prolog Tutorial.
Another tutorial.

Scala

Scala 是定义良好的函数式与面向对象的融合语言。

Scala 是 Java 应该做到的样子。

建立于 Java 虚拟机之上，并兼容现存的 Java 代码库，Scala 最有可能成为 Java 的后继者。

建议阅读

Programming in Scala by Odersky, Spoon and Venners.
Programming Scalaby Wampler and Payne.

Haskell

Haskell 是 Hindley-Milner 语言家族的王冠。

充分利用惰性求值，Haskell 是主流编程语言中最接近于纯数学的。

建议阅读

Learn You a Haskell by Lipovaca.
Real World Haskell by O’Sullivan, Goerzen and Stewart.

标准 C++

C++ 是无法避免的灾祸。

但是既然必须要教 C++，那就教全。

特别地，计算机科学系的学生毕业时应该掌握模板元编程.

建议阅读

The C++ Programming Language by Stroustrup.
C++ Templates: The Complete Guide by Vandevoorde and Josuttis.
Programming Pearls by Bentley.

汇编

任何汇编语言都行。

既然 x86 很流行，最好学它。

学习编译器的最好方式便是学习汇编，因为汇编直观地展示了将高级代码转化为低级代码。

特别推荐

计算机科学家应该理解产生式编程（宏编程）；词法（动态）范围；闭包；continuation；高阶函数；动态调度；子类型；模块和函子还有不同于其他特定语法的 monads 语义概念。

建议阅读

Structure and Interpretation of Computer Programs by Abelson, Sussman and Sussman.
Lisp in Small Pieces by Queinnec.

离散数学

计算机科学家必须要对形式逻辑及其证明有牢固的理解。代数操作和自然推理证明是处理例程任务的有力方法，归纳总结证明在构建递归函数时很有用处。

计算机科学家必须对形式数学记号很熟悉，并且对基本的离散数学结构–集合、元组、队列、方法和幂集能进行的严格推理。

建议阅读

对于计算机科学家，掌握这些理论很重要：

树；
图；
形式语言；和
自动机学生应该学习足够多的数论知识来研究和实现基本的加密协议。

建议阅读

How to Prove It: A Structured Approach by Velleman.
How To Solve It by Polya.

数据结构和算法

学生应该必须见过常见（或者罕见但异常有效的）数据结构和算法。但是，比起知道特定算法和数据结构（这些经常是很容易查阅到的），计算机科学家应该理解知道如何去设计算法（比如贪心、动态规划策略等）并且知道如何将理想中的算法真正实现。

特别推荐

对于想获得长期雇佣关系的计算机科学家来说至少要知道这些：

哈希表；
链表；
数；
二分查找树；和
有向、无向图计算机科学家应该可以实现或者扩展操作这些数据结构的算法，包括增删改查特定元素。考虑到完备性，计算机科学家应该知道每个算法的指令式和函数式实现。

建议阅读

CLRS.
Any of the Art of Computer Programming series by Knuth.

理论

理解理论是在研究生院进行研究的先决条件。当能提供了一个问题的hard boundaries（或者是提供转化为最初是hard boundaries的方法）时理论是无价的。

计算复杂度可以说是所有计算机“科学”的真正的预测理论之一。

计算机科学家必须知道易处理性和可计算性的程度，如果忽略了这些限制，最好的情况是有些挫折，最差的情况是导致失败。

特别推荐

在本科阶段，理论至少应涵盖计算模型和计算复杂度。

计算模型应该包括有限状态自动机、正则语言（和正则表达式）、下推自动机、上下文无关语言、形式文法、图灵机、lambda 演算和不可判定性。

在本科阶段，学生至少要学习足够复杂的知识来理解 P、NP、NP-Hard 和 NP-Complete 的区别。

为了防止留下错误的印象，学生应该通过将一些 NP 的问题规约到 SAT（Boolean satisfiability problem，布尔可满足性问题）并使用 SAT 求解程序求解。

建议阅读

Introduction to the Theory of Computation by Sipser.
Computational Complexity by Papadimitriou.
Algorithms by Sedgewick and Wayne.
Introduction to Algorithms by Cormen, Leiserson, Rivest and Stein.

架构

对软件架构有见识的理解是无可替代的。

计算机科学家应该从晶体管起理解一个计算机。

架构的理解包含一些标准的抽象：晶体管、逻辑门、加法器、多路复用器、触发器、算术逻辑单元、控制单元、缓存和随机存取存储器。

对高性能计算 GPU 模型的理解在可预知的未来是很重要的。

特别推荐

要想在现代系统上达到高性能对缓存、总线和物理内存管理的理解是很重要的。

要想理解机器架构，学生应该设计和仿真一个小的 CPU。

建议阅读

nand2tetris, which constructs a computer from the ground up.
Computer Organization and Design by Patterson and Hennessy.
“What every programmer should know about memory” by Drepper.

操作系统

任何足够大的程序最终都将成为一个操作系统。

正因如此，计算机科学家应该知道内核是如何处理系统调用、分页、调度、上下文切换、文件系统和内部资源管理的。

对操作系统的理解仅次于对编译器和实现高性能的架构的理解。

理解操作系统（我想当然也包括运行时的系统）在对嵌入式系统进行编程是非常重要。

特别推荐

学生必须在一个真正的操作系统上动手实践，在 Linux 和虚拟化技术的帮助下，这比之前容易些。想要对内核有很好的理解，学生应该：

在启动过程中输出 “hello world”；

设计他们自己的调度器；

修改分页策略；

创建他们自己的文件系统

建议阅读

Linux Kernel Development by Love.

网络

考虑到网络的普遍性，计算机科学家应该对网络栈和网络中的路由协议有坚实的理解。

对计算机科学家来说，在不可靠传输协议（比如 IP）的基础上构建可靠的传输协议（比如 TCP）的机制不应是不可思议的而应是核心知识。

他们应该理解在协议设计中的权衡—比如，什么时候选择 TCP，什么时候选择 UDP。（程序员需要知道在大型网络中有阻塞，他们也应更大规模地使用 UDP。）

特别推荐

考虑到当代程序员进行网络编程的频繁性，理解现存协议标准是有用的：

802.3 和802.11;
IPv4 和 IPv6;
DNS, SMTP 和HTTP. 计算机科学家应该理解包冲突时的指数回退和在拥塞控制中的加法增大和乘法减少机制。每个计算机科学家应该实现：
一个 HTTP 的客户端和守护进程；
一个 DNS 解析器和服务器；以及
一个命令行的 SMTP 的邮件程序要想通过网络介绍课程，每个学生都应该使用wireshark来嗅探他们导师的谷歌搜索。

也许要求每个学生基于 IP 来从头实现一个可靠的传输协议是有些强人所难了，但可以说这是我学生时代的一个对我个人改变很大的经历。

建议阅读

Unix Network Programming by Stevens, Fenner and Rudoff.

安全

一个悲伤的事实是大多数安全漏洞都来源于粗心的编码，更悲哀的事实是很多学校在训练程序员编写安全代码上做的很差。

计算机科学家必须知道程序被攻破的方式。

他们需要形成防御型编码的意识——考虑他们自己的代码可能被攻击的方式。

安全最好在整个课程体系中分布开来进行训练：每个学科都应该提醒学生关于这个学科的原生漏洞。

特别推荐

每个计算机科学家至少应该了解：

社会工程；
缓冲区溢出；
整数溢出；
代码注入漏洞；
竞态条件；
权限混淆一些读者指出计算机科学家也应知道基本的 IT 安全措施，比如选择合理的好密码和使用 iptables 配置防火墙。

建议阅读

Metasploit: The Penetration Tester’s Guide by Kennedy, O’Gorman, Kearns and Aharoni.
Security Engineering by Anderson.

密码学

密码学使得我们的大部分数字生活成为现实，计算机科学家应该理解并能够实现下面的概念，并且知道实现这些的常见陷阱：

对称密码系统；
公钥密码系统；
安全哈希函数；
询问-响应认证；
数字签名算法；
门限密码系统在实现这些密码系统时有个常见的错误——为手头工作获得足够随机的数，而这是每个计算机科学家应该知道的。
最后，如此多的数据泄露表明，计算机科学家应该知道如何在存储密码时进行加盐和哈希处理。

特别推荐

每个计算机科学家应该有使用手工统计工具来破解使用前现代加密系统的密文的乐趣。

RSA 是容易实现的，每个人都应试试。

每个学生都应创建他们自己的数字签名并在 apache 上建立 https 连接（做这个是出乎意料的费劲）。

学生还应该写一个使用 SSL 进行连接的 web 客户端。

作为实践，计算机科学家应该知道如何使用 GPG、ssh 的公钥认证、加密一个文件夹或者硬盘。

建议阅读

Cryptography Engineering by Ferguson, Schneier and Kohno.

软件测试

软件测试必须贯穿整个课程体系。一个软件工程的课程可以涵盖基本的测试风格，但是只有练习才能掌握这项艺术。

应该根据学生上交的测试用例来给他们打分。

我使用学生上交来的测试用例来对其他学生进行测试。

学生看起来并不很在意防御性的测试用例，但是当向同学下手时却很是不客气。

用户体验设计

程序员大多是给其他程序员写程序，或者更糟糕，给他们自己写。

用户接口设计（更宽泛的讲，用户体验设计）可能是计算机科学最不受重视的方面。

即使是在专家之间也有这种误解，即用户体验是一种无法被教授的“软”技能。

在现实中，现代用户体验设计根植于人因工程学和工业设计中的人工经验。

如果没有别的办法，计算机科学家至少应知道接口执行任何任务的难易程度应该与任务的频率与重要性的乘积成比例。

为实用性考虑，每个程序员应该习惯于使用 HTML、CSS 和 Javascript 等设计可用的 web 接口。

建议阅读

Paul Graham’s essay on Web 2.0.
“The Absolute Minimum Every Software Developer Absolutely, Positively Must Know About Unicode and Character Sets” by Spolsky.
HTML and CSS: Design and Build Websites by Duckett.
JavaScript: The Definitive Guide by Flanagan.

可视化

好的可视化是可以将数据表现为人类可以感知的信息，而做到这点并不容易。

现代世界是数据的海洋，而开发人眼感知的局部最大值是理解这些信息的关键。

建议阅读

The Visual Display of Quantitative Information by Tufte.

并行化

如今并行化比以往更落后、更丑陋。

不幸的是要掌握并行化需要对架构：多核、缓存、总线、GPU 等等有很深的理解。

并且需要练习，大量练习。

特别推荐

并行化的“终极”答案还不得而知，但是一些领域特定的解决方案已经给出。

当下学生应该学习 CUDA 和 OpenCL。

线程是脆弱的并行化抽象，特别是引入缓存和缓存一致性之后。但是，线程很流行且微妙，所以值得学习，Pthread 是一个合理的轻量库。

对于对大规模并行化感兴趣的人来说，MPI是首要条件。

在理论上，map-reduce 是经久不衰的。

软件工程

软件工程的原理改变地和编程语言一样快。

一个好的动手实践的团队软件开发练习能够展现出软件工程固有误区并提供关于这些误区的工作知识。一些读者建议说学生应该分为三人一组并且在不同的项目中轮流当作组长。

学习如何与现存大代码库打交道是每个程序员的必备技能，并且最好是在学校而不是在工作中掌握此项技能。

特别推荐

所有的学生都应知道集中版本控制系统如 svn 和分布式版本控制系统如 git。

对于调试工具如 gdb 和 valgrind 的使用很长时间后会有裨益。

建议阅读

Version Control by Example by Sink.

形式化方法

随着对安全可靠软件的需求提高，形式化方法也许将是开发这种软件的唯一方法。

当前软件的形式化模型和证明还很有挑战性，但是这项领域的进程是稳健的：一年比一年容易。

也许在当前的计算机系学生的有生之年，形式化软件开发能成为一种预期技能。

每个计算机科学家应至少熟练使用一种定理证明器（我认为具体是哪一种并不重要）。

学习使用定理证明方法能够立刻影响代码风格。

比如说，一个人本能的不愿写无法覆盖所有可能性的 match 和 switch 语句，。

再比如当写递归函数时，使用理论证明方法的人有很强的欲望去消除 ill-foundedness。

建议阅读

Software Foundations.

图形仿真

没有学科比图更能体现“聪明”。

这个领域是由“足够好”驱动甚至由之定义的。

因此，没有比图形仿真更好的方式来教授巧妙的编程和进行性能优化。

我所学到的半数编码技巧都来自于对图的学习。

特别推荐

简单的光线追踪器可以在百行代码内实现。

实现从 3D wireframe engine 获取 3D 投影是费些脑力的。

类似于 BSP 的数据结构以及类似于 z-buffer 渲染的算法是巧妙的设计的例子。

在图形仿真领域，还有很多其他实例。

建议阅读

Mathematics for 3D Game Programming and Computer Graphics by Lengyel.

机器人

机器人是教授编程入门的最具吸引力的方式之一。

并且随着机器人的价格持续走低，哪一款将引发个人机器人浪潮成为了门槛。

对于会编程的人来说，个人机器自动化的伟大时代即将来临。

相关推荐

Multitouch gesture control for a robot.

人工智能

仅是考虑到对早期计算历史的特大影响，计算机科学家也应学习人工智能。

即使人工智能的最初梦想还远未实现，人工智能在一些领域已有成效，比如机器学习、数据挖掘和自然语言处理等。

建议阅读

Artificial Intelligence by Russell and Norvig.

机器学习

除去出色的技术技术优点，对“relevance engineer”工作岗位的需求增大表示出每个计算机科学家都应该了解一下基本的机器学习。

机器学习也更加强调了理解概率论和统计的重要性。

推荐阅读

Machine Learning by Mitchell.

数据库

数据库十分常见和有用以至于人们常常忽略它。

理解支撑数据库引擎的数据结构与算法是有用的，因为程序员经常需要在一个大的软件系统中实现一个数据库系统。

在sub-Turing 的计算模型的极大成功背后关系代数和关系计算起了极大的作用。

比起 UML 模型，ER 模型更适于可视化编码设计和约束的软件设计。

建议阅读

SQL and Relational Theory by Date.

非特定的阅读推荐

Gödel, Escher, Bach by Hofstadter.
Nick Black’s advice for MS students.

还有什么？

由于我自己也是知识盲点的，所以上面这些建议也是有局限的。

如果还有哪些应当包含但没有列出的东西，请大家在评论中补充。

2. Queuing for Asynchronous Retry Architecture

3. Asynchronous Retry Architecture Diagram

4. Generic Data Model for Retry Message

5. Retryable Errors

6. Conclusion

1、一个故事说明什么是机器学习

2、机器学习的定义

3、机器学习的范围

4、机器学习的方法

5、机器学习的应用–大数据

6、机器学习的子类–深度学习

7、机器学习的父类–人工智能

8、机器学习的思考–计算机的潜意识

9、总结

10、后记

1、一个故事说明什么是机器学习

2、机器学习的定义

3、机器学习的范围

模式识别

数据挖掘

统计学习

计算机视觉

语音识别

自然语言处理

4、机器学习的方法

1、回归算法

2、神经网络

3、SVM（支持向量机）

4、聚类算法

5、降维算法

6、推荐算法

7、其他

5、机器学习的应用–大数据

6、机器学习的子类–深度学习

2、深度神经网络在训练上的难度，可以通过“逐层初始化” 来有效克服。

7、机器学习的父类–人工智能

8、机器学习的思考–计算机的潜意识

9、总结

10、后记

Introduction

Why read books ?

List of Books

Data Science For Business<img data-lazy-fallback="1" decoding="async" loading="lazy" class="alignright wp-image-24859 " src="http://i1.wp.com/www.analyticsvidhya.com/wp-content/uploads/2016/04/b1.gif?resize=160%2C195" alt="data science for business vidhya" width="160" height="195" />

Big Data at Work<img data-lazy-fallback="1" decoding="async" loading="lazy" class=" wp-image-24860 alignright" src="http://i2.wp.com/www.analyticsvidhya.com/wp-content/uploads/2016/04/b2.jpg?resize=160%2C228" alt="b2" width="160" height="228" />

Keeping up with the Quants<img data-lazy-fallback="1" decoding="async" loading="lazy" class=" wp-image-24864 alignright" src="http://i1.wp.com/www.analyticsvidhya.com/wp-content/uploads/2016/04/b6.jpg?resize=150%2C205" alt="b6" width="150" height="205" />

Lean Startup<img data-lazy-fallback="1" decoding="async" loading="lazy" class="alignright wp-image-24867" src="http://i2.wp.com/www.analyticsvidhya.com/wp-content/uploads/2016/04/b9.jpg?resize=160%2C235" alt="b9" width="160" height="235" />

Web Analytics 2.0

Predictive Analytics<img data-lazy-fallback="1" decoding="async" loading="lazy" class=" wp-image-24869 alignright" src="http://i2.wp.com/www.analyticsvidhya.com/wp-content/uploads/2016/04/b11.jpg?resize=160%2C234" alt="b11" width="160" height="234" />

Freakonomics<img data-lazy-fallback="1" decoding="async" loading="lazy" class=" wp-image-24870 alignright" src="http://i2.wp.com/www.analyticsvidhya.com/wp-content/uploads/2016/04/b12.jpg?resize=160%2C234" alt="b12" width="160" height="234" />

Founders at Work<img data-lazy-fallback="1" decoding="async" loading="lazy" class=" wp-image-24871 alignright" src="http://i1.wp.com/www.analyticsvidhya.com/wp-content/uploads/2016/04/b13.jpg?resize=160%2C238" alt="b13" width="160" height="238" />

Bootstrapping a Business<img data-lazy-fallback="1" decoding="async" loading="lazy" class=" wp-image-24872 alignright" src="http://i0.wp.com/www.analyticsvidhya.com/wp-content/uploads/2016/04/b14.jpg?resize=160%2C234" alt="b14" width="160" height="234" />

Analytics at Work<img data-lazy-fallback="1" decoding="async" loading="lazy" class=" wp-image-24873 alignright" src="http://i1.wp.com/www.analyticsvidhya.com/wp-content/uploads/2016/04/b15.jpg?resize=160%2C244" alt="b15" width="160" height="244" />

End Notes

◆ ◆ ◆

◆ ◆ ◆

◆ ◆ ◆

◆ ◆ ◆

◆ ◆ ◆

◆ ◆ ◆

◆ ◆ ◆

◆ ◆ ◆

Data Science For Business

Big Data at Work

Keeping up with the Quants

Lean Startup

Predictive Analytics

Freakonomics

Founders at Work

Bootstrapping a Business

Analytics at Work