-
基因数据处理43之mango之503错误
所属栏目：[大数据] 日期：2021-03-07 热度：126
HTTP ERROR: 503Problem accessing /. Reason: Service UnavailablePowered by Jetty:// 更详细请见： https://github.com/bigdatagenomics/mango/issues/181[详细]
-
基因数据处理50之cs-bwamem、bwa、snap、bwa-mem与art比较
所属栏目：[大数据] 日期：2021-03-07 热度：84
副标题#e# 直接看结果： （1）art仿真数据： hadoop@Master:~/cloud/adam/xubo/data/GRCH38Sub/cs-bwamem$ cat G38L100c50Nhs20.aln ##ART_Illumina read_length 100@CM art_illumina -ss HS20 -i GRCH38chr1L3556522.fna -l 100 -c 50 -o G38L100c50Nhs20[详细]
-
基因数据处理45之cloud-scale-bwamem安装（compile.pl安装有问题
所属栏目：[大数据] 日期：2021-03-07 热度：55
脚本： hadoop@Master:~/xubo/tools/cloud-scale-bwamem$ cat compile.pl #! /usr/bin/perlsystem "mvn clean package";chdir "./src";system "mvn package -PotherOutputDir";chdir "./main/jni_fpga";system "mvn package -PotherOutputDir";chdir "../a[详细]
-
基因数据处理47之ART基因序列数据生成器（仿真）
所属栏目：[大数据] 日期：2021-03-07 热度：58
1.概念： ART基因序列数据生成器 详细请见论文：【1】 和官网【2】 2.下载： ART-bin-GreatSmokyMountains-04.17.16-Linux64.tgz http://www.niehs.nih.gov/research/resources/assets/docs/artbingreatsmokymountains041716linux64tgz.tgz 3.配置 sudo cp[详细]
-
基因数据处理49之cloud-scale-bwamem运行成功
所属栏目：[大数据] 日期：2021-03-07 热度：92
副标题#e# 1.先使用art生成数据： 请看前一篇 2.上传fastq到hdfs： hadoop@Master:~/cloud/adam/xubo/data/GRCH38Sub/cs-bwamem$ spark-submit --class cs.ucla.edu.bwaspark.BWAMEMSpark --master local[2] /home/hadoop/xubo/tools/cloud-scale-bwamem-0.[详细]
-
基因数据处理48之ART使用实例
所属栏目：[大数据] 日期：2021-03-07 热度：85
副标题#e# 相关参数请见上一篇 1.使用实例1： hadoop@Master:~/cloud/adam/xubo/data/GRCH38Sub/cs-bwamem$ art_illumina -ss HS20 -i GRCH38chr1L3556522.fna -l 100 -f 20 -o G38L100F20Nhs20 ====================ART==================== ART_Illumina[详细]
-
求0至大数之间的随机数
所属栏目：[大数据] 日期：2021-03-07 热度：91
题目：给定一个String类型的大数(非负整数)，不能直接转化为Integer，类似如下要求 The numbers can be arbitrarily large and are non-negative. Converting the input string to integer is?NOT?allowed. You should?NOT?use internal library such as?B[详细]
-
推荐 | 9个最佳的大数据处理编程语言
所属栏目：[大数据] 日期：2021-03-06 热度：115
副标题#e# 大数据的浪潮仍在继续。它渗透到了几乎所有的行业，信息像洪水一样地席卷企业，使得软件越发庞然大物，比如Excel看上去就变得越来越笨拙。数据处理不再无足轻重，并且对精密分析和强大又实时处理的需要变得前所未有的巨大。 那么，在巨大的数据集[详细]
-
基因数据处理36之qc-metrics安装
所属栏目：[大数据] 日期：2021-03-06 热度：108
副标题#e# 更多代码请见：https://github.com/xubo245/SparkLearning Spark中组件Mllib的学习之基础概念篇 1解释 Read and variant metrics,useable for pipeline quality control purposes qc-metrics主要是用于read和变异的度量，流水线质量控制的目的 2.[详细]
-
基因数据处理34之使用samtools和bcftools进行变异分析
所属栏目：[大数据] 日期：2021-03-06 热度：116
1.指令： （1） samtools mpileup -vf Homo_sapiens_assembly19chr20.fasta NA12878_snp_A2G_chr20_225058.sorted.bam NA12878_snp_A2G_chr20_225058.variants 或者： samtools mpileup -vf Homo_sapiens_assembly19chr20.fasta NA12878_snp_A2G_chr20_225[详细]
-
推荐系统技术 --- 文本相似性计算（二）
所属栏目：[大数据] 日期：2021-03-06 热度：112
副标题#e# 第一篇地址：推荐系统技术之文本相似性计算（一）上一篇中我们的小明已经中学毕业了，今天这一篇继续文本相似性的计算。首先前一篇不能解决的问题是因为我们只是机械的计算了词的向量，并没有任何上下文的关系，所以思想还停留在机器层面，还没有[详细]
-
基因数据处理35之使用samtools和bcftools进行变异分析2--连续处
所属栏目：[大数据] 日期：2021-03-06 热度：99
指令： samtools mpileup -uf Homo_sapiens_assembly19chr20.fasta NA12878_snp_A2G_chr20_225058_longer.sorted.bam | bcftools call -mv NA12878_snp_A2G_chr20_225058_longer.raw.vcf bcftools filter -s LowQual -e '%QUAL20 || DP100' NA12878_snp_A2[详细]
-
基因数据处理37之bdg-formats编译成功
所属栏目：[大数据] 日期：2021-03-06 热度：167
更多代码请见：https://github.com/xubo245/AdamLearning 1解释 bdg-formats是在spark平台上用avro定义的基因处理的数据格式，包括read、sam、vcf、databaseannotion在云平台上的格式，主要用于Adam系统中 2.代码： 【2】下载 编译： mvn clean package -D[详细]
-
《hadoop进阶》PeopleRank从社交关系中挖掘价值用户
所属栏目：[大数据] 日期：2021-03-06 热度：92
副标题#e# 转载请注明出处： 转载自? Thinkgamer的CSDN博客： blog.csdn.net/gamer_gyt 代码下载地址：点击查看 1：PageRank 与 PeopleRank 2：需求分析：挖掘CSDN博客的价值用户 3：算法模型：PeopleRank算法 4：架构设计：从数据准备到PR算法的MR化 5：程[详细]
-
XTU 1247 Robb#39;s Problem
所属栏目：[大数据] 日期：2021-03-06 热度：151
思路：大数处理，可以用二维数组，也可以用Java的BigInteger来处理。我用的是Java，因为方便、快捷。 AC代码如下： import java.util.*;import java.math.*;public class Main{ final static int MAXN = 1005; public static void main(String args[]){ Sc[详细]
-
基因数据处理38之dbSnpId到omimId的映射表
所属栏目：[大数据] 日期：2021-03-06 热度：95
1.下载： 首先收到【2】，来源是【2】 【1】中有描述： You can also get those SNPs with an OMIM ID number by downloading from the dbSNP FTP site: the OmimVarLocusIdSNP table contains the information you need for your organisim of interest ([详细]
-
机器学习中的相似性度量：距离，原来还有这么多类
所属栏目：[大数据] 日期：2021-03-06 热度：155
副标题#e# 来自：苍梧 - 博客园 链接：http://www.cnblogs.com/heaad/archive/2011/03/08/1977733.html 在做分类时常常需要估算不同样本之间的相似性度量(SimilarityMeasurement)，这时通常采用的方法就是计算样本间的“距离”(Distance)。采用什么样的方法[详细]
-
大数相加，大数相乘和100！
所属栏目：[大数据] 日期：2021-03-06 热度：65
副标题#e# ???????????? 自从腾讯HR面试被刷后，也就不想找实习了，记住教训吧，没事还有九月份，现在和其他人几个人都加进去了linux3+1实验室，暑假好好干一个暑假。 ??? 大数相加虽然之前写过，但是现在写代码起码也应该有自己的风格和规范了，其实大数相[详细]
-
大数据处理语言：U-SQL 介绍
所属栏目：[大数据] 日期：2021-03-06 热度：197
副标题#e# 微软宣布了新的 Azure 数据湖（Azure Data Lake）服务，该服务被用于云分析，包括了一个超大规模信息库；一个在 YARN 上建立的新的的分析服务，该服务允许数据开发者和数据科学家分析全部的数据；还有 HDInsight，一个全面管理 Hadoop、Spark、St[详细]
-
大数定理_介绍和证明
所属栏目：[大数据] 日期：2021-03-06 热度：112
? ? ? 证明： 其实仔细看看公式下面的一句话： X的方差越少，事件{|x-u|e}发生的概率越大。 由于n无限的接近 总的变量数，导致X无限的接近期望u,所以方差约等于0 所 p{|x-u| =1-0/(e 2 )=1-0=1 (概率p的最大值＝1) ? 伯努利定理： ? ?[详细]
-
机器学习中距离和相似性度量方法
所属栏目：[大数据] 日期：2021-03-06 热度：120
副标题#e# 在机器学习和数据挖掘中，我们经常需要知道个体间差异的大小，进而评价个体的相似性和类别。最常见的是数据分析中的相关分析，数据挖掘中的分类和聚类算法，如 K 最近邻（KNN）和 K 均值（K-Means）等等。根据数据特性的不同，可以采用不同的度量[详细]
-
Twitter开源大数据实时分析系统Heron：Heron架构
所属栏目：[大数据] 日期：2021-03-06 热度：59
副标题#e# Heron架构 Heron是Apache Storm的一个直接继承者。从架构角度来看，它与Storm截然不同，但是从API的角度看它是完全向后兼容的。 下面的章节指明了Heron和Storm的区别，描述了Heron背后的设计目标，并解释了其架构的主要组件。 代码库 Heron代码库[详细]
-
大数据分析界的“神兽”Apache Kylin初解
所属栏目：[大数据] 日期：2021-03-06 热度：71
副标题#e# 转自李栋，来自Kyligence公司，也是Apache Kylin Committer PMC member，在加入Kyligence之前曾就职于eBay、微软。 今天分享的主题是：聊聊“神兽”Apache Kylin的最新特性。本次分享将首先对Apache Kylin进行基本介绍；接下来介绍1.5.x最新版本[详细]
-
kylin-BI工具-tableau9
所属栏目：[大数据] 日期：2021-03-06 热度：73
副标题#e# Tableau 9 Tableau 9.x has been released a while,there are many users are asking about support this version with Apache Kylin. With updated Kylin ODBC Driver,now user could interactive with Kylin service through Tableau 9.x. Apac[详细]
-
Presto随笔
所属栏目：[大数据] 日期：2021-03-06 热度：59
解决了什么问题 快读的交互式查询 presto 和hive到底什么关系 http://www.mutouxiaogui.cn/blog/?p=395 和hive在一个层级，都是基于hdfs的。但是presto可以借助hive的元信息找到hdfs上的节点。 presto现在已经可以连接 MySQL postgre hive等了 presto为什[详细]
浙公网安备 33038102330456号